Rapport Qualite Service Mobile 2011 PDF

Novembre 2011
La qualit des services de voix et de donnes

des rseaux mobiles (2G et 3G)
en France mtropolitaine
Les rsultats de lenqute pour lanne 2011

ARCEP Rsultats pour lanne 2011 de lenqute de qualit des services de voix et de
donnes des rseaux mobiles (2G et 3G) en France mtropolitaine
La qualit des services de voix et de donnes

des rseaux mobiles en France mtropolitaine
Sommaire
Synthse page 3
Qualit du service de voix des rseaux mobiles (2G et 3G) page 9
Qualit des services de donnes des rseaux mobiles (2G et 3G) page 29
2/64
Synthse
Lenqute de qualit de service mene annuellement par lARCEP a pour objectif dune part,
dapprcier, sur une base comparative, la qualit de service des rseaux mobiles offerte aux
abonns par les oprateurs mobiles et, dautre part, de vrifier que les obligations
rglementaires en matire de qualit de service sont bien respectes1.
La qualit de service est teste sur les rseaux de deuxime et de troisime gnrations des
oprateurs Orange France, SFR et Bouygues Telecom.
Les autorisations des oprateurs mobiles prvoient quune enqute dvaluation de la qualit
de service est mene chaque anne et que les oprateurs contribuent financirement sa
ralisation.
LARCEP rdige, cette fin, en concertation avec les oprateurs, un cahier des charges
dtaillant la mthodologie suivre pour la ralisation de lenqute et la publication de ses
rsultats.
Depuis 2007, cette enqute se divise en une enqute dvaluation de la qualit du service de
voix et une enqute dvaluation de la qualit des services de donnes.
En 2011, lenqute relative au service de voix a t conduite par la socit AFD et celle
relative aux services de donnes a t conduite par la socit Directique. Elles se sont
droules du 1er mars au 13 juillet 2011 pour lenqute de qualit de service voix, et du
24 mars au 13 juillet 2011 pour lenqute de qualit des services de donnes.
Les deux enqutes menes en 2011 ont volu sur un certain nombre de points par rapport
la prcdente enqute.
Les principales volutions ont portes sur les enqutes des services de donnes. Cette anne,
les mesures de visiophonie ont t supprimes, ce service tant peu utilis. En revanche, des
mesures de navigation web sur PC avec cl 3G ont t introduites, selon un protocole
similaire au protocole des mesures WAP sur mobiles.
En outre, des mesures de dbit et de navigation web sur smartphones ont t ajoutes sur
lensemble des agglomrations de plus de 400 000 habitants ( TOP 12 ). Ces mesures,
ralises titre exprimental, visaient valider le protocole de mesures sur ce type de
terminaux.
Les autres volutions ont port sur des sujets communs aux services de voix et donnes. Ainsi,
une nouvelle rpartition des mesures entre les zones trs denses (ZTD) et autres zones denses
(AZD) a t introduite. Les mesures ont t ralises pour 2/3 en ZTD et 1/3 en AZD, alors
que la rpartition lors de lenqute prcdente tait de 50% en ZTD et 50% en AZD.
1
Lenqute mene par lARCEP vise, au travers de mesures techniques ralises sur le terrain, reflter de
manire statistique la qualit des services sur les rseaux des oprateurs. Elle ne vise pas recueillir, par
exemple au travers dun sondage, la perception que pourraient avoir les abonns de la qualit de bout en bout de
ces services, qui peut dpendre de leur usage du rseau, du terminal et des applications utilises.
3/64
1. Enqute relative la qualit du service de voix
1.1 Mthodologie
1.1.1 Dfinition dune mesure
Une mesure consiste tenter dtablir une communication tlphonique, puis valuer la
qualit auditive de la communication, sur chacun des rseaux des oprateurs tests, en
utilisant aussi bien les rseaux 2G que les rseaux 3G.
Deux aspects sont mesurs lors de lenqute :
la capacit de dmarrer une communication et de la maintenir 2 ou 5 minutes ;

la qualit audio de la communication.
1.1.2 Zones gographiques et usages
Les mesures sont effectues dans les agglomrations et sur les axes de circulation suivants :
dans les 12 agglomrations les plus peuples (TOP 12)2 lintrieur et lextrieur
des btiments et en situation de passager bord dun vhicule en mouvement ;
dans 20 agglomrations entre 50 000 et 400 000 habitants lintrieur et lextrieur
dans 20 agglomrations entre 10 000 et 50 000 habitants lintrieur et lextrieur
dans les principales lignes TGV (en mouvement) ;
sur les autoroutes fort trafic en situation de passager bord dun vhicule en
mouvement ;
dans les trains de banlieue et tramways (en mouvement).
1.1.3 Terminaux utiliss
Pour chaque oprateur, les mesures sont ralises avec un terminal de deuxime gnration et
un terminal de troisime gnration, slectionns parmi les trois terminaux les plus vendus de
chaque oprateur au cours des 6 mois prcdant le dmarrage de lenqute.
1.2 Les enseignements de lenqute de voix
Lenqute 2011 confirme le bon niveau global de la qualit du service de tlphonie vocale
observe depuis plusieurs annes.
Ce service a t test dans 52 agglomrations de plus de 10 000 habitants, lintrieur et

lextrieur des btiments, ainsi que dans un vhicule en mouvement. Il ressort des tests que le
2
Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon,
Douai-Lens, Strasbourg et Grenoble
4/64
taux de communications russies et maintenues 2 minutes et 5 minutes reste trs lev, de

respectivement 97,3% et 96,2%, dans la continuit des annes prcdentes. Les
communications russies et maintenues sont presque toujours de qualit auditive parfaite.
La qualit du service de tlphonie a galement t mesure, en mouvement, sur les

principales lignes TGV, dans les trains de banlieue des 4 plus grandes villes et sur les
autoroutes fort trafic.
Dans le TGV, le taux de communications russies et maintenues pendant 2 minutes est en

baisse de 3% par rapport lenqute prcdente. Les rsultats font par ailleurs tat dcarts
significatifs entre oprateurs.
Sur les autoroutes, le taux de communications russies et maintenues est en baisse denviron
2% par rapport lenqute prcdente, mais le taux de communications de qualit parfaite est
en augmentation de 2%.
Enfin, dans les trains de banlieues et les tramways, les taux de communications de qualit
correcte et parfaite sont en hausse respectivement de 2% et 4% par rapport la prcdente
enqute.
2. Enqute relative la qualit des services de donnes
2.1 Mthodologie
2.1.1 Services audits
Lenqute dvaluation de la qualit de service permet de vrifier, la fois pour les rseaux
2G et 3G :
la qualit du service de messages courts (SMS) ;

la qualit du service de transmission de photo par MMS ;
la qualit du service daccs WAP ;
la qualit du service de transfert de fichiers ;
la qualit de navigation web sur PC.
5/64
2.1.2 Rpartition gographique
Les mesures sont effectues dans les agglomrations suivantes :
dans les 12 agglomrations les plus peuples3, en situation statique, lextrieur des
btiments ;
dans 20 agglomrations entre 50 000 et 400 000 habitants, en situation statique,
lextrieur des btiments.
2.1.3 Terminaux utiliss et offres testes
SMS, MMS, WAP
Pour chaque oprateur, les mesures sont ralises avec un terminal de deuxime gnration et
un terminal de troisime gnration slectionns parmi les trois terminaux les plus vendus de
chaque oprateur au cours des 6 mois prcdant le dmarrage de lenqute.
La rpartition entre les deux types de terminaux est rgle pour chaque oprateur de manire
tre reprsentative de la clientle de loprateur.
Tlchargement de fichiers et navigation web
Les mesures sont ralises sur un ordinateur portable avec une cl 3G. Loffre teste
correspond, pour chaque oprateur, loffre 3G+ grand public la plus performante disponible
au lancement de lenqute.
2.2 Les enseignements de lenqute sur les services de donnes
2.2.1 Le service de transfert de fichiers en mode FTP
Sur chaque point de mesure, la mesure est faite sur le meilleur rseau disponible (EDGE,
UMTS, HSPA) de chaque oprateur.
Les rsultats prsentent des lments dapprciation des performances des rseaux des
oprateurs au moment de lenqute acheve mi-juillet 2011. Ils ne prjugent pas des
volutions relatives aux dploiements par les oprateurs des diffrentes technologies
employes et celles relatives la charge des rseaux des oprateurs.
Il est important de prciser que le transit des fichiers transfrs se fait en partie via internet :
ce transit peut parfois engendrer des difficults daccs au serveur et un allongement du dlai
de rception des messages, indpendamment de la qualit de transmission propre au rseau
mobile.
3
Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon,
Douai-Lens, Strasbourg et Grenoble
6/64
Ces tests ont montr que les dbits observs pour le tlchargement de fichiers sur les rseaux
3G atteignaient plus de 9,2 Mbit/s pour les plus rapides, et que lenvoi de fichiers a fait
apparatre des dbits suprieurs 3 Mbit/s pour les plus rapides.
Le dbit moyen atteint pour le tlchargement est de 3 Mbit/s, de 40% suprieur au dbit
moyen atteint lors de lenqute prcdente. Pour lenvoi de fichier, le dbit moyen atteint
1,3 Mbit/s, dbit lgrement suprieur celui atteint dans lenqute prcdente (1,2 Mbit/s).
Par ailleurs, on constate une plus forte disparit de dbits observs entre oprateurs, que ce
soit pour le tlchargement ou lenvoi de fichiers. Ainsi, les dbits mdians sont de 4,8 Mbit/s
pour Orange France, 2,8 Mbit/s pour SFR et 1,2 Mbit/s pour Bouygues Telecom.
2.2.2 Les autres services de donnes
Les rsultats des tests effectus pour le service de message court (SMS) confirment, avec un
taux de russite suprieur 99%, le trs bon niveau de qualit global de ce service observ
depuis plusieurs annes.
Le service denvoi de photo par messagerie multimdia (MMS), ainsi que le service de
navigation WAP, prsentent globalement cette anne une amlioration des rsultats. Ainsi, le
taux de messages reus en moins de 3 minutes augmente de 2,4% dans les agglomrations de
plus de 50 000 habitants.
Les rsultats du service de navigation WAP connaissent une augmentation de 7% du taux de

navigation russie et maintenue pendant 5 minutes dans les agglomrations de plus de
50 000 habitants par rapport lenqute prcdente, et de 6% dans les 12 agglomrations les
plus peuples ; ce taux est cette anne proche de 100%.
Pour la premire anne, le service daccs au web partir de cls 3G a t mesur. Les deux
indicateurs tests sont le taux de russite daccs au web dans un dlai infrieur 50 secondes,
qui atteint en moyenne 97,5 %, et le taux de navigation russie et maintenue pendant une
dure de 5 minutes, de 96% environ.
2.3 Les mesures exprimentales sur smartphones
Des mesures exprimentales sur smartphones ont galement t introduites pour la premire
fois cette anne dans les 12 plus grandes agglomrations mtropolitaines. En nombre rduit,
ces mesures ont permis de vrifier que les protocoles de mesures qui avaient t dfinis pour
le transfert de fichiers et la navigation web sur ce type de terminaux peuvent pleinement tre
mis en uvre, mais ne permettent pas, linstar des autres indicateurs, de publication
individuelle par oprateur. Elles apportent nanmoins plusieurs enseignements.
Le taux daccessibilit au rseau est identique au taux de connexion au rseau atteint par les 3
oprateurs sur des mesures partir de cls 3G sur PC. Le dbit moyen atteint pour le
tlchargement est de 2,4 Mbit/s, ce qui est un peu infrieur au dbit moyen atteint avec la cl
3G dans les 12 plus grandes agglomrations. Pour lenvoi de fichier, le dbit moyen atteint
1,4 Mbit/s, dbit lgrement suprieur au dbit atteint dans les 12 plus grandes
agglomrations.
7/64
Les diffrences observes avec les cls 3G sur les dbits en tlchargement pourraient
notamment tre lies aux performances maximales des smartphones, infrieures celles des
cls 3G et ne semblent pas rsulter des rseaux des oprateurs.
3. Format de restitution des rsultats
Les rsultats complets sont disponibles la fin de chaque rapport, aprs une description
dtaille des protocoles de mesures.
La signaltique utilise dans les tableaux de rsultats est la suivante :
la qualification du rsultat individuel de chaque oprateur autour de la moyenne

agrge des trois oprateurs est symbolise par les signes suivants :
Symbole Signification
Trs infrieur la valeur de rfrence
Infrieur la valeur de rfrence
= Voisin de la valeur de rfrence
+ Suprieur la valeur de rfrence
++ Trs suprieur la valeur de rfrence
les flches apparaissant dans les tableaux indiquent le sens de lvolution des
rsultats par rapport lenqute prcdente, lorsque la comparaison est possible et
que lvolution est significative.
8/64
La qualit des services de voix des rseaux
mobiles (2G et 3G) en France mtropolitaine

ARCEP- rsultats pour lanne 2011 de lenqute de qualit des services de voix des rseaux
mobiles
AVERTISSEMENT
Remarques gnrales
Lobjet de cette enqute, mene sur une base annuelle, est dapprcier la qualit de service des
rseaux de tlphonie mobile de deuxime (2G) et de troisime gnrations (3G) en France.
LARCEP dfinit en concertation avec les oprateurs concerns par ltude, savoir Orange France,
SFR et Bouygues Telecom, un cahier des charges dtaillant la mthodologie suivre pour la
ralisation de lenqute et la publication de ses rsultats.
Limites de lexercice
L'valuation porte sur la qualit du service de voix des rseaux mobiles perue par les clients dans
les conditions dutilisation quotidienne. Cette valuation a t mene sur une dure totale de 4 mois.
Afin, notamment, de rendre ltude plus reprsentative de lusage du service vocal de tlphonie
mobile, chacun des rseaux a t test avec les mobiles 2G et 3G correspondant aux meilleures
ventes rcentes de packs de chaque oprateur.
Prcision statistique et arrondis
Comme dans tout sondage, les rsultats de la prsente enqute comportent une marge
dimprcision. La prcision statistique indique en dessous de chaque rsultat est lintervalle
contenant le rsultat selon une probabilit de 95%. Toute comparaison entre les diffrents
indicateurs doit donc tenir compte de cet intervalle de confiance.
Par ailleurs, pour tre en cohrence avec cette imprcision statistique, les rsultats de la prsente
enqute ont t arrondis au dixime prs. Il convient de rappeler que :
la somme de deux rsultats arrondis peut tre diffrente de larrondi de leur somme ;
le produit de deux rsultats arrondis peut tre diffrent de larrondi de leur produit.
10/64
mobiles
SOMMAIRE
1. CARACTERISTIQUES TECHNIQUES DE LENQUETE ............................................................................ 12

1.1 CONFIGURATION GENERALE ........................................................................................................................... .... 12
1.2 CONSTRUCTION DE LECHANTILLON ............................................................................................................... .... 13
1.3 CONDITIONS DE MESURE................................................................................................................................. .... 16
1.4 NOTATION DE LA QUALITE AUDITIVE .............................................................................................................. .... 19
1.5 EQUIPES ET DEROULEMENT DE LENQUETE ..................................................................................................... .... 20
2. INDICATEURS DE PUBLICATION DE LENQUETE ................................................................................. 23
2.1 DEFINITIONS DES INDICATEURS PUBLIES ........................................................................................................ .... 23
2.2 PRINCIPES GENERAUX DE LA PUBLICATION..................................................................................................... .... 23
3 RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE DU SERVICE DE VOIX DES
RESEAUX DE DEUXIEME ET TROISIEME GENERATIONS EN FRANCE METROPOLITAINE ............... 25
3.1 USAGES EN AGGLOMERATION......................................................................................................................... .... 25
3.2 USAGES SUR LES AXES DE TRANSPORT ........................................................................................................... .... 27
11/64
mobiles
1. CARACTERISTIQUES TECHNIQUES DE LENQUETE

1.1. Configuration gnrale
1.1.1. Dfinition de la mesure
Les enquteurs munis de tlphones mobiles et les enquteurs munis de tlphones fixes sappellent
entre eux sur les diffrents rseaux de tlphonie mobile tester. Ils vrifient lobtention de lappel
(absence dchec), le maintien de la communication pendant la dure de lappel, qui peut tre de 2
minutes ou 5 minutes (absence de coupure), et valuent la qualit auditive de la communication.
Une partie des mesures a t ralise avec des mobiles 3G, dans une proportion cohrente avec le
trafic voix sur les rseaux 3G de chaque oprateur : 20% pour Bouygues Telecom, 30% pour SFR et
40% pour Orange France. Les mesures 3G sont intercales entre les mesures 2G afin dtre rparties
uniformment sur les zones testes.
Les appels ont t passs dans 1/3 des cas du fixe vers le mobile et pour le reste, du mobile vers le
fixe.
Plusieurs situations dutilisation sont testes :
en voiture, en situation passager (sans antenne de toit) sur autoroutes et dans les
agglomrations,
en piton lextrieur,
en piton lintrieur de btiments,
bord des trains de banlieue et tramways,
bord des TGV.
Quelle que soit la situation, les mesures ont t effectues simultanment sur les trois rseaux au
mme endroit gographique. Chaque rseau est test par un binme denquteurs, lun mobile et
lautre fixe.
Lutilisation dun kit oreillette est systmatique.
Les mesures en situation de piton lintrieur (bureaux, habitations et lieux publics) ont t
ralises en 1er jour (pice avec fentre). Elles sont rparties entre le rez-de-chausse et les tages en
excluant les sous-sols.
1.1.2. Calendrier, planning et horaires

Lenqute 2011 sest droule entre le 1er mars 2011 et le 13 juillet 2011.
Durant lenqute, les oprateurs Bouygues Telecom, Orange France et SFR ne connaissaient ni les
dates ni les lieux o taient effectues les mesures. Ils ignoraient aussi la liste des villes tires au
sort parmi les agglomrations de moins de 400 000 habitants ainsi que les abonnements utiliss
dans le cadre de lenqute.
Les mesures ont t ralises du lundi au vendredi, jours fris exclus, et rparties de faon
homogne entre 9h et 21h. Toutefois, dans les agglomrations (hors trains de banlieue et tramways),
les heures pleines (12h-13h et 18h-21h) ont t privilgies hauteur de 40%.
Les mesures ont t rparties sur la dure de lenqute pour chaque usage, dans les agglomrations,
les axes et les lignes TGV. De plus, afin dobtenir une rpartition temporellement homogne de
12/64
mobiles
lenqute, plusieurs passages ont t effectus dans chacune des agglomrations de plus de 400 000
habitants.
1.1.3. Terminaux utiliss

Les terminaux ont t choisis parmi les meilleures ventes des packs de chaque oprateur. Une
vrification fonctionnelle a permis de garantir que les tlphones slectionns possdaient des
performances comparables et quils ninduisaient pas eux-mmes de biais dans la mesure.
Les terminaux retenus sont les suivants :
Oprateur GSM (2G) UMTS (3G)

Bouygues Telecom Black Berry 8520 CURVE iPhone 4
Orange France Samsung C3050 Sony Ericsson J 20 Quick Silver
SFR NOKIA 2720 FOLD NOKIA E71
1.2. Construction de lchantillon

1.2.1. Slection des agglomrations
Les agglomrations de plus de 400 000 habitants sont au nombre de 12. Toutes ont t retenues et
testes, en distinguant les zones trs denses et les autres zones denses selon les critres
suivants :
Zones trs denses : centre-ville de la ou des communes principales, zones de transit (gares,
aroports), centres dactivits (commerciaux, affaires), axes urbains trs fort trafic et
autoroutes dans les limites de lagglomration ;
Autres zones denses : continuum bti autour des zones trs denses, autres centres villes de
plus de 5 000 habitants, autres axes urbains au sein de lagglomration.
Les agglomrations de moins de 400 000 habitants sont spares en deux groupes au sein desquels
ont t slectionnes, par tirage au sort, 20 agglomrations : un groupe avec les agglomrations de
50 000 400 000 habitants et un autre avec celles de 10 000 50 000 habitants.
Cette mthode de slection des agglomrations renforce volontairement la reprsentation des

agglomrations de faible population.
Pour chacun des deux groupes dagglomrations, le tirage au sort a t effectu avec une probabilit
fonction logarithmique de la population, qui a t rectifie pour quilibrer les diverses rgions du
territoire.
Pour chaque agglomration, deux zones ont t distingues : la ville qui correspond la
commune principale et le reste de lagglomration.
13/64
mobiles
Le tableau suivant regroupe les agglomrations slectionnes classes par groupe :
TOP 12
10 000 50 000 habitants 50 000 40 000 habitants
(suprieur 400 000 habitants)
Ville dpt Ville dpt Ville dpt
Lons le saunier 39 Orlans 45 Bordeaux 33
Coulommiers 77 Besanon 25 Douai-Lens 62
Lure 70 Chalon sur Sane 71 Grenoble 38
Gray 70 Saint Quentin 02 Lille 59
Cambrai 59 Valenciennes 59 Lyon 69
Remiremont 88 Metz 57 Marseille-Aix-en-Provence 13
Sarrebourg 67 Arras 62 Nantes 44
Grardmer 88 Chalons en champagne 51 Nice-Cannes-Antibes 6
Saint-Malo 35 Rouen 76 Paris 75
Trouville 14 Rennes 35 Strasbourg 67
Yvetot 76 Elbeuf 76 Toulon 83
Pont Audemer 27 Laval 53 Toulouse 31
Albertville 73 Saint Etienne 42
L'Isle sur la Sorgue 84 Avignon 84
Le Grau du Roi 30 Frjus 83
Saint Rmy de Provence 13 Thonon les Bains 74
Royan 17 Prigueux 24
Mazamet 81 Montauban 82
Langon 33 Limoges 87
Figeac 46 La Rochelle 17
La reprsentativit des agglomrations est rcapitule dans le tableau suivant :
Total France Echantillon

Agglomrations Population Nombre Population
Nombre Reprsentativit
(millions) slectionn (millions)
de plus de 400 000
12 19,18 12 19,18 100 %
habitants
de 50 000 400 000
104 12,74 20 2,45 19,23 %
habitants
de 10 000 50 000
361 7,11 20 0,39 5,54 %
habitants
14/64
mobiles
1.2.2. Carte des agglomrations et des axes tests
Reprsentation cartographique et rgionale de lensemble de lenqute
15/64
mobiles
1.2.3. Volumtrie et rpartition par type de lieu et par type dusage

Lchantillon a t construit de manire respecter les critres suivants :
distinguer les diffrentes catgories de situations (voiture, piton intrieur, piton extrieur,
zones gographiques,) ;
disposer dun nombre suffisant de mesures dans chaque catgorie en vue dobtenir une
prcision statistique satisfaisante ;
rpartir les mesures, au sein de chaque catgorie, selon des conditions reprsentatives des
utilisations les plus courantes.
Le nombre de mesures ralises pour lensemble des oprateurs est rparti de la manire suivante :
Communications de 2 minutes
Piton
En agglomrations Voiture Total
En intrieur En extrieur
de plus de 400 000 habitants 603 1923 1251 3777
de 50 000 400 000 habitants 408 1293 834 2535
de 10 000 50 000 habitants 231 738 480 1449
Communications de 5 minutes
Piton
En agglomrations Voiture Total
En intrieur En extrieur
de plus de 400 000 habitants 624 1878 1257 3759
de 50 000 400 000 habitants 414 1272 825 2511
de 10 000 50 000 habitants 249 702 474 1425
Sur les axes de circulation : communications de 2 minutes

Trains de
TGV Autoroutes Total
banlieue
4720 3189 2961 10870
Au total, ltude a produit et exploit 26 326 appels tlphoniques.
1.3. Conditions de mesure

1.3.1. Conditions de mesure dans les agglomrations
Aprs avoir ainsi dtermin la localisation et le nombre des mesures, un certain nombre de
conditions supplmentaires ont t prises en compte :
Localisation des mesures
Dune faon gnrale, lextension de chaque agglomration teste correspond la dfinition de
lINSEE de 2007 donnant la liste des communes appartenant lagglomration.
16/64
mobiles
Les agglomrations de plus de 400 000 habitants ont t subdivises en zones trs denses et
autres zones denses comme expliqu prcdemment.
Dans les autres agglomrations, ont t distingus la ville (ZTD = Zone Trs Dense), qui est la
commune principale, et le reste de lagglomration (AZD = Autre Zone Dense).
Mesures en voiture
Dans les agglomrations de plus de 400 000 habitants, le territoire tester a t divis en zones de
surfaces quivalentes, avec un certain nombre dappels effectuer. Les enquteurs ajustent leurs
parcours en fonction du terrain (circulation et sens interdits), lobjectif tant de couvrir
quitablement la zone.
Dans les autres agglomrations, les mesures ont t rparties pour 2/3 en ville (ZTD) et 1/3 dans le
reste de lagglomration (AZD). Elles ont t effectues sur des parcours incluant les axes
principaux et dans les zones bties (centre-ville, aroport, gare, lieux touristiques, zones
dactivits).
Mesures pitons
Dispositions communes aux mesures lextrieur ou lintrieur des btiments
Dans chaque agglomration, les mesures ont t disperses le plus possible sur le territoire tester
et il a t vit de raliser des mesures aux mmes endroits que celles effectues en voiture.
Dans les agglomrations de plus de 400 000 habitants, les mesures ont t rparties selon le mme
principe de division en zones de surfaces quivalentes que pour les mesures en voiture.
Dans les autres agglomrations, les mesures ont t effectues dans les zones bties, avec une
rpartition 2/3 en ville et 1/3 dans le reste de lagglomration.
Mesures pitons en extrieur
Les mesures ont t ralises pour 2/3 en dplacement et 1/3 larrt. En chaque point mesur, une
seule mesure a t effectue de faon obtenir la meilleure dispersion gographique. Les
emplacements ont t choisis parmi les zones frquentes par les pitons (zones bties, parcs et
jardins, plages, ...).
Mesures pitons en intrieur
Tous les appels ont t passs en 1er jour (pice avec fentre), sans se dplacer, aux rez-de-chausse
et dans les tages en excluant les sous-sols.
Les mesures ont t rparties, selon le type de btiment :
dans les lieux publics de grande superficie : 2 mesures indoor premier jour ;
dans les lieux privs (bureaux ou habitations) : 2 mesures indoor premier jour.
17/64
mobiles
1.3.2. Conditions de mesure dans les trains de banlieue et tramways

Ces mesures concernent les agglomrations de Paris, Lyon, Lille et Marseille-Aix-en-Provence
dotes de rseaux de trains de banlieue et de tramways. La rpartition des mesures est base sur les
donnes de trafic et de frquence des rames compiles partir des sources www.ter-sncf.com;
www.paris.fr/portail/deplacements; www.rtm.fr anne 2010).
Proportion de mesures
Agglomrations testes en
ralises par
trains de banlieue
agglomration
Paris 64,28%
Lyon 14,33%
Lille 11,90%
Marseille 9,49%
Total 100,00%
Les diffrentes positions des enquteurs dans les rames ont t testes : fentre ou couloir, bas ou
haut dans les rames, un ct de la voie laller puis lautre au retour. Les trois enquteurs sont
groups afin dvaluer les trois rseaux dans les mmes conditions.
1.3.3. Conditions de mesure sur les autoroutes

La rpartition des mesures sur les axes autoroutiers fort trafic est prsente ci-dessous. Celle-ci est
base sur les donnes fournies par le SETRA.
Axes autoroutiers
ralises sur chaque axe
A1 Paris - Lille 9,2%
A4 Paris - Strasbourg 7,7%
A6 Paris - Lyon 18,1%
A7 Lyon - Marseille 12,4%
A8 Marseille - Menton 4,8%
A9 Orange - Perpignan 11,7%
A10 Paris - Bordeaux 12,5%
A11 Paris - Nantes 7,7%
A13 Paris - Caen 7,3%
A61 Toulouse - Narbonne 3,5%
A62 Bordeaux - Toulouse 5,1%
Total 100,0%
Les tests sont raliss en variant rgulirement les positions des enquteurs dans le vhicule afin
dvaluer les trois rseaux dans les mmes conditions.
18/64
mobiles
1.3.4. Conditions de mesure dans les TGV

La rpartition des mesures sur les lignes de TGV testes est prsente ci-dessous. Celle-ci
est base sur les informations des horaires des trains sur le site http://www.voyages-sncf.com/
Lignes TGV ralises sur chaque
ligne
Lille - Lyon 4,6%
Paris - Bordeaux 8,8%
Paris - Calais 10,8%
Paris - Lille 13,3%
Paris - Lyon 20,8%
Paris - Marseille 9,1%
Paris - Nantes 10,4%
Paris - Rennes 10,3%
Paris - Strasbourg 8,2%
Avignon - Montpellier 3,7%
Total 100,0%
Les tests sont raliss prs des fentres et en haut dans les rames en duplex. Les trois
enquteurs sont les uns derrire les autres ct fentre en variant les positions pour valuer les trois
rseaux dans les mmes conditions.
1.3.5. Rcapitulatif des mesures ralises par strate et par situation dutilisations
A lintrieur A lextrieur Total des

Strate En voiture En train
des btiments des btiments mesures
10-50 000 hab 480 1440 954 2874

50-400 000 hab 822 2565 1659 5046
AUTOROUTE 3189 3189
TDB 2961 2961
TGV 4720 4720
TOP12 1227 3801 2508 7536
Total 5718 7806 7681 5121 26326
1.4. Notation de la qualit auditive

La qualit auditive est note par les enquteurs mobile et fixe, selon une chelle 4 niveaux :
Parfaite : aucune perturbation, qualit quivalente celle du rseau fixe commut ;
Acceptable : lgre gne dans lcoute par quelques perturbations qui ne troublent toutefois
pas la conversation ;
19/64
mobiles
Mdiocre : frquemment gn dans lcoute par de nombreuses perturbations, mais il est

encore possible de se comprendre ;
Mauvais : il est trs difficile de sentendre, la conversation est impossible.
Chaque enquteur mobile et fixe, porte une apprciation sur les communications maintenues 2 ou 5
minutes. Les communications sont qualifies indpendamment par lappelant et par lappel. La
note de lappel dcoule de lapprciation la plus svre des deux notes. Des dispositions ont t
prises pour garantir une apprciation objective de la qualit de la part des enquteurs ainsi que pour
viter les divergences dvaluation et leurs consquences sur les rsultats. Les enquteurs ont t
forms spcifiquement afin de qualifier les communications de faon rigoureuse.
Les dispositions prises afin de garantir un talonnage objectif et homogne de la qualit auditive ont
t les suivantes :
formation des enquteurs afin didentifier les perturbations typiques pouvant survenir sur les
rseaux mobiles numriques (cho, bruit mtallique, grsillements,) ;
entranement (dbut et fin de chaque phase de mesures) l'talonnage de la qualit auditive
d'aprs des enregistrements sonores, et contrle de la dispersion des rsultats ;
avant le dbut de lenqute, tous les matriels utiliss ont t vrifis par le consultant. Leur
bon fonctionnement a t contrl comme le ferait un usager classique en vrifiant
notamment le bon accrochage du rseau, le contrle de la batterie et les premires
communications ;
campagne de mesures probatoires en situation relle et analyse : application de procdures,
enregistrement des donnes pour tous les enquteurs mobile et fixe, et analyse des rsultats ;
contrle par des superviseurs au cours des mesures relles : coute discrte alatoire et
contrle des donnes enregistres tout au long de lenqute ;
analyse quotidienne de la cohrence des rsultats obtenus : divers tats de sortie statistiques
permettent de dtecter dventuelles divergences de notation de la qualit auditive, selon les
enquteurs, les terminaux, etc., et dintervenir en cas danomalie ;
permutation des binmes denquteurs fixe et mobile sur chaque rseau et entre eux afin
dliminer tout biais rsiduel dapprciation de la qualit auditive dans un mme groupe et
dans des groupes diffrents.
Au cours de l'enqute, l'apparition d'ventuels problmes de fonctionnement est surveille en temps
rel. S'ils proviennent du matriel utilis, les mesures sont marques de manire spcifique dans la
base pour ne pas tre prises en compte dans les rsultats. Ces mesures sont alors refaites aprs
correction du problme.
1.5. Equipes et droulement de lenqute

1.5.1. Ralisation de lenqute
Une quipe constitue dun directeur de projet, de deux chefs de projet (1 chef de projet AFD et 1
chef de projet GENETEL) et dun coordinateur a organis le droulement de lenqute :
La formation des enquteurs au protocole ARCEP ;

Lorganisation des plannings ;
La vrification journalire des quotas et la rpartition des mesures ;
Le respect des modes opratoires ;
20/64
mobiles
La communication hebdomadaire des rsultats vers lARCEP.
Les mesures en voiture ont t ralises par une quipe de 7 personnes (3 enquteurs mobiles
accompagns dun chauffeur, 3 enquteurs fixes).
Les mesures pitons ont t ralises par des quipes de 7 personnes (3 enquteurs mobiles
accompagns dun chauffeur, 3 enquteurs fixes).
Les mesures dans les trains (TGV et trains de banlieue) ont t ralises par des quipes de 6
personnes (3 enquteurs mobiles et 3 enquteurs fixes). En cas de gne pour les autres passagers ou
de remarques des contrleurs, les enquteurs continuaient les mesures dans le wagon bar toujours
ct fentres et toujours du mme ct.
Chaque enquteur teste un seul rseau. Les appels sont passs simultanment sur lensemble des
trois rseaux et une permutation des enquteurs fixes et mobiles est ralise chaque demi-journe.
Les enquteurs fixes sont situs lAFD SOLUTION CENTER Clichy (92110, France).
1.5.2. Contrle de cohrence des mesures ralises

Des contrles de cohrence des rsultats ont t raliss au fil de leau par AFD tout au long de
lenqute terrain, conformment au cahier des charges. Ils visaient notamment prvenir en temps
rel lapparition de biais lis un matriel dfectueux, une diffrence dapprciation de la qualit
entre les enquteurs, et plus gnralement, des imprcisions dans lapplication sur le terrain du
protocole de mesure.
Lensemble des donnes de go-localisation ont t transmises en temps rel via les smartphones
des enquteurs mobiles sur un serveur de donnes, avec un accs scuris.
Une vigilance particulire a t porte au matriel de tests utiliss pour la ralisation de lenqute.
1.5.3. Matrise des quotas
Pour la construction de lchantillon de lenqute, un certain nombre de quotas ont t tablis sur la
base de valeurs de rfrence ou de moyennes reprsentatives du march actuel des mobiles en
France. Ces quotas ont fait lobjet dun suivi portant sur le respect de la rpartition horaire des
mesures, la proportion du trafic fixe vers le mobile et mobile vers le fixe , la rpartition des
mesures entre les terminaux 2G et 3G ainsi que sur la prcision statistique maximale admise portant
sur les rsultats publier.
De plus, la mthodologie applique visait respecter des quotas de rpartition de mesures en

agglomrations :
de plus de 400 000 habitants : entre les zones trs denses et les autres zones
denses ;
de 10 000 400 000 habitants : entre la ville qui est la commune principale, et
le reste de lagglomration .
21/64
mobiles
Pour toutes les agglomrations, les mesures pitons ont t rparties selon le type de btiment :
lieux publics, immeubles de bureaux privs, locaux dhabitations privs. Les mesures lextrieur
de btiment ont t ralises en dplacement (dynamique) ou larrt (statique).
Le tableau ci-dessous dfinit les quotas et prsente leur respect lors de lenqute.
Primtre dapplication Dfinition des quotas (mesures retenues) Cible Ralis
Fixe vers mobile 33% 33,05%

Sens d'appel
Mobile vers fixe 67% 66,95%
Bouygues
20% 19,42%
Telecom
Agglomrations de plus de 10 000
Appels avec le terminal 3G
habitants et sur les axes de circulation Orange France 40% 37,85%
SFR 30% 27,63%
Prcision statistique maximale Sur les rsultats

2,50% < 2,5 %
admise publier
Tranches horaires Heures pleines 40% 36,25%

Agglomrations de plus de 10 000 Dure des appels Appels de 5 min 50% 49,79%
habitants, hors trains de banlieue Statique 33% 31,00%
Mesures lextrieur de btiment
Dynamique 67% 69,00%
Agglomrations de plus de 10 000 ZTD 70% 68,50%

Rpartition de mesures par zone
habitants AZD 30% 31,50%
22/64
mobiles
2. INDICATEURS DE PUBLICATION DE LENQUETE

2.1. Dfinitions des indicateurs publis
Une mesure consiste tenter dtablir une communication vocale puis valuer la qualit auditive
de la conversation sur chacun des rseaux tests. Une mesure sur trois rseaux porte ainsi sur trois
communications, quelles aient abouti ou non.
Les dfinitions des indicateurs sont rsumes dans le tableau ci-dessous :
Indicateurs Dfinition
Une communication est considre comme russie si lappel lanc par lun
Taux de
des enquteurs aboutit ds le premier essai et si la communication est
communications
maintenue sans coupure. Le taux est calcul sur la base du nombre total de
russies et maintenues :
mesures. Le complment 100% est donc constitu du taux dchecs aprs
CR
une tentative, plus le taux de coupures.
Taux de
Une communication est considre comme parfaite si elle est russie au
communications
sens du premier indicateur et si la qualit auditive perue par les deux
russies, maintenues
interlocuteurs est parfaite (comparable la qualit des communications sur
et de qualit auditive
le rseau fixe).
parfaite : TQP
Une communication est considre comme russie et de qualit correcte si
Taux de
elle est russie au sens du premier indicateur et si la qualit auditive perue
communications
par les deux interlocuteurs est soit parfaite soit acceptable.
russies, maintenues
Une communication est considre comme acceptable si la qualit auditive
et de qualit auditive
perue par les deux interlocuteurs est perturbe lgrement sans toutefois
correcte : CRC
gner la conversation.
Les taux de communications correctes, parfaites ou acceptables sont calculs sur la base du nombre
total de tentatives de communications.
2.2. Principes gnraux de la publication

2.2.1. Prsentation des tableaux
Pour chaque indicateur, le rsultat est publi sur la base de deux valeurs. Dune part, une valeur de
rfrence choisie comme tant la moyenne agrge pour les trois oprateurs. Dautre part, la
qualification de la performance de chaque oprateur autour de cette valeur selon les cinq niveaux :
trs infrieur, infrieur, voisin, suprieur et trs suprieur la valeur de rfrence.
De plus, une comparaison avec les rsultats de lenqute prcdente, tenant compte de la prcision
statistique de ces mesures, est prsente lorsquelle est pertinente sous forme dun signe () ou ().
Ce signe accol au rsultat indique le cas chant une amlioration ou une dgradation par rapport
lanne prcdente, pour la valeur moyenne comme pour les performances individuelles des
oprateurs.
2.2.2. Qualification de loprateur en fonction de la valeur de lcart par rapport aux

seuils
Chaque oprateur est qualifi en fonction de la valeur de lcart (e) entre son rsultat (t) et la valeur
de rfrence (m). La valeur de rfrence correspond la moyenne des rsultats des trois oprateurs
sur lindicateur considr chelonn sur 5 niveaux : trs infrieur, infrieur, voisin, suprieur, trs
suprieur la valeur de rfrence. Les seuils qui dterminent ces niveaux prennent en compte la
23/64
mobiles
prcision statistique des rsultats. En effet, les carts ne sont significatifs que sils sont suprieurs
lincertitude. Les seuils s1 et s2 sont calculs selon les formules suivantes :
t 1 t
s1 = Max ( 1% ; 1,645 )
n
s2 = 4%
o t est la valeur de lindicateur considr et n correspond au nombre de mesures ralises pour cet
indicateur.
La qualification de la performance de loprateur est dfinie en fonction de la valeur de lcart par
rapport ces seuils :
Seuil Performance Dfinition
e -s2 Trs infrieur la valeur de rfrence
-s2 < e -s1 Infrieur la valeur de rfrence
-s1 < e s1 = Voisin de la valeur de rfrence
s1 < e s2 + Suprieur la valeur de rfrence
e s2 ++ Trs suprieur la valeur de rfrence
2.2.3. Comparaison des rsultats avec ceux de lenqute prcdente
Une comparaison avec lenqute prcdente est possible lorsque le primtre et la mthode de
mesure sont identiques. Si tel est le cas, lvolution par rapport lenqute prcdente, pour chaque
oprateur et pour chaque indicateur, est indique par un signe accol au nom de loprateur ou de la
moyenne mesure. Ce signe est dtermin en fonction de lcart entre la valeur (t2) de l'indicateur
de cette anne par rapport l'anne prcdente (t1), selon un seuil qui prend en compte la
prcision statistique des rsultats :
1 1
= Max (1% ; 1,645 p 1 p )
n1 n2
n1 t1 n2 t 2
p=
n1 n2
o p est le rsultat moyen des mesures ralises durant cette enqute et lenqute prcdente, et n1
et n2 correspondent aux nombres de mesures de chacune des deux annes.
signe () : amlioration suprieure

absence de signe : indtermination (cart infrieur )
signe () : dgradation suprieure
24/64
mobiles
3. RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE

DU SERVICE DE VOIX DES RESEAUX DE DEUXIEME ET
TROISIEME GENERATIONS EN FRANCE METROPOLITAINE
3.1. Usages en agglomration

3.1.1. Communications dune dure de 2 minutes
Ensemble des agglomrations de plus de 10 000 habitants

Moyenne
Orange Bouygues
mesure SFR
7761 mesures
France Telecom
Taux de communications russies et 97,3%
maintenues 2 minutes (CR) = = =
Prcision statistique 0,36%
Taux de communications russies, maintenues 2 95,9%
minutes et de qualit Parfaite (TQP) = = =
minutes et de qualit Correcte (CRC) = = =
Ecart heure pleine / heure creuse (taux de 0,45%
communications russies et maintenues)
= = =
Les 12 plus grandes agglomrations

Moyenne
Orange Bouygues
mesure SFR
3777 mesures
France Telecom
communications russies et maintenues) = = =
25/64
mobiles
3.1.2. Communications dune dure de 5 minutes
Ensemble des agglomrations de plus de 10 000 habitants

Moyenne
Orange Bouygues
mesure SFR
7695 mesures
France Telecom
communications russies et maintenues) = = =
Les 12 plus grandes agglomrations

Moyenne
Orange Bouygues
mesure SFR
3759 mesures
France Telecom
communications russies et maintenues) = = +
26/64
mobiles
3.2. Usages sur les axes de transport
TGV
Moyenne
Orange Bouygues
mesure SFR
4707 mesures
France Telecom
maintenues 2 minutes (CR)
+ +
minutes et de qualit Parfaite (TQP) + =
minutes et de qualit Correcte (CRC) + +
Autoroutes
Moyenne
Orange Bouygues
mesure SFR
3189 mesures
France Telecom
maintenues 2 minutes (CR)
= = =
minutes et de qualit Parfaite (TQP)
= = =
27/64
mobiles
Trains de banlieue
Moyenne
Orange Bouygues
mesure SFR
2961 mesures
France Telecom
minutes et de qualit Parfaite (TQP)
= = =
minutes et de qualit Correcte (CRC)
= = =
28/64
La qualit des services de donnes des rseaux
mobiles (2G et 3G) en France mtropolitaine

ARCEP- rsultats pour lanne 2011 de lenqute de qualit des services de voix et de donnes des rseaux
mobiles
AVERTISSEMENT
Remarques gnrales
Lobjet de cette enqute, mene sur une base annuelle, est dapprcier la qualit de service des
rseaux de tlphonie mobile de seconde (2G) et de troisime gnration (3G) en France.
LARCEP dfinit en concertation avec les oprateurs concerns par ltude, savoir Orange
France, SFR et Bouygues Telecom, un cahier des charges dtaillant la mthodologie suivre
pour la ralisation de lenqute et la publication de ses rsultats.
Limites de lexercice
L'valuation porte sur la qualit des services de donnes des rseaux mobiles perue par les
clients, dans les conditions o ceux-ci les utilisent au quotidien. Cette valuation est mene sur
une dure totale de 4 mois.
Afin notamment de rendre ltude plus reprsentative de lusage des services de donnes,
chacun des rseaux a t test avec les mobiles 2G et 3G, en prenant en compte le volume de
donnes et de communications 3G de loprateur selon les derniers chiffres trimestriels dont
dispose lARCEP.
Pour les tests de transfert de donnes une offre de service daccs internet, incluant matriel
de raccordement au PC (cl 3G) est slectionne pour chaque oprateur sur le critre de la
meilleure offre grand public du haut dbit.
Prcisions statistiques et arrondis

Enfin, il convient de rappeler que, comme dans tout sondage, les rsultats de la prsente
enqute comportent une marge dimprcision. La prcision statistique indique en dessous de
chaque rsultat est lintervalle qui contient le rsultat selon une probabilit de 95%. Toute
comparaison entre les diffrents indicateurs doit donc tenir compte de cet intervalle de
confiance.
Par ailleurs, pour tre en cohrence avec cette imprcision statistique, les rsultats de la
prsente enqute ont t arrondis au dixime prs. Il convient de rappeler que :
la somme de deux rsultats arrondis peut tre diffrente de larrondi de leur somme ;
le produit de deux rsultats arrondis peut tre diffrent de larrondi de leur produit.
30/64
mobiles
SOMMAIRE
1 CARACTERISTIQUES TECHNIQUES DE LENQUETE ............................................................................ 32

1.2 CALENDRIER ET PLANNING ............................................................................................................................. .... 32
1.3 REPARTITION GEOGRAPHIQUE DE MESURES.................................................................................................... .... 33
1.4 VOLUMETRIE DE MESURES ............................................................................................................................. .... 35
1.5 TERMINAUX ET ABONNEMENTS UTILISES........................................................................................................ .... 35
2 MISE EN UVRE DES MESURES ................................................................................................................. 36
2.1 DISPOSITIONS GENERALES .............................................................................................................................. .... 36
2.2 MESURES SMS ............................................................................................................................................... .... 36
2.3 MESURES MMS .............................................................................................................................................. .... 37
2.4 NAVIGATION WAP ......................................................................................................................................... .... 38
2.5 TRANSFERT DE DONNEES EN MODE PAQUETS.................................................................................................. .... 40
2.6 ACCES WEB .................................................................................................................................................... .... 41
2.7 MAITRISE DES MESURES ................................................................................................................................. .... 43
3 INDICATEURS DE PUBLICATION DE LENQUETE ................................................................................. 45
3.1 DEFINITIONS DES INDICATEURS PUBLIES ........................................................................................................ .... 45
3.2 PRINCIPES GENERAUX DE LA PUBLICATION..................................................................................................... .... 47
4 RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE DES SERVICES DE
DONNEES DES RESEAUX DE DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE
METROPOLITAINE. .................................................................................................................................................... 50
4.1 LES SERVICES INTERPERSONNELS ET DE NAVIGATION .................................................................................... .... 50
4.2 TRANSFERT DE DONNEES EN MODE PAQUETS..................................................................................................... .... 53
5 ANNEXE : MESURES EXPERIMENTALES SUR SMARTPHONES ......................................................... 60
5.2 VOLUMETRIE .................................................................................................................................................. .... 61
5.3 TERMINAUX UTILISES ..................................................................................................................................... .... 61
5.4 OUTIL ET PROTOCOLES ................................................................................................................................... .... 61
5.5 RESULTATS DES MESURES REALISEES SUR SMARTPHONE SUR LE TOP 12 ....................................................... .... 63
31/64
mobiles
1. CARACTERISTIQUES TECHNIQUES DE LENQUETE

Lenqute porte sur lvaluation de la qualit des services de donnes suivants :
- le service de messages courts SMS : envoi dun message constitu dun texte ;
- le service de messagerie multimdia MMS : envoi dun message constitu dun texte
et dune photo ;
- le service daccs WAP : navigation sur un site dinformation, exclusivement gratuit,
de loprateur ;
- le transfert de donnes en mode paquets et laccs web sur PC : envoi dun fichier de
1 Mo, tlchargement dun fichier de 5 Mo et navigation web sur plusieurs sites
grand public .
Le transfert de donnes et laccs web sont raliss avec une cl data 3G+ et les mesures de
service SMS, MMS et WAP sont ralises avec des terminaux mobiles 2G et 3G, dont la
rpartition entre les terminaux est la suivante :
Proportion des mesures avec le terminal 3G

Type de mesure Orange France SFR Bouygues Telecom
SMS 40% 30% 15%
MMS, WAP 90% 90% 85%
Cette rpartition entre les mesures en 2G et 3G est dfinie sur la base :
pour les SMS : du volume de communications vocales en 2G et en 3G de loprateur
selon les derniers chiffres trimestriels dont dispose lARCEP ;
pour les MMS et WAP : du volume de donnes en 2G et en 3G de loprateur selon
les derniers chiffres trimestriels dont dispose lARCEP.
1.2. Calendrier et planning

Lenqute sest droule du 24 mars au 13 juillet 2011. Pendant le droulement de lenqute,
les oprateurs, Orange France, SFR et Bouygues Telecom, ne connaissaient, mis part les
12 agglomrations de plus de 400 000 habitants (TOP 12), ni les jours, ni les lieux o
seffectuaient les mesures, ni les numros de cartes SIM des abonnements utiliss dans le
cadre de lenqute.
Les mesures ont t ralises entre 9h et 21h en semaine, du lundi au vendredi et sont rpartis
de manire homogne entre les 4 crneaux horaires : 9h-12h ; 12h-15h ; 15h-18h et 18h-21h.
En pratique, pour respecter les quotas horaires, a t applique la rpartition de mesures
prsente dans le tableau ci-dessous :
Tranches horaires Proportion de mesures

9h 12h 25%
12h 15h 25%
15h 18h 25%
18h 21h 25%
32/64
mobiles
1.3. Rpartition gographique de mesures

652 lieux de mesures ont t audits sur les 20 agglomrations de 50 000 400 000 habitants
(strate 50-400) tires au sort ainsi que sur lensemble des agglomrations de plus de 400 000
habitants (TOP12) : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes,
Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. La rpartition des
lieux par agglomration est illustre sur la carte ci-dessous.
Au sein de chaque agglomration on distingue les zones trs denses et autres zones
denses selon les critres suivants :
Zones trs denses (ZTD) : centre-ville de la ou des communes principales, zones de
transit (gares, aroports), centres dactivits (commerciaux, affaires), axes urbains
trs fort trafic et autoroutes dans les limites de lagglomration ;
33/64
mobiles
Autres zones denses (AZD) : continuum bti autour des zones trs denses, autres
centres villes de plus de 5 000 habitants, autres axes urbains au sein de
lagglomration.
Les lieux de mesures sont choisis alatoirement et rpartis de manire homogne au sein de
chaque agglomration audite. La rpartition des lieux entre les zones ZTD et AZD au sein de
chaque agglomration est de 2/3 1/3.
Cette rpartition des lieux de mesures entre les ZTD et les AZD au sein de chaque
agglomration se traduit par le nombre de mesures suivantes :
Agglomrations ZTD AZD Total

PARIS 77 39 116
MARSEILLE 21 11 32
LYON 23 11 34
LILLE 20 10 30
NICE 17 8 25
TOP 12
TOULOUSE 15 8 23
BORDEAUX 17 8 25
NANTES 13 6 19
TOULON 14 7 21
DOUAI-LENS 14 7 21
STRASBOURG 13 6 19
GRENOBLE 13 6 19
Total 257 127 384
SAINT-ETIENNE 12 6 18
NANCY 12 6 18
ANGERS 11 6 17
Agglomrations de 50 000 400 000 habitants
REIMS 11 6 17
NIMES 11 5 16
AMIENS 11 5 16
ANGOULEME 10 5 15
CHAMBERY 10 5 15
BOURGES 9 5 14
FORBACH 9 5 14
QUIMPER 9 4 13
TARBES 9 4 13
MEAUX 8 4 12
SAINT-QUENTIN 8 4 12
LAVAL 7 4 11
ARCACHON 7 3 10
ARMENTIERES 7 3 10
BERGERAC 7 3 10
ROMANS-SUR-ISERE 6 3 9
SALON-DE-PROVENCE 5 3 8
Total 179 89 268
Nombre total des lieux audits 436 216 652
34/64
mobiles
1.4. Volumtrie de mesures
Sur chaque lieu, ont t raliss en moyenne 1 SMS, 1 MMS, 2 WAP, 2 envois dun fichier
de 1 Mo (uplink), 2 tlchargements dun fichier de 5 Mo (downlink) et 2 accs web sur PC.
Ce qui conduit une volumtrie de 6 480 mesures ralises en moyenne par oprateur :
Mobiles 2G/3G Cls data 3G+

Echantillon
Uplink Downlink
SMS MMS WAP Web
1Mo 5Mo
TOP12 384 384 768 759 759 748
50-400 268 268 536 527 529 529
TOTAL 652 652 1304 1286 1288 1277
Au total, sur 652 lieux audits, ltude a produit et exploit 19 454 mesures soit : 1956 SMS,
1956 MMS, 3912 navigations WAP, 7799 tlchargements de fichiers et 3831 accs web.
1.5. Terminaux et abonnements utiliss
Ltude a t ralise avec les terminaux et les abonnements spcifiques en offre grand public
suivants :
Oprateur Mobiles 2G Mobiles 3G Abonnements
Orange Samsung C3050 Nokia 6700 Slide Origami star 1h

SFR Nokia 2720 Fold Nokia E71-1 Illymitics 5 connect
Bouygues Telecom Nokia 2220 Slide Nokia 6700 Slide NEO 4 smartph
Les terminaux ont t choisis sur la base des meilleures ventes des packs de chaque oprateur
et aprs vrification que les tlphones slectionns ont des performances comparables et
quils nintroduisent pas eux-mmes de biais dans la mesure.
Pour les tests de transfert de donnes et la navigation web, une offre de service daccs
internet, incluant matriel de raccordement au PC (cl data 3G+) est slectionn pour chaque
oprateur. Les abonnements ont t choisis par les oprateurs sur le critre de la meilleure
offre grand public du haut dbit.
Les cls et les abonnements suivants ont t slectionns :
Offre accs Internet
Oprateur
Cl data 3G+ Abonnements
Orange Huawei E367V2 F.IEW 2H ajustable 6 et 12 h
SFR Vodafone K4505 Huawei Internet pro
Bouygues Telecom Alcatel One Touch X220L Internet 3Go 24/24
35/64
mobiles
2. MISE EN UVRE DES MESURES
2.1. Dispositions gnrales

Les mesures ont t ralises par deux quipes, constitues de trois techniciens de mesures
spcialiss dans ce type de mesures. Ces techniciens ont t forms au protocole de lARCEP
2011 et sensibiliss aux contraintes de confidentialit absolue de l'tude.
Toutes les mesures sont ralises bord dun vhicule en stationnement. Sur chaque lieu, le
technicien relve les donnes de positionnement gographique (adresse et GPS), puis ralise
les tests prvus sur ce lieu. Un planning prtabli et automatis indique prcisment les
terminaux utiliser (2G ou 3G) et les mesures raliser sur le lieu.
En pratique, les tests sont effectus en mme temps sur les 3 rseaux par 3 techniciens. Le
tableau ci-dessous schmatise une squence de tests pour chaque oprateur :
Squence de mesures sur un lieu

SMS
MMS
WAP_1
WAP_2
DL 5Mo_1 / UL 1Mo_1 / WEB_1
DL 5Mo_2 / UL 1Mo_2 / WEB_2
2.2. Mesures SMS

Une mesure consiste tenter denvoyer un message SMS, mesurer son dlai de rception et
vrifier son intgrit, sur chacun des rseaux tests.
Le message SMS envoy est identique pour tous les oprateurs et ce durant tout laudit. Il est
constitu de 26 caractres remplis par les lettres majuscules de lalphabet ( ABCD
XYZ ) et dun identifiant numrique unique.
Les messages SMS sont envoys depuis le terminal de chaque oprateur vers un autre
terminal du mme oprateur, du mme modle, allum en tat de veille et paramtr en
rception automatique. Les mobiles dmission et de rception sont situs dans la mme zone
gographique et restent statiques.
La dure entre lmission et la rception du message est mesure, et est vrifi que le contenu
du message est sans erreur lors de sa rception. Au-del dune dure de 2 minutes, le message
est considr comme non reu. Tout message non envoy par refus du rseau est compt
comme non reu.
Aprs chaque mesure SMS, les messages sont supprims des mobiles lexception du modle
du message.
La synoptique de la mesure SMS est illustre ci-dessous.
36/64
mobiles
EMISSION RECEPTION ATTENTE
Prparation du
SMS : 26 lettres Temps inter-
majuscules de Envoi du SMS Rception du Consultation
mesure
lalphabet + numro SMS du SMS
de la mesure
Clic sur Message Notification de la

Envoyer envoy
rception
Dlai dmission Dlai de rception

du SMS du SMS
Dlai de rception
Hors dlai : 2 minutes
2.3. Mesures MMS

Une mesure consiste tenter denvoyer un message MMS et mesurer son dlai de rception
et son intgrit, sur chacun des rseaux tests.
Le message MMS envoy est identique pour tous les oprateurs et ce durant tout laudit Il est
constitu de 26 caractres remplis par les lettres majuscules de lalphabet ( ABCD
XYZ ), dun identifiant unique et dune pice jointe de 50Ko au format JPEG (photo) ci-
dessous :
Les messages MMS sont envoys depuis le terminal de chaque oprateur vers un autre
terminal du mme oprateur, allum en tat de veille et paramtr en rception automatique
(configuration dorigine). Les deux terminaux sont situs sur la mme localisation et restent
statiques.
La dure entre lmission et la rception du message est mesure et on vrifie que le contenu
du message est sans erreur lors de sa rception. Au-del dune dure de 5 minutes, le message
est considr comme non reu. Tout message non envoy par refus du rseau est compt
comme non reu.
37/64
mobiles
Aprs chaque mesure MMS, les messages sont supprims des mobiles lexception du
modle du message.
La synoptique de la mesure MMS est illustre ci-dessous.
EMISSION RECEPTION ATTENTE
Message : 26
Rception de
lettres majuscules Tlchargement Temps inter-
Envoi du la Consultation
+ numro de la du message mesure
MMS notification du message
mesure + photo du message
JPG de 50ko
Clic sur Message Notification du Message

Envoyer envoy message et reu
dbut du
tlchargement
Dlai de Dlai de
Dlai dmission notification tlchargement
Dlai de rception
Hors dlai : 5 minutes
2.4. Navigation WAP

Une mesure consiste accder au portail WAP de loprateur, puis naviguer
successivement, pendant 5 minutes, sur des sites dinformation, parmi les dix les plus
frquents (exclusivement gratuits) de chaque rseau, en restant environ 20 secondes sur
chaque page. En comptant le temps de chargement, on consulte donc denviron 10-12 pages
par site test.
Si une page est en cours de chargement au bout des 5 minutes de navigation, on attend quelle
finisse de se charger pour qualifier la session.
Ainsi, chaque test WAP est compos des tapes suivantes :
38/64
mobiles
AVANT TEST CONNEXION NAVIGATION SUR LES PAGES WEB DECONNEXION
Accs Vrification
Dconnexion du laccueil Navigation sur intgrit de la Temps de Temps inter-
rseau depuis 1 WAP : le site : page : visualisation : mesure : 1
minute minimum Page 1 Page 2 contenu, mise 20 secondes minute
en page
Navigation durant 5 minutes
Connexion Connect Demande Page

WAP page affiche
Dlai
Dlai de de
connexion chargement
WAP page
Hors dlai : Hors dlai :

30 secondes 30 secondes
Les 10 sites tests sont les suivants :
SFR Orange Bouygues Telecom

Annuaire Actu People
Chat&CO Humour EuroSport
Logos TV Mto
Sport Sport Tlpoche
People Jeux Boursier
Info Bourse Info
Skyrock Mto L'Equipe
Musique
Chat Cinma Allocin
Itinraires Restos&Bars Cin/BD
Foot Horoscope Mtro France
Pour chaque rseau, ont t constitus 10 scnarios diffrents, chacun comprenant au moins la
page daccueil WAP et un des 10 sites tests :
Lieu 1 Lieu 2 Lieu 3 Lieu 4 Lieu 5

WAP 1 Accueil, site 1 Accueil, site 3 Accueil, site 5 Accueil, site 7 Accueil, site 9
WAP 2 Accueil, site 2 Accueil, site 4 Accueil, site 6 Accueil, site 8 Accueil, site 10
39/64
mobiles
Lors de navigation WAP, 2 types dchec sont possibles :
Echecs bloquants Echecs non bloquants

Time Out ou Echec d'accs
Accs portail WAP
au portail de l'oprateur
Blocage, Time Out de tlchargement,
retour arrire impossible retour arrire possible
Mauvais routage, Echec service,
Navigation sur les sites retour arrire impossible retour arrire possible
Echec service, Non intgrit de la page,
retour arrire impossible retour arrire possible
Coupure
En cas dchec bloquant, la navigation sarrte, est considre comme chec et on passe
la mesure suivante. En cas dchec non bloquant sur une page, la navigation se poursuit sur
une page suivante.
2.5. Transfert de donnes en mode paquets
2.5.1. Protocole de mesure

Une mesure consiste, sur chacun des rseaux tests, :
- Se connecter, via un modem (clef) de loprateur, un serveur reli linternet, et
mesurer le dlai dtablissement de la liaison ou noter lchec ventuel ;
- Tlcharger ou envoyer, selon le protocole FTP, un fichier et mesurer le dlai de
transfert ou noter lchec ventuel (en distinguant les checs de connexion au serveur
FTP, de coupure en cours de communication, et les abandons hors dlai) ;
- Vrifier que les fichiers sont intgralement tlchargs.
Les fichiers utiliss pour les transferts de donnes sont identiques pour les 3 oprateurs :
un fichier de 5 Mo pour le tlchargement en sens descendant (download) ;
un fichier de 1 Mo pour lenvoi en sens montant (upload).
Pour chaque tlchargement, une connexion/dconnexion rseau est effectue. Le time out de
connexion est de 1 minute. Les time out de tlchargement aprs connexion sont
respectivement de 2 minutes en upload et de 5 minutes en download. Au-del de ces temps,
les tlchargements sont abandonns et considrs comme chous.
La synoptique de transfert de donnes est prsente ci-dessous :
40/64
mobiles
AVANT TEST CONNEXION TRANSFERT DECONNEXION
Dconnexion
du rseau Connexion Tlcharge Vrificatio Dconnexion Dconnexion
Connexion
depuis au serveur ment ou n du fichier du serveur du rseau
au rseau
minimum 1 FTP mission du reu FTP
minute fichier
Demande de PC connect Demande de Fichier

connexion indication tlchargement reu
au rseau du dbit ou denvoi du
dans la fichier
barre de
tche
Dlai de Dlai de
Connexion Tlchargement
Hors dlai : 1 Hors dlai :

minute 300s pour download
120s pour upload
2.5.2. Serveur FTP

Le serveur Ikoula a t slectionn la suite de tests probatoires sur deux serveurs de deux
fournisseurs diffrents (Ikoula et OVH).
Fournisseur OS IP Bande Passante

Ikoula Debian 5.0.8 213.246.38.46 100 Mbps garanti
2.5.3. Plateforme de mesures

Les mesures FTP ont t ralises laide dun outil dacquisition automatique de mesures de
services de donnes (MQC).
Une plateforme de test comprend un PC HP Probook 4520s (OS windows XP pour Bouygues
Telecom et SFR, OS Windows 7 pour Orange), la cl data teste pour chaque oprateur avec
labonnement recommand, ainsi quun dispositif de golocalisation. Aucune application en
dehors de celles ncessaires aux mesures nest utilise sur ces machines.
2.6. Accs web

Une mesure consiste accder internet, puis raliser une succession de connexions sur
diffrentes pages pendant une dure de 5 minutes, en restant 20 secondes sur chaque page
tlcharge.
Le principe de construction et dexcution des scnarios est le mme que pour les mesures
WAP :
41/64
mobiles
AVANT TEST CONNEXION NAVIGATION SUR LES PAGES WEB DECONNEXION
Vrification
Dconnexion du intgrit de la Temps inter- Temps inter-
Connexion Accs une
rseau depuis 1 page : page : 20 mesure : 1
au rseau page Internet
minute minimum contenu, mise secondes minute
en page
Navigation durant 5 minutes
Connexion Connect Demande Page

RAS page web affiche
Dlai
Dlai de de
connexion au chargement
rseau page
Hors dlai : Hors dlai :

1 minute 50 secondes
Les pages retenues pour ce test, identiques pour les 3 oprateurs, correspondent aux 13 sites
internet les plus frquents nationalement par les internautes (hors sites oprateurs ou
constructeurs) :
Pages WEB
http://www.google.fr
http://www.facebook.fr
http://www.youtube.fr
http://www.wikipedia.fr
http://www.pagesjaunes.fr
http://www.yahoo.fr
http://www.amazon.fr
http://www.leboncoin.fr
http://www.ebay.fr
http://www.commentcamarche.net
http://www.fnac.com
http://www.blogspot.com
http://www.francetelevisions.fr
La navigation est considre comme russie si aucune erreur parmi celles listes ci-dessous ne
sest produite pendant la navigation de 5 minutes :
non affichage de la page au bout de 50 secondes ;
blocage de la navigation ou rupture de la connexion ;
messages derreur affichs par le terminal.
Si une page est en cours de chargement au bout des 5 minutes de navigation, on attend quelle
finisse de se charger pour qualifier la session.
42/64
mobiles
2.7. Maitrise des mesures
2.7.1. Equipes et droulement de lenqute

Un chef de projet assure la formation des quipes au protocole ARCEP, lorganisation des
itinraires, le respect des modes opratoires et le bon droulement de lenqute.
Le travail de chaque quipe est guid et scuris par une application informatique qui indique
les tests effectuer et le mobile utiliser (2G ou 3G).
Les enquteurs effectuent la saisie des rsultats des mesures et des repres topographiques de
chaque lieu de test.
Les positions des mesures sont repres par un systme de localisation GPS, ce qui permet de
vrifier le respect des consignes concernant les lieux, de reprer les mesures, et daider au
diagnostic en cas de problme.
Au cours de lenqute, lapparition dventuels problmes de fonctionnement affectant
anormalement la qualit sur un ou plusieurs rseaux est surveille en permanence. Sils
proviennent du rseau dun oprateur et sont non-rcurrents, ils sont considrs comme des
inconvnients subis par les clients, et les mesures sont prises en compte. Sils sont rcurrents
(panne totale dun rseau dans une zone par exemple), ils sont immdiatement signals
lARCEP, qui dfinit la conduite tenir.
Le matriel utilis pour les tests (mobiles, cls et PC) fait lobjet dune attention particulire
des enquteurs pour viter que des dfaillances puissent influencer les rsultats des mesures.
2.7.2. Gestion des quotas

Pour la construction de lchantillon de lenqute, un certain nombre de quotas, tablis sur la
base de valeurs de rfrence ou de moyennes reprsentatives du march actuel des mobiles en
France, ont t dfinis.
Ces quotas ont fait lobjet dun suivi rigoureux portant sur le respect de la rpartition horaire
des mesures, la rpartition des mesures entre les terminaux 2G et 3G pour chaque service et le
nombre des lieux audits.
De plus, au sein de chaque agglomration, la mthodologie applique consiste respecter les
quotas de rpartitions de mesures entre les ZTD - zones trs denses et les AZD - autres
zones denses.
Le tableau ci-dessous dfinit les quotas et montre leur respect lors de lenqute :
Dfinition des quotas Cible Ralis

Orange France 40% 40.3%
SMS SFR 30% 30.1%
Bouygues Telecom 15% 14.7%
Mesures avec le terminal 3G MMS SFR 90% 90.3%
WAP SFR 90% 90.0%
43/64
mobiles
9h 12h 25% 25.1%

12h 15h 25% 25.0%
Tranches horaires
15h 18h 25% 25.0%
18h 21h 25% 24.9%
TOP 12 33.3% 33.1%
Proportion des lieux en AZD 50 400 33.3% 33.2%
Sur lensemble des agglomrations 33.3% 33.1%
Nombre des lieux audits Sur lensemble des agglomrations 650 652
44/64
mobiles
3. INDICATEURS DE PUBLICATION DE LENQUETE
3.1. Dfinitions des indicateurs publis
3.1.1. Service de messagerie courts (SMS)

Une mesure consiste tenter dmettre un message, puis mesurer le dlai de rception et
vrifier son contenu, sur chacun des rseaux tests. Une mesure sur trois rseaux porte ainsi
sur trois messages, quils aient abouti ou non.
Indicateurs SMS Dfinition
Taux de messages reus Un message est considr comme reu si le message mis nest
pas refus par le rseau, sil est reu dans un dlai de 2 minutes, et
si son contenu est correct. Le complment 100% est donc
constitu du taux de messages refuss par le rseau ou reus aprs
2 minutes, ou dont le contenu est incorrect.
Taux de messages reus dans Un message est considr reu dans un dlai infrieur 30
un dlai infrieur 30 secondes si le message est reu au sens du premier indicateur et si
secondes le dlai de rception du message reu ne dpasse pas 30 secondes.
Les deux indicateurs sont calculs sur la base du nombre total de tentatives denvoi de
message.
3.1.2. Service de messages multimdia (MMS)

Une mesure consiste tenter dmettre un message avec une pice jointe de 50 ko, puis
mesurer le dlai de rception et vrifier son contenu, sur chacun des rseaux tests. Une
mesure sur trois rseaux porte ainsi sur trois messages, quils aient abouti ou non.
Indicateurs MMS Dfinition

Taux de messages reus Un message est considr comme reu si le message envoy nest
pas refus par le rseau, sil est reu dans un dlai de 5 minutes, et
si son contenu est correct. Le complment 100% est donc
constitu du taux de messages refuss par le rseau ou reus aprs
5 minutes ou dont le contenu est incorrect.
Taux de messages reus dans Un message est considr comme reu dans un dlai de 3 minutes
un dlai infrieur 3 minutes si le message est reu au sens du premier indicateur et si le dlai
de rception du message reu ne dpasse pas 3 minutes.
Les deux indicateurs sont calculs sur la base du nombre total de tentatives denvoi de
message.
45/64
mobiles
3.1.3. Service de navigation WAP

Une mesure consiste accder au portail de loprateur, puis raliser une succession de
connexions sur des sites Internet Mobile partir du portail de loprateur pendant une
dure de 5 minutes.
Indicateurs WAP Dfinition

Taux de russite de laccs au Laccs au portail de loprateur est considr comme russi
portail de loprateur lorsque la page daccueil de loprateur est charge intgralement
dans un dlai infrieur 30 secondes, sans coupure de la
connexion, et ds la premire tentative. Ce taux est calcul sur la
base du nombre total de mesures.
Taux de navigations russies La navigation est considre comme russie si elle est maintenue
et maintenues pendant une et active pendant une dure de 5 minutes sans coupure de
dure de 5 minutes connexion au rseau de donnes. Ce taux est calcul sur la base du
nombre total de mesures dont laccs au portail a russi.
3.1.4. Service de transmission de donnes en mode FTP

Une mesure consiste tablir une connexion au serveur reli internet par des liens
correctement dimensionns et tenter de tlcharger ou envoyer des fichiers en utilisant le
protocole de transfert de donnes FTP.
Indicateurs FTP Dfinition

Une connexion est russie si elle est tablie dans un dlai
Taux de connexions russies infrieur 1 minute. Le taux est calcul sur la base de
lensemble des mesures ralises.
Le taux de connexions russies dans un dlai infrieur 10
Taux de connexions russies dans
secondes est calcul sur la base de lensemble des mesures
un dlai infrieur 10 secondes
ralises.
Un fichier est considr comme reu sil est reu
intgralement, sans coupure de la connexion, dans un dlai de
Taux de fichiers de 1 Mo envoys*
2 minutes et si son contenu est correct. Le taux est calcul sur
la base du nombre total de fichiers envoys.
Dbit de donnes atteint pour 90% Cet indicateur correspond au percentile de 90% des fichiers
des fichiers de 1 Mo envoys * reus au sens de lindicateur 3
Un fichier est considr comme reu si le fichier est reu
intgralement dans un dlai de 5 minutes et si son contenu est
Taux de fichiers de 5 Mo reus*
correct. Le taux est calcul sur la base du nombre total de
fichiers tlchargs.
des fichiers de 5 Mo reus* reus au sens de lindicateur 3
46/64
mobiles

* les indicateurs correspondants sont publis sur un mode individuel.
3.1.5. Service daccs WEB sur PC

Une mesure consiste accder internet, puis raliser une succession de connexions sur
diffrentes pages pendant une dure de 5 minutes. Les pages retenues pour ce test
correspondent aux 13 sites internet les plus frquents nationalement par les internautes.
Indicateurs WEB Dfinition

Taux de russite de laccs Laccs un site internet est considr comme russi lorsque la
un site internet page daccueil du site est charge intgralement dans un dlai
infrieur 50 secondes ds la premire tentative. Ce taux est
calcul sur la base du nombre total de mesures.
Taux de navigations russies La navigation est considre comme russie si elle est maintenue
et maintenues pendant une et active pendant une dure de 5 minutes sans coupure de
dure de 5 minutes connexion au rseau de donnes. Ce taux est calcul sur la base du
nombre total de mesures dont laccs au portail a russi.
3.2. Principes gnraux de la publication
3.2.1. Prsentation des tableaux

A lexception des indicateurs relatifs au tlchargement de fichiers en mode FTP, les rsultats
de lenqute sont publis sur la base, dune part, dune valeur de rfrence choisie comme
tant la moyenne agrge pour les trois oprateurs et de sa prcision statistique4, et, dautre
part, de la qualification de la performance individuelle de chaque oprateur autour de cette
valeur selon les cinq niveaux : trs infrieur, infrieur, voisin, suprieur, trs suprieur la
valeur de rfrence.
De plus, une comparaison avec les rsultats de lenqute prcdente tenant compte de la
prcision statistique de ces mesures est prsente, lorsquelle est pertinente, sous forme dun
signe () ou () accol au rsultat indiquant le cas chant une amlioration ou une
dgradation par rapport lanne prcdente, et ce pour la valeur moyenne comme pour les
performances individuelles des oprateurs.
4

La prcision statistique ( p ) dfinit autour de la valeur mesure ( x ) un intervalle de confiance x p; x p , tel quil
contienne la valeur thorique (X) avec une probabilit de 95 %. Elle est calcule en utilisant lapproximation normale de la
distribution binomiale, par la formule p 1,96 x (1 x ) n (o n est le nombre de mesures ralises pour
lindicateur considr).
47/64
mobiles
3.2.2. Choix de la valeur de rfrence

Chaque oprateur est qualifi en fonction de la valeur de lcart entre son rsultat (t i) et la
valeur de rfrence (v), qui est la moyenne des rsultats des trois oprateurs sur lindicateur
considr.
3
v t ti / 3
i 1
3.2.3. Choix des seuils

On ralise le test dingalit suivant : t i v s mi n i, o smin,i est dfini pour chaque oprateur
de telle faon que lintervalle [ t i -smin,i ,100 %] contienne la valeur (Ti) du rsultat thorique de
loprateur avec une probabilit de 95 %.
smin,i est calcul par la formule suivante (n tant le nombre de mesures ralises pour
lindicateur considr):
t (1 t i )
s min,i 1,645 i
n
Pour chaque oprateur, les seuils S1 et S2 sont dfinis de la faon suivante :
S1 = Max (1 % ; smin,i)
S2 = 4%
3.2.4. Qualification de loprateur en fonction de la valeur de lcart par rapport aux

seuils
La qualification de la performance de loprateur se fait en fonction de la valeur de lcart (e)
du taux ( t i ) ou du dlai ( d i ) mesur par rapport la valeur de rfrence ( v ) :
Seuil Performance Dfinition

e <= -S2 Trs infrieur la valeur de rfrence
- S2 < e <= - S1 Infrieur la valeur de rfrence
- S1 < e <= S1 = Voisin de la valeur de rfrence
S1 < e <= S2 + Suprieur la valeur de rfrence
e >= S2 ++ Trs suprieur la valeur de rfrence
3.2.5. Comparaison des rsultats avec ceux de la prcdente enqute
Pour chaque oprateur et pour chaque indicateur, si une comparaison avec lenqute
prcdente est possible (cest--dire quand le primtre et la mthode de mesure sont
identiques), lvolution par rapport lenqute prcdente est indique par un signe accol au
nom de loprateur ou de la moyenne mesure. Ce signe est dtermin en fonction de lcart
entre la valeur (t2) de l'indicateur de cette anne par rapport l'anne prcdente (t1), selon un
seuil qui prend en compte la prcision statistique des rsultats :

Max 1%;1.645 p(1 p)(1 / n1 1 / n2 )
n t n2 t 2
p 11
n1 n2
48/64
mobiles
o p est le rsultat moyen de mesures ralises durant cette enqute et lenqute prcdente, et
n1 et n2 les nombres de mesures de chacune des deux annes.
signe () = amlioration suprieure ;

pas de signe = indtermination (cart infrieur ) ;
signe () = dgradation suprieure .
49/64
mobiles
4. RESULTATS DE LENQUETE DEVALUATION DE LA

QUALITE DES SERVICES DE DONNEES DES RESEAUX DE
DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE
METROPOLITAINE.
4.1. Les services interpersonnels et de navigation
4.1.1. Ensemble des agglomrations de plus de 50 000 habitants
ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS
Moyenne Orange Bouygues

SMS SFR
mesure France Telecom
1 956 mes
Taux de messages reus 99.7% = = =

Prcision statistique 0.2%
Taux de messages reus en moins de 30 secondes 99.2% = = =


MMS SFR
1 956 mes
Taux de messages reus 97.1% - + =

Taux de messages reus en moins de 3 minutes 96.8% - + =


WAP SFR
3 912 mes
Taux de russite de connexion au portail 95.0% + = -

Taux de navigation russie et maintenue pendant une 99.8% = = =
dure de 5 minutes
50/64
mobiles

WEB SFR
3 820 mes
Accs un site internet dans un dlai infrieur 50s 97.5% + = =

Taux de navigation russie et maintenue pendant une
dure de 5 minutes
95.9% = = -
Comparaison avec ltude prcdente effectue pour tous les indicateurs, sauf les
indicateurs lis laccs web
51/64
mobiles
4.1.2. Agglomrations du TOP 12
AGGLOMERATIONS DU TOP12
Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes,
Toulon, Douai-Lens, Strasbourg et Grenoble

SMS SFR
1 152 mes
Taux de messages reus 99.9% = = =

Taux de messages reus en moins de 30 secondes 99.4% = = =


MMS SFR
1 152 mes
Taux de messages reus 96.9% - + =

Taux de messages reus en moins de 3 minutes 96.5% - + =


WAP SFR
2 304 mes
Taux de russite de connexion au portail 95.0% + = -

Taux de navigation russie et maintenue pendant une 99.7% = = =
dure de 5 minutes

WEB SFR
2 235 mes
Accs un site internet dans un dlai infrieur 50s 97.5% = = =

Taux de navigation russie et maintenue pendant une
dure de 5 minutes
96.0% = = =
Comparaison avec ltude prcdente effectue pour tous les indicateurs, sauf les
indicateurs lis laccs web
52/64
mobiles
4.2. Transfert de donnes en mode paquets
4.2.1. Ensemble des agglomrations de plus de 50 000 habitants

Connexion au rseau SFR
7 623 mes
Taux de connexions russies au rseau 99.0% = = =

98.4%
Taux de connexions russies en moins de 10 secondes

= = =
Loffre grand public teste pour Orange France est F.IEW 2H ajustable 6-12 h
Loffre grand public teste pour SFR est Internet pro
Loffre grand public teste pour Bouygues Tlcom est Internet 3Go 24/24
Orange Bouygues
Tlchargement de fichiers de 5Mo SFR
France Telecom
Taux de fichiers reus de 5 Mo 96.5% 95.3% 87.3%

Prcision statistique 1.0% 1.2% 1.8%
Dbit moyen de transfert atteint par 90% des fichiers reus 2230 kbit/s 927 kbit/s 385 kbit/s
Comparaison avec ltude prcdente effectue pour tous les indicateurs
53/64
mobiles
4.2.2. Agglomrations du TOP 12
AGGLOMERATIONS DU TOP 12

Connexion au rseau SFR
4 425 mes
Taux de connexions russies au rseau 99.1% = = =

98.6%
Taux de connexions russies en moins de 10 secondes

= = =
Orange Bouygues
Envoi de fichiers de 1Mo SFR
France Telecom
Taux de fichiers envoys de 1 Mo 97.3% 95.2% 89.0%

Dbit moyen de transfert atteint par 90% des fichiers envoys 864 kbit/s 287 kbit/s 265 kbit/s
Orange Bouygues
Tlchargement de fichiers de 5Mo SFR
France Telecom
Taux de fichiers reus de 5 Mo 97.5% 95.1% 88.1%

Loffre grand public teste pour Orange France F.IEW 2H ajustable 6-12 h
Loffre grand public teste pour SFR est Internet pro
Loffre grand public teste pour Bouygues Tlcom est Internet 3Go 24/24
Comparaison avec ltude prcdente effectue pour tous les indicateurs
54/64
mobiles
COURBES DE REPARTITION DES ECHANTILLONS

Aide la lecture du graphique :

- 226 mesures dont la connexion rseau a russi ont dpass 2 Mbit/s pour Bouygues
Telecom
- 852 mesures dont la connexion rseau a russi ont dpass 2 Mbit/s pour SFR
- 1077 mesures dont la connexion rseau a russi ont dpass 2 Mbits/s pour Orange
France
55/64
mobiles
Aide la lecture du graphique :

Il y a eu 50 mesures pour SFR dont les dbits ont t enregistrs entre 1 Mbit/s et 1,2 Mbit/s.
Echantillon atteignant un dbit minimum en Upload

1400
1200 Orange France

SFR
Cumul des chantillons
1000 Bouygues Telecom
800
600
400
200
0
0 500 1000 1500 2000 2500 3000
Dbit (kbps)
56/64
mobiles
Rpartition des dbits Upload

250
Orange France
200 SFR
Nombre de mesures
Bouygues Telecom
150
100
50
0
0 500 1000 1500 2000 2500 3000
Dbit (kbps)
57/64
mobiles
58/64
mobiles
Echantillon atteignant un dbit minimum en Upload

800
700 Orange France

SFR
Cumul des chantillons
600
Bouygues Telecom
500
400
300
200
100
0
0 500 1000 1500 2000 2500 3000
Dbit (kbps)
Rpartition des dbits Upload

200
Orange France
SFR
150
Nombre de mesures
Bouygues Telecom
100
50
0
0 500 1000 1500 2000 2500 3000
Dbit (kbps)
59/64
mobiles
5. ANNEXE : MESURES EXPERIMENTALES SUR

SMARTPHONES
En complment des mesures dcrites prcdemment, des mesures de dbit et de navigation
web ont galement t ralises, titre exprimental, depuis des smartphones, afin de tester
des protocoles de mesure adapts ces terminaux.
Les protocoles de mesures ayant pu tre pleinement mis en uvre, des rsultats issus de ces
mesures exprimentales sont reproduits dans ce rapport titre indicatif. En raison de la faible
volumtrie des mesures, la prcision statistique est infrieure celle des autres mesures et
seules des valeurs agrges entre oprateurs sont prsentes.

Des mesures exprimentales de dbit et de navigation web sur smartphones ont t ralises
sur lensemble des agglomrations de plus de 400 000 habitants (TOP 12) : Paris, Marseille-
Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon,
Douai-Lens, Strasbourg et Grenoble, sur les mmes lieux que les mesures de qualit pour les
services de donnes qui figurent dans le rapport.
La rpartition des lieux par agglomration est illustre sur la carte ci-dessous:
60/64
mobiles
Au total, 261 lieux ont t audits :

Agglomrations Total
PARIS 77
MARSEILLE 21
LYON 23
LILLE 20
NICE 19
TOP 12
TOULOUSE 16
BORDEAUX 16
NANTES 12
TOULON 15
DOUAI-LENS 14
STRASBOURG 14
GRENOBLE 14
Nombre total des lieux audits 261
5.2. Volumtrie
Sur chaque lieu, ont t raliss un tlchargement dun fichier de 5 Mo (downlink), un envoi
dun fichier de 1 Mo (uplink) et deux navigations web.
Ce qui conduit une volumtrie de 1044 mesures ralises par oprateur :
Echantillon Downlik 5 Mo Uplink 1 Mo Navigation web

TOP12 261 261 522
5.3. Terminaux utiliss

Ltude a t ralise avec 2 types de smartphones : un terminal quip du systme
dexploitation Android (53% de mesures) et un iPhone (47% des mesures). Les smartphones
et les abonnements suivants, en offre grand public, ont t utiliss:
Oprateur Android iPhone Abonnements

Orange France Samsung Galaxy SI9000 iPhone 4 Origami star 1h
SFR HTC Desire HD iPhone 4 Illymithics 5 webphone
Bouygues Telecom Samsung Galaxy SI9000 iPhone 4 NEO 4 smartph
5.4. Outil et protocoles

Les mesures de dbit et de navigation web sur smartphones ont t ralises laide dun outil
dacquisition automatique de mesures MobiSpeed install sur chaque smartphone.
5.4.1. Transfert de donnes en mode paquets

Le protocole de mesures de dbit est identique celui des mesures FTP sur PC avec les cls
3G+ (voir partie 2.5).
Une mesure consiste tablir une connexion avec un serveur et tlcharger ou envoyer des
fichiers en utilisant le protocole de transfert de donnes avec le protocole http. Les fichiers
utiliss pour les transferts de donnes sont identiques pour les 3 oprateurs :
un fichier de 5 Mo pour le tlchargement en sens descendant (download)
61/64
mobiles
un fichier de 1 Mo pour lenvoi en sens montant (upload)

Les time out de tlchargement de fichiers sont respectivement de 2 minutes en upload et de 5
minutes en download. Au-del, les tlchargements sont abandonns et considrs comme
ayant chou.
5.4.2. Navigation WEB
Le protocole de navigation web est identique celui des mesures web sur PC avec les cls
3G+ (voir partie 2.6).
Une mesure consiste accder internet, puis raliser une succession de tlchargements de
diffrentes pages pendant une dure de 5 minutes avec 20 secondes sur chaque page
tlcharge.
Les pages retenues pour ce test, identiques pour les 3 oprateurs, correspondent aux 12 sites
internet les plus frquents par les internautes mobiles nationalement (hors sites oprateurs ou
constructeurs) :
Pages web
http://touch.facebook.fr
http://www.google.fr
http://m.youtube.fr
http://www.wikipedia.fr
http://twitter.com
http://smartphone.pagesjaunes.fr
http://android ou iphone.mappy.com/
http://fr.m.yahoo.com
http://iphone.dailymotion.com
http://mobile.allocine.fr
http://www.leboncoin.fr
http://m.linternaute.com
La navigation est considre comme ayant russi si aucune erreur parmi celles listes ci-
dessous ne sest produite pendant la navigation de 5 minutes :
non affichage de deux pages successivement, aprs un time out de 50 secondes

pour chacune ;
blocage de la navigation ou rupture de la connexion ;
messages derreur remonts par le terminal.
Au terme de la session de 5 minutes de navigation, si une page est encore en cours de
tlchargement, on attend quelle finisse de se charger pour qualifier la session.
62/64
mobiles
5.5. Rsultats des mesures exprimentales ralises sur smartphone sur le

TOP 12
Les mesures prsentes ci-dessous sont des valeurs agrges entre oprateurs.
5.5.1. Transfert de donnes en mode paquets
Loffre grand public teste pour Orange France est origami star 1h
Loffre grand public teste pour SFR est illymitics 5 web phone
Loffre grand public teste pour Bouygues Tlcom est NEO 4 smartph
63/64
mobiles
5.5.2. Navigation web
AGGLOMERATIONS DU TOP12
64/64

Rapport Qualite Service Mobile 2011 PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Rapport Qualite Service Mobile 2011 PDF

Transféré par

Droits d'auteur :

Formats disponibles

Novembre 2011

La qualit des services de voix et de donnes

Les rsultats de lenqute pour lanne 2011

La qualit des services de voix et de donnes

Qualit du service de voix des rseaux mobiles (2G et 3G) page 9

1. Enqute relative la qualit du service de voix

1.1.1 Dfinition dune mesure

Deux aspects sont mesurs lors de lenqute :

la capacit de dmarrer une communication et de la maintenir 2 ou 5 minutes ;

1.1.2 Zones gographiques et usages

1.1.3 Terminaux utiliss

1.2 Les enseignements de lenqute de voix

Ce service a t test dans 52 agglomrations de plus de 10 000 habitants, lintrieur et

taux de communications russies et maintenues 2 minutes et 5 minutes reste trs lev, de

La qualit du service de tlphonie a galement t mesure, en mouvement, sur les

Dans le TGV, le taux de communications russies et maintenues pendant 2 minutes est en

2. Enqute relative la qualit des services de donnes

2.1.1 Services audits

la qualit du service de messages courts (SMS) ;

2.1.2 Rpartition gographique

Les mesures sont effectues dans les agglomrations suivantes :

2.1.3 Terminaux utiliss et offres testes

SMS, MMS, WAP

Tlchargement de fichiers et navigation web

2.2 Les enseignements de lenqute sur les services de donnes

2.2.1 Le service de transfert de fichiers en mode FTP

2.2.2 Les autres services de donnes

Les rsultats du service de navigation WAP connaissent une augmentation de 7% du taux de

2.3 Les mesures exprimentales sur smartphones

3. Format de restitution des rsultats

La signaltique utilise dans les tableaux de rsultats est la suivante :

la qualification du rsultat individuel de chaque oprateur autour de la moyenne

Les rsultats de lenqute pour lanne 2011

Prcision statistique et arrondis

1. CARACTERISTIQUES TECHNIQUES DE LENQUETE ............................................................................ 12

1. CARACTERISTIQUES TECHNIQUES DE LENQUETE

1.1.2. Calendrier, planning et horaires

1.1.3. Terminaux utiliss

Oprateur GSM (2G) UMTS (3G)

1.2. Construction de lchantillon

Cette mthode de slection des agglomrations renforce volontairement la reprsentation des

Le tableau suivant regroupe les agglomrations slectionnes classes par groupe :

La reprsentativit des agglomrations est rcapitule dans le tableau suivant :

Total France Echantillon

1.2.2. Carte des agglomrations et des axes tests

Reprsentation cartographique et rgionale de lensemble de lenqute

1.2.3. Volumtrie et rpartition par type de lieu et par type dusage

Sur les axes de circulation : communications de 2 minutes

1.3. Conditions de mesure

1.3.2. Conditions de mesure dans les trains de banlieue et tramways

1.3.3. Conditions de mesure sur les autoroutes

1.3.4. Conditions de mesure dans les TGV

A lintrieur A lextrieur Total des

10-50 000 hab 480 1440 954 2874

1.4. Notation de la qualit auditive

Mdiocre : frquemment gn dans lcoute par de nombreuses perturbations, mais il est

1.5. Equipes et droulement de lenqute

La formation des enquteurs au protocole ARCEP ;

La communication hebdomadaire des rsultats vers lARCEP.

1.5.2. Contrle de cohrence des mesures ralises

1.5.3. Matrise des quotas

De plus, la mthodologie applique visait respecter des quotas de rpartition de mesures en

Primtre dapplication Dfinition des quotas (mesures retenues) Cible Ralis