Vous êtes sur la page 1sur 34

UFC-Que Choisir octobre 2014

Les services mobiles 3G et 4G : une qualit


de service bien trop mobile


1
octobre 2014 Service des tudes UFC-Que Choisir
Contenu

I. UN PROTOCOLE FIDELE AUX USAGES ET ATTENTES DES CONSOMMATEURS .....................4
1. CADRAGE DE LETUDE ............................................................................................................................4
2. PROTOCOLE ...........................................................................................................................................4
II. SERVICES 3G : DES QUALITES TRES DISPARATES ET LE MAINTIEN DE PROBLEMES
SPECIFIQUES SUR LITINERANCE .........................................................................................................8
1. MESURER LEFFICACITE DU TRANSFERT DE DONNEES : LIMPORTANCE DADOPTER DES CRITERES
REELLEMENT DISCRIMINANTS.........................................................................................................................8
2. NAVIGATION SUR LE WEB : LA PERSISTANCE DUN PROBLEME SUR LITINERANCE ............................. 14
3. QUI SE CONFIRME SUR LE STREAMING VIDEO .................................................................................... 16
4. LE SERVICE VOIX : DES DIFFERENCES PAS SI MARGINALES .................................................................... 17
III. LES PROMESSES DE LA 4G : UNE REALISATION A GEOGRAPHIE VARIABLE .................... 20
1. LE TRANSFERT DE DONNEES : DIMPORTANTS ECARTS ENTRE OPERATEURS ......................................... 20
2. LA NAVIGATION SUR LE WEB EN 4G, OU LES ATTENTES DEUES........................................................... 25
3. UN CONFORT ACCRU SUR LE STREAMING VIDEO .................................................................................... 28
4. LE SERVICE VOIX : DES PERFORMANCES LOGIQUEMENT MOINDRES EN 4G QUEN 3G ............................ 29
CONCLUSION ET DEMANDES DE LUFC-QUE CHOISIR .................................................................... 32












2
octobre 2014 Service des tudes UFC-Que Choisir
Introduction

Prs dun an aprs la publication de sa dernire tude sur la qualit de service de la 3G
1
, lUFC-Que
Choisir la ractualise aujourdhui tout en incluant pour la premire fois dans son champ dinvestigation
la qualit de service de la 4G
2
. Cette double inclusion est rendue ncessaire par la diversit des
situations rencontres par les consommateurs. En effet, si aujourdhui la 4G est accessible pour 70 %
de la population mtropolitaine, le nombre dutilisateurs (5,6 millions daprs les dernires donnes de
lAutorit de rgulation des tlcommunications ci-aprs rduit lARCEP) est toujours bien infrieur
ceux qui utilisent la 3G, qui reste en ltat la norme de consommation et justifie quon y prte toujours
une lgitime attention.
Lobjectif de cette nouvelle tude de lUFC-Que Choisir est double :
analyser les qualits de service 3G proposes par les quatre oprateurs de rseau (Bouygues
Telecom, Free Mobile, Orange et SFR) tout en dterminant si le constat mis plusieurs
reprises par lassociation perdure quant lexistence de restrictions sur litinrance Orange,
utilise en partie par Free Mobile ;
confronter la communication des oprateurs sur la qualit de la 4G avec celle rellement
constate par les consommateurs.
Afin de rpondre ces deux objectifs, lUFC-Que Choisir a procd des mesures sur le terrain, avec
lappui dun prestataire technique spcialis auquel font rgulirement appel aussi bien les oprateurs
que lARCEP, et a analys 10 616 donnes.
La prsente tude est structure en trois parties.
La premire partie prsente le protocole labor pour cette enqute de terrain.
La deuxime partie de ltude compare la qualit de service 3G des quatre oprateurs de rseau, ce
qui nous permet de souligner la persistance dun rel problme spcifique litinrance qui entrane
une anormale discrimination entre les abonns de Free Mobile. Cette situation justifie en consquence,
plus que jamais, que lorigine de cette asymtrie soit identifie par les autorits que nous avons saisies
ce propos il y a dj prs de deux ans.
Enfin, sur la base de notre chantillon, la troisime partie de ltude dresse une comparaison de la
qualit de service 4G propose par les quatre oprateurs. Celle-ci montre des carts qualitatifs
particulirement importants entre eux, mais galement de substantielles diffrences de traitement entre
les trois zones gographiques que nous avons testes. Ces diffrences, ces discriminations
territoriales, nous le verrons, appellent la mise en place de mesures venant assurer aux

1
http://image.quechoisir.org/var/ezflow_site/storage/original/application/40a34819e4dde059b42909d0fd131318.pdf
2
Lors de notre dernire enqute sur la qualit de service, les oprateurs navaient pas tous lancs leurs offres 4G.


3
octobre 2014 Service des tudes UFC-Que Choisir
consommateurs que la stratgie de dploiement des rseaux 4G se fasse en garantissant un
traitement quivalent entre eux ; les consommateurs, quelle que soit la zone dans laquelle ils vivent,
payent en effet la mme somme pour leurs abonnements.


























4
octobre 2014 Service des tudes UFC-Que Choisir
I. Un protocole fidle aux usages et attentes des consommateurs

1. Cadrage de ltude

La campagne de mesures que lUFC-Que Choisir a mene, avec lappui dun prestataire technique, a
consist la ralisation dun tat des lieux des performances des rseaux 3G et 4G dun point de vue
du client. Bien que gnralement bass sur les critres retenus par lARCEP dans ses enqutes de
qualit de service, nos propres critres sen loignent afin de coller au plus prs aux lgitimes
exigences des consommateurs sur la capacit des rseaux mobiles offrir la qualit de service
prsente dans les campagnes publicitaires des oprateurs.
Les quatre oprateurs de rseau ont t tests : Bouygues Telecom, Orange, SFR et Free Mobile.
Pour la 3G de ce dernier, compte tenu de ce mode de fonctionnement spcifique, nous avons
systmatis une distinction dans nos tests entre ceux raliss sur son rseau propre (RP), et ceux
raliss en itinrance (IT) sur le rseau Orange.
Deux tlphones mobiles ont t utiliss pour effectuer les mesures : un iPhone 5S et un Samsung
Galaxy S5 ; ces terminaux haut de gamme permettent de rduire les dfauts de fonctionnements lis
aux limites de certains smartphones, et sont en consquences adapts pour tester la qualit des
rseaux.
Les forfaits qui ont t utiliss sont grand public : le forfait Free avec 20 Go de donnes utilisables,
pour SFR le forfait Carr 16 Go, pour Orange le forfait Origami Jet 10 Go et enfin pour Bouygues
Telecom le forfait Sensation 16 Go. Bien entendu, les mesures ont systmatiquement t faites dans
lenveloppe alloue pour le fair use.
Les mesures ont t ralises dans trois villes : Aix-en-Provence, Bordeaux et Paris. Certaines de ces
mesures, minoritaires, ont t effectues en priphrie des villes. En tout, les mesures ont eu lieu dans
71 points gographiques distincts (18 Aix-en-Provence, 24 Bordeaux et 29 Paris).
Les tests se sont drouls du 1
er
au 25 septembre 2014.
Les conditions de tests ont t systmatiquement identiques pour les 4 oprateurs.

2. Protocole
Sur chaque lieu de mesures, quatre usages ont fait lobjet de nos tests, aussi bien en 3G quen 4G :
- Le tlchargement et lenvoi de fichiers ;
- La navigation sur le Web :
- La lecture dune vido sur la dernire version disponible de lapplication YouTube ;
- La qualit des appels tlphoniques.



5
octobre 2014 Service des tudes UFC-Que Choisir
a. Le tlchargement et lenvoi de fichiers
Un mesure consistait :
- Tlcharger un fichier de 50 Mo en 4G et de 5 Mo en 3G.
- Envoyer un fichier de 20 Mo en 4G et de 1 Mo en 3G.
Les tlchargements et envois sont raliss selon le protocole HTTP depuis, et vers, un serveur ddi
suffisamment dimensionn, l encore pour viter tout faussement des rsultats.
Si lUFC-Que Choisir a retenu la mme taille de fichiers que les plus gros retenus par lARCEP dans sa
dernire enqute de qualit de service, elle a cependant procd une modification quant au critre
permettant de juger si aussi bien les tlchargements que les envois sont considrs comme tant
raliss. En effet, pour lARCEP, que ce soit en 3G ou en 4G, le tlchargement des fichiers est
considr comme tant russi sil est effectu en moins de 300 secondes, tandis que lenvoi des
fichiers lest sil est effectu en moins de 2 minutes. Bas sur un cahier des charges dfini en
concertation avec les oprateurs mobiles, ces critres ne refltent pas les attentes des consommateurs
par rapport aux performances des technologies mobiles.
Cest particulirement le cas concernant la 4G. En effet, les attentes des consommateurs concernant le
trs haut dbit mobile sont la hauteur des performances vantes dans les campagnes publicitaires
des oprateurs. Ainsi, il parait particulirement inadapt de juger le tlchargement dun fichier de 50
Mo comme tant russi sil est effectu en moins de 5 minutes alors quun consommateur disposera de
linformation selon laquelle ce tlchargement est effectuable en 8 secondes.

Source : http://reseaux.orange.fr/4g
LUFC-Que Choisir a donc considr indispensable de ne pas embrasser lapproche de lARCEP et a
dcid de se baser dans son tude sur des critres de temps diffrents. Deux indicateurs distincts sont
retenus la fois pour le tlchargement et pour lenvoi et sont communment appliqus la 3G et la
4G.


6
octobre 2014 Service des tudes UFC-Que Choisir
Pour le tlchargement et lenvoi de fichiers, un comparatif est dress entre oprateur en retenant le
critre du tlchargement et de lenvoi en moins de 60 secondes, et un autre en retenant celui du
tlchargement et de lenvoi en moins de 30 secondes.
Notons que les dbits moyens constats pendant lenvoi et le tlchargement des fichiers a permis de
dterminer les dbits mdians pour chaque oprateur, dans chaque technologie et sur chaque ville
teste, en download et upload que nous prsenterons.

b. La navigation sur le Web
LUFC-Que Choisir a galement test la qualit de
navigation sur le Web aussi bien en 3G quen 4G.
Nous avons ainsi test laccs aux 10 pages Web les
plus utilises par les consommateurs
3
. Deux
indicateurs ont t retenus.
Le premier est le taux de russite de laccs
chaque site internet en moins de 20 secondes.
Notons quici galement notre approche dnote avec
celle de lARCEP qui retient un critre de temps de
30 secondes.
Le second est le taux de navigations russies et
maintenues pendant 3 minutes. La navigation est
considre comme tant russie si elle est
maintenue et active pendant 3 minutes sans coupure
de connexion au rseau de donnes.

c. La lecture dune vido sur YouTube
Ce test a consist visionner la mme squence dune vido dune minute sur YouTube, en utilisant
pour chacun des deux types de terminaux la dernire version de lapplication disponible sur le store.
Plusieurs indicateurs ont t mobiliss afin de dterminer la qualit de visionnage de la vido :
- La russite du lancement de lapplication (dans un dlai de 15 s) ;

3
http://www.dailymotion.com/fr ; http://www.ebay.fr ; http://www.google.fr ; http://www.lefigaro.fr/ ; http://www.lemonde.fr/ ;
http://www.leboncoin.fr/ ; http://www.pagesjaunes.fr ; http://www.wikipedia.fr ; http://www.yahoo.fr ; http://www.youtube.fr


Crdit photo : Alexis Lecomte


7
octobre 2014 Service des tudes UFC-Que Choisir
- La russite de la recherche de la vido (dans un dlai de 15 s) ;
- Le lancement effectif de la vido (dans un dlai de 15 s) ;
- Labsence de coupure de la vido ;
- La possibilit de visionner intgralement une vido pendant 60 secondes.
Si ces critres sont remplis, alors la lecture dune vido est considre russie.

d. La qualit des appels tlphoniques
Nous avons valu le service voix selon le rfrentiel ARCEP aussi bien pour la 3G que pour la 4G,
lintrt tant la fois de distinguer la qualit de ce service propose par chaque oprateur pour
chacune des technologies, mais galement de comparer les dlais dtablissement des appels entre
les deux technologies, sachant que le service voix ne passe pas sur les rseaux 4G
4
. Ainsi, lorsquun
consommateur disposant dun forfait 4G met un appel, le terminal doit passer en 3G (ou 2G) pour que
lappel soit effectu, ce qui entrane un dlai supplmentaire pour mettre lappel.
Plusieurs indicateurs ont t retenus :
- Le taux de communications tablies : taux de retour de sonnerie obtenu dans un dlai infrieur
20 secondes aprs la composition du numro ;
- Le taux de communications russies, maintenues et de qualit parfaite ;
- Dlai moyen dtablissement dappel par oprateur et par technologie ;
- Dlai mdian dtablissement dappel par oprateur et par technologie ;
- Pour la 4G, le dlai de remonte cette technologie au raccrochage de fin dappel.









4
Cette possibilit entrera vraisemblablement en vigueur, au moins chez certains oprateurs, au cours de lanne
2015.


8
octobre 2014 Service des tudes UFC-Que Choisir
II. Services 3G : des qualits trs disparates et le maintien de problmes
spcifiques sur litinrance

Comme il y a un an, lUFC-Que Choisir a ralis des tests pour vrifier la qualit de service de la 3G.
Linsertion de la 4G dans nos tests ayant entran une modification de notre protocole par rapport
celui adopt lanne dernire, la comparaison de lvolution de la qualit de la 3G entre nos deux
enqutes nest pas rendue possible. Cependant, nous avons pu nous livrer une comparaison de la
qualit de service propose par les diffrents oprateurs.
Nous avons distingu les deux rseaux 3G utiliss par les clients de Free Mobile. En effet, ne pouvant
disposer dun rseau national lui appartenant lors du lancement de ses offres mobiles en janvier 2012,
Free Mobile a sign un accord dit ditinrance avec loprateur Orange pour pouvoir utiliser ses
antennes mobiles, aussi bien 2G que 3G. Ayant dj dmontr deux reprises lexistence de
restrictions qualitatives sur cette itinrance qui impacte concrtement ses utilisateurs, lUFC-Que
Choisir a maintenu dans son enqute 2014 cette distinction lorsquil sagit de lire la qualit mobile
propose aux clients de Free Mobile.
Cette deuxime partie de ltude prsente successivement les rsultats des quatre services que nous
avons tests. Systmatiquement, nous prsentons les rsultats agrgs ainsi que les rsultats par
zone teste.

1. Mesurer lefficacit du transfert de donnes : limportance dadopter des
critres rellement discriminants

Afin de mesurer la performance des diffrents rseaux 3G, il est indispensable de mettre en place des
critres qui permettent de rellement diffrencier les oprateurs. Comme indiqu dans la partie
consacre au protocole, nous avons labor deux indicateurs temporels. Nous allons tablir quils
permettent de montrer la divergence de qualit de service chez les oprateurs.













9
octobre 2014 Service des tudes UFC-Que Choisir
a. Le tlchargement de fichiers

En retenant un critre de temps de 60 secondes pour raliser le tlchargement dun fichier de 5 Mo,
nous constatons des diffrences de performances relativement peu marques.

Nanmoins, ce stade quelques constats peuvent tre dresss. Les rseaux de Bouygues Telecom et
dOrange se dmarquent en tant les seuls permettre le tlchargement du fichier en moins de 60
secondes dans plus de 9 cas sur 10. SFR et Free Mobile sont en-dessous de ce seuil et nous
remarquons une performance identique sur le rseau propre de Free et sur litinrance. Pour que les
diffrences de performances divergent davantage, laugmentation du critre qualitatif est ncessaire,
ce que nous mettons en vidence dans le graphique ci-dessous.



10
octobre 2014 Service des tudes UFC-Que Choisir
Si pour Orange lincidence est nulle, et lui permet de disposer du meilleur taux de tlchargements
russis dans le temps imparti, Bouygues Telecom baisse lgrement ; SFR et surtout Free bien
davantage. Une diffrence, relativement peu importante, apparat dj entre le rseau propre de Free
et litinrance, lavantage qualitatif du premier.

b. Lenvoi de fichiers

Le paysage change lgrement lorsquon fixe lattention sur lenvoi de fichiers. Bien que la diffrence
entre le rseau propre de Free et litinrance soit toujours prsente, lexprience pour les abonns de
Free reste bonne.

La qualit du rseau dOrange ressort, tandis que Bouygues Telecom, et surtout SFR, affichent des
performances bien moindres. Le renforcement du critre qualitatif vient en partie bousculer lordre
tabli.



11
octobre 2014 Service des tudes UFC-Que Choisir

En effet, le rseau propre de Free prend ici le dessus. La diffrence de qualit avec litinrance
saccrot fortement puisque 16,7 points sparent le rseau propre de Free de litinrance.
Au global donc, cest Orange qui obtient le meilleur rsultat. Une fois encore, SFR ferme la marche.

c. Des dbits toujours loigns des dbits thoriques

Des rsultats sur les tests de tlchargements et denvois de fichier, nous tirons les lments nous
permettant de dresser les dbits mesurs pour les quatre oprateurs.
Le dbit descendant (en tlchargement) mdian est de 9,6 Mbit/s pour Orange, 7,2 Mbit/s pour
Bouygues Telecom, 6,3 Mbit/s pour SFR, et 4,8 Mbit/s pour Free Mobile (4,8 Mbit/s sur son rseau
propre et 4,2 pour litinrance). Encore une fois, on notera que les dbits rels sont bien moindre que
les dbits thoriques en 3G annoncs par les oprateurs (jusqu 42 Mbit/s).
Un aperu par zone gographique teste permet de dresser des constats plus prcis.


12
octobre 2014 Service des tudes UFC-Que Choisir

En dsagrgeant les moyennes, on se rend compte de la disparit des situations selon quon
sintresse une zone en particulier.
A Paris, les trois oprateurs historiques se tiennent dans un mouchoir de poche, alors que Free
Mobile prsente, aussi bien sur son rseau propre quen itinrance, les dbits les plus faibles.
A Bordeaux, comme Aix-en-Provence, Orange distance trs nettement ses comptiteurs avec des
dbits mdians suprieurs 10 Mbit/s. Si SFR prsente des dbits relativement levs Aix-en-
Provence, il en est autrement Bordeaux avec des dbits tout juste suprieurs 2 Mbit/s. On
constatera que la relative homognit entre le rseau propre de Free et litinrance Paris et
Bordeaux laisse place une grande divergence Aix-en-Provence, favorable litinrance.

Concernant le dbit ascendant mdian (relev lors des tests denvois de fichiers), il est de 2,0 Mbit/s
pour Orange, de 1,4 Mbit/s pour SFR, de 1,2 Mbit/s pour Bouygues Telecom et pour Free Mobile (1,3
Mbit/s sur son rseau propre et 1,0 sur litinrance).



13
octobre 2014 Service des tudes UFC-Que Choisir

Dans le dtail, lexception de Bouygues Telecom, on note une forte homognit des dbits Paris :
Bouygues Telecom occupe la dernire position, Orange la premire. On constate Bordeaux et Aix-
en-Provence une asymtrie entre le rseau propre de Free Mobile et litinrance, tantt lavantage du
rseau propre (Bordeaux), tantt celui de litinrance (Aix-en-Provence).

Un lment important noter ici est quau global, les dbits constats sur litinrance Orange et sur le
rseau propre de Free sont plutt convergents, ce qui explique que les performances en
tlchargement et en envoi de fichiers sur les deux rseaux sont relativement comparables.
Il est intressant de noter que ces tests sont gnralement adopts pour comparer les performances
entre les oprateurs. Or, nous allons voir que la corrlation entre dbits et qualit de service offerte ne
rsiste pas lexamen des faits lorsquon teste des services auxquels font bien plus rgulirement
appel les consommateurs.









14
octobre 2014 Service des tudes UFC-Que Choisir
2. Navigation sur le Web : la persistance dun problme sur litinrance

Lorsque nous avons tent de charger en moins de 20 secondes une page Web du TOP 10 des sites
les plus visits dans son intgralit, les rsultats ont t globalement positifs pour Orange et Bouygues
Telecom, SFR prenant la troisime position, laissant, et de loin, la dernire marche Free Mobile avec
seulement 73,3 % des pages affiches dans le temps imparti.

Distinguant les tests raliss sur le rseau propre de Free Mobile et litinrance, nous pouvons
conclure que cette dernire place est due aux rsultats trs faibles sur litinrance. En effet, le taux
daccs aux pages Web en moins de 20 secondes ny est que de 53,3 %, soit 38,7 points de moins que
sur le rseau propre de Free !
Cette diffrence concerne par ailleurs lensemble des villes testes.

Dj important Paris, lcart de qualit lorsquil sagit de naviguer sur lInternet mobile crot dans des
proportions extrmement marques Bordeaux et Aix-en-Provence, avec des carts atteignant prs
de 50 points !



Bouygues Telecom Orange SFR Free Free_R Free_!T
Paris 94,2% 92,9% 89,8% 73,8% 86,6% 62,%
!ordea"x 88,% 97,1% 73,2% 72,4% 96,2% 47,7%
Aix#e$#Pro%e$ce 96,2% 97,% 93,&% 7,6% 9&,% 4&,7%


15
octobre 2014 Service des tudes UFC-Que Choisir
Un test de la qualit de navigation sur lInternet mobile encore plus pouss consiste mesurer la
ralisation successive du chargement des pages Web, afin de coller au plus prs aux pratiques des
consommateurs, et de leurs attentes lgitimes sur leurs bonnes ralisations.

Une fois encore, Orange sen sort le mieux devant Bouygues Telecom et, plus loin, SFR. Une fois
encore Free Mobile reste au pied du podium. Une fois encore, litinrance plombe les rsultats globaux
de loprateur. Labsence de qualit y est frappante. Alors que sur le rseau propre de loprateur le
taux de navigations russies et maintenues pendant 3 minutes est de 64,6 %, sur litinrance ce taux
chute drastiquement 6,3 %. Autrement dit, il y a 10 fois moins de chances davoir une bonne
exprience de navigation sur litinrance que sur le rseau propre de Free, ou quen moyenne sur le
rseau de lun des trois oprateurs historiques !
Une fois encore, ce constat gnral est le reflet de la situation constate dans les trois villes testes.

Les taux y sont systmatiquement plus faibles en itinrance que sur le rseau propre de Free. Nos
mesures font ainsi ressortir lincapacit totale pouvoir naviguer dans de bonnes conditions via
litinrance ! Cette atomisation par ville permet galement dindiquer la mauvaise exprience utilisateur
que nous avons constate chez SFR Bordeaux.


Bouygues Telecom Orange SFR Free Free_R Free_!T
Paris 7,% 62,&% 6,% 36,7% 6,% 1&,%
!ordea"x &9,4% 7&,% 37,&% 34,9% 68,8% ,%
Aix#e$#Pro%e$ce 7&,% 83,3% 66,7% 33,8% 66,7% ,%


16
octobre 2014 Service des tudes UFC-Que Choisir
3. Qui se confirme sur le streaming vido

Lensemble des informations prsentes pour la navigation Web ressortent galement sur le test du
streaming vido sur YouTube. Orange offre le meilleur taux daccs de qualit YouTube, tandis que
Bouygues Telecom et SFR sont proches lun de lautre. Pour Free Mobile le taux daccs est faible.
Dans un cas sur deux, il nest pas possible de lire dans de bonnes conditions une vido sur YouTube.

Comme prcdemment, cest la pitre qualit rencontre sur litinrance qui explique cette faiblesse
globale de Free. En effet, dans seulement 14,6 % des cas une bonne lecture de la vido sur YouTube
a t constate. Pour rentrer dans le dtail des causes expliquant ce taux extrmement faible,
prcisons que dans 54,2 % des mesures, le dfaut de lancement de la vido a t constat. Autrement
dit, en voulant lancer la lecture de la vido, celle-ci na pas dmarr dans le dlai de 15 secondes.

Dans les trois villes audites, litinrance affiche le taux de lecture de qualit le plus bas, avec un taux
de 0 % Bordeaux ! Dans cette ville, Bouygues Telecom et SFR affichent des taux relativement
moyens, laissant Orange offrir assez sensiblement la meilleure qualit du streaming vido sur YouTube.



!o"'("es )elecom *ra$(e +,- ,ree ,ree.-P ,ree./)
Paris 92,&% 88,&% 9,% &7,&% 8&,% 3,%
!ordea"x 68,7% 88,&% 62,&% 46,8% 93,7% ,%
Aix#e$#Pro%e$ce 83,3% 91,7% 91,7% 41,6% 7&,% 8,3%


17
octobre 2014 Service des tudes UFC-Que Choisir
4. Le service voix : des diffrences pas si marginales

Le service voix tant essentiel pour les consommateurs, lUFC-Que Choisir la intgr dans son
enqute 2014. Les rsultats font apparatre quelques diffrences entre oprateurs.

Pour le premier critre que nous avons pos, savoir russir tablir une communication tlphonique
en moins de 20 secondes, les oprateurs affichent dans lensemble de bonnes performances. SFR
reste nanmoins sensiblement en retrait avec un taux infrieur de 8,7 points la moyenne des trois
autres oprateurs.
Ces diffrences se retrouvent pour le critre taux de communication russies, maintenues et de
qualit parfaite . SFR perd tout de mme encore un peu plus de terrain avec un taux de 86,5 %.
Enfin, si on se rfre aux dlais moyens et mdians dtablissement dappel, nous constatons
cependant que Bouygues prsente les dlais les moins levs une seconde de mieux que ses
comptiteurs.







!o"'("es )el0 *ra$(e +,- ,ree ,ree.-P ,ree./)
)a"x de comm"$icatio$s talies e$
moi$s de 2 seco$des
97,9% 99,% 89,6% 97,9% 1% 9&,8%
1lai mo'e$ d2ta3lisseme$t
d2appel
3,8 s 4,7 s 4,8 s 4,8 s 4,8 s 4,8 s
1lai mdia$ d2ta3lisseme$t
d2appel
3,4 s 4,4 s 4,3 s 4,& s 4,& s 4,4 s
)a"x de comm"$icatio$s r"ssies,
mai$te$"es et de 4"alit par5aite
97,9% 99,% 86,&% 9&,8% 9&,8% 9&,8%


18
octobre 2014 Service des tudes UFC-Que Choisir
Au global, une agrgation des diffrents taux de qualit prsents
5
permet de mettre en lumire les
diffrences qualitatives entre oprateurs sur la 3G.

Sur la base de nos tests, Orange affiche la meilleure qualit de 3G devant Bouygues Telecom, SFR et
Free Mobile qui est assez nettement distanc. Ce classement gnral sur la base de donnes
rcoltes sur les trois zones testes dans le cadre de lenqute de lUFC-Que Choisir nest cependant
pas identifiable sur chacune de ces zones.

Il est ici notable que chaque zone possde son classement par oprateur spcifique, et
systmatiquement diffrent du classement agrg.

5
Nous avons moyenn cinq taux : taux de fichiers de 5 Mo tlchargs en 30 secondes, taux de fichiers de 1 Mo
envoys en moins de 30 secondes, taux daccs aux pages Web en moins de 20 secondes, taux de navigations
sur Internet russies et maintenues pendant 3 minutes et taux daccs de qualit YouTube.
3" # ar $%lle Bouygues Telecom Orange SFR Free
Paris 89,3% 8&,3% 83,% 66,6%
!ordea"x 73,9% 89,&% 6,4% 61,4%
Aix#e$#Pro%e$ce 8&,9% 91,1% 86,2% 66,6%


19
octobre 2014 Service des tudes UFC-Que Choisir
Cette partie de notre tude consacre la qualit de service propose par la 3G est riche
denseignements. Une lecture globale des rsultats prsents permet tout dabord de dresser des
constats gnraux sur la qualit de service 3G chez les quatre oprateurs. Orange tire clairement son
pingle du jeu, tandis que Bouygues Telecom parvient prendre la deuxime place. La qualit de
service propose par SFR que nous avons mesure montre dinquitants signes de faiblesse, comme
lavait dailleurs montr lARCEP dans sa dernire enqute consacre la qualit des services mobiles.
Notre lecture dcouple de la qualit de service sur le rseau propre de Free et sur litinrance a
permis de montrer la persistance de lcart qualitatif que lUFC-Que Choisir a montr deux reprises
auparavant. Il est notable que cette diffrence ne se constate pas, ou peu, pour le tlchargement et
lenvoi de fichiers. Ceci tend montrer quune restriction spcifique est effectue pour les services
gourmands en bande passante et qui ne renvoient pas de valeurs sur les dbits, valeurs frquemment
utilises pour comparer la qualit des rseaux mobiles.
Pour dterminer lorigine de ces restrictions, qui engendrent une mauvaise exprience utilisateur,
lUFC-Que Choisir a saisi la justice en janvier 2013. Lassociation espre que cette nouvelle preuve
apporte quant lexistence et au maintien dun problme sur litinrance aura le mrite dacclrer
cette dmarche entame il y a prs de deux ans.
On prcisera ici que la fin programme de litinrance (prvue en ltat au plus tard en 2018), ne
signifie pas que la qualit de service propose par le rseau propre de Free sera identique celle
prsente dans cette tude. En effet, litinrance prenant fin, le rseau propre de Free devra supporter
lensemble des utilisateurs qui aujourdhui passent par litinrance, gnrant, si le rseau propre de
Free Mobile nest pas suffisamment dimensionn, dimportantes congestions.
Deux autres enseignements peuvent tre tirs des informations que nous prsentons. Le premier est
que plus les critres de qualit sont levs, plus les diffrences entre oprateurs se font sentir. Ceci
aboutit donc identifier limportance du protocole lorsquil sagit de mettre en vidence les qualits de
service disparates proposes par les oprateurs.
Le second est que les indicateurs agrgs ne refltent pas forcment lhtrognit des qualits de
service proposes par les oprateurs sur les diffrents lieux audits. Aussi, linformation agrge, pour
intressante quelle soit, nest pas forcment lindication la plus pertinente pour un consommateur qui
sur un lieu donn voudrait disposer dlments de comparaisons sur les diffrences de qualit entre
oprateurs sur ce lieu.








20
octobre 2014 Service des tudes UFC-Que Choisir
III. Les promesses de la 4G : une ralisation gographie variable

Si lUFC-Que Choisir a dj ralis une tude sur la 4G
6
, celle-ci tait principalement consacre la
problmatique de la couverture. Nanmoins, nous mettions dj des rserves sur la qualit de service
en identifiant lexistence dune 4G deux vitesses. Les quatre oprateurs de rseau proposant, depuis
cette tude, la 4G aux consommateurs, nous avons test sa qualit dans notre enqute 2014 sur la
qualit de service.
Lobjet de cette partie est de prsenter les rsultats de qualit de la 4G. Cette prsentation seffectue
en adoptant le mme schma gnral que pour la prcdente partie. Nous identifions ici la prsence
de dcalages bien trop importants chez certains oprateurs entre la qualit de service vendue aux
consommateurs, et la ralit laquelle ils sont confronts sur le terrain.

1. Le transfert de donnes : dimportants carts entre oprateurs

Comme indiqu dans la premire partie, lUFC-Que Choisir a pris ses distances avec le protocole
utilis par lARCEP dans sa dernire enqute sur la qualit des services mobiles. Les rsultats de nos
tests sur la performance des oprateurs sur les transferts de donnes viennent valider la mise en place
de critres exigeants pour comparer les 4G des oprateurs.

a. Le tlchargement de fichiers

A minima, compte tenu des performances de la 4G prsentes par les oprateurs, un consommateur
est en droit dattendre une qualit du rseau 4G de son oprateur lui permettant de tlcharger un
fichier de 50 Mo en moins de 60 secondes. Or nos relevs montrent que cette attente peut tre due.


6
http://image.quechoisir.org/var/ezflow_site/storage/original/application/19d6d9aff38a9ee9baa602af7d984388.pdf


21
octobre 2014 Service des tudes UFC-Que Choisir

Si Orange et Bouygues Telecom prsentent respectivement le meilleur et le deuxime taux de fichiers
tlchargs, on note que Free Mobile arrive en troisime position, 10 points tout de mme derrire eux.
Llment principal reste la faillite de SFR qui naffiche quun taux de fichiers tlchargs de 68,8 %.

Pour la 4G comme pour la 3G, le renforcement du critre qualitatif accentue les carts entre oprateurs.
Ainsi, la premire place occupe par Orange est inconteste, en raison dune faible chute de son taux
opposer une chute bien plus importante des taux de Bouygues Telecom et Free. Si la baisse du
taux de SFR est moins importante que celle de Bouygues Telecom, le taux affich reste cependant


22
octobre 2014 Service des tudes UFC-Que Choisir
bien en-de des 50 %. Dans plus dun cas sur 2, il nest ainsi pas possible de tlcharger un fichier de
50 Mo en moins de 30 secondes.

b. Lenvoi de fichiers

Pour lenvoi de fichiers de 20 Mo en moins de 20 secondes, on retrouve le classement dj mis en
avant.

Ici galement, Orange et Bouygues offrent de bons taux de russite alors que Free et surtout SFR en
offrent de bien moins bons.



23
octobre 2014 Service des tudes UFC-Que Choisir

Lorsque le dlai est abaiss 30 secondes, les performances de Bouygues Telecom et Orange
baissent, mais restent un niveau de qualit trs proche. Les taux de SFR et Free chutent quant eux
de respectivement de 18,7 et de 17,7 points. Ici galement, SFR obtient la palme du taux le plus faible
puisquil est de 54,2 % !

c. Les rels dbits 4G galement loigns des dbits thoriques

Comme pour la 3G, nous avons calcul sur la base des tests de tlchargements et denvois de
fichiers les dbits mdians proposs par les quatre oprateurs.
Au global, le meilleur dbit mdian constat est pour Orange avec 37,8 Mbit/s, devant Free avec 24,8
Mbit/s, Bouygues Telecom avec 20,6 Mbit/s
7
. Avec un dbit mdian de 12,6 Mbit/s, SFR arrive trs
nettement en dernire position.
Lorsquon fixe plus prcisment lattention sur chaque zone teste, on se rend compte dune ingalit
territoriale quant la qualit de la 4G.



7
On note donc une inversion dans le classement de Free et Bouygues Telecom constat dans le test de
tlchargement de fichiers en 4G.


24
octobre 2014 Service des tudes UFC-Que Choisir

Il est remarquable que les dbits descendant mdians baissent mesure que la taille de la ville teste
diminue. Ceci est vrai pour lensemble des oprateurs, lexception notable de Free qui prsente un
meilleur dbit mdian Bordeaux qu Paris. En faisant la moyenne des dbits mdians par ville, on se
rend compte dune forte diffrence territoriale de la qualit de la 4G. Si Paris le dbit descendant
moyen est de 35,1 Mbit/s, il tombe 28,3 Mbit/s Bordeaux pour scrouler Aix-en-Provence avec un
dbit moyen de seulement 12,1 Mbit/s, trs loin des dbits thoriques de la 4G pouvant aller jusqu
150 Mbit/s ! Bien que lensemble des oprateurs participent ce trs faible dbit rel moyen, on
constate que SFR le tire particulirement vers le bas puisque le dbit mdian quil y propose est de
seulement 3,2 Mbit/s, soit un niveau indigne mme de la 3G !

Concernant le dbit ascendant (en envoi) mdian, il est de 13,0 Mbit/s pour Orange, 12,1 Mbit/s pour
Bouygues Telecom, 7,6 Mbits pour SFR et 6,6 Mbit/s pour Free Mobile.


25
octobre 2014 Service des tudes UFC-Que Choisir

Le constat mis pour les dbits descendants perdure pour les dbits ascendants. La chute de dbit
mesure que la taille de la ville diminue est particulirement frappante. Si le dbit moyen reste
lgrement suprieur Paris qu Bordeaux, il lest bien davantage qu Aix-en-Provence o le dbit
moyen nest que de 6,2 Mbit/s. Encore une fois, SFR ne parvient pas monter sur le podium puisque
le dbit mdian quil prsente nest que de 1,5 Mbit/s, loin des exigences des consommateurs sur la
performance de la 4G !

2. La navigation sur le Web en 4G, ou les attentes dues

Afin de pouvoir comparer sur une base commune lavantage de la 4G par rapport la 3G, nous avons
tabli le test de la navigation sur le Web en 4G sur les mmes bases que celui tabli pour la 3G. Fort
logiquement, lexprience sur lInternet mobile reste plus agrable en 4G quen 3G.


26
octobre 2014 Service des tudes UFC-Que Choisir

Si pour lensemble des oprateurs les taux daccs aux pages Web en moins de 20 secondes croissent
par rapport ceux constats sur la 3G, la diffrence la plus marque est pour Free Mobile qui voit son
taux augmenter de 22,4 points. On note encore une fois que SFR ferme la marche avec un taux de
91,9 %.


Un regard sur les taux dsagrgs montre une certaine homognit de qualit dans les trois villes
testes lexception notable de SFR qui peine offrir une bonne exprience utilisateur Aix-en-
Provence.
Le test plus discriminant du taux de navigations sur Internet russies et maintenant pendant 3 minutes
en 4G permet de montrer des carts de qualit plus significatifs.





4" # ar $%lle Bougues Telecom Orange SFR Free
Paris 9&,4% 9&,&% 9&,6% 9&,2%
!ordea"x 96,8% 97,&% 97,7% 9&,%
Aix#e$#Pro%e$ce 93,3% 97,4% 77,8% 97,4%


27
octobre 2014 Service des tudes UFC-Que Choisir

En effet, Orange offre toujours une bonne exprience utilisateur, sensiblement meilleure que celle
constate chez les trois autres oprateurs. Free Mobile occupe la deuxime place laissant Bouygues
Telecom et SFR la trane avec un taux de seulement 76,0 %.
Dans le dtail par ville, nous constatons une bonne homognit chez Bouygues Telecom et Orange,
un moins bonne pour Free Mobile et toujours la subsistance dun problme pour SFR Aix-en-
Provence.









4" # ar $%lle Bougues Telecom Orange SFR Free
Paris 7&,% 92,&% 8,% 8,%
!ordea"x 78,1% 87,&% 84,4% 78,1%
Aix#e$#Pro%e$ce 7&,% 91,7% &8,3% 87,&%


28
octobre 2014 Service des tudes UFC-Que Choisir
3. Un confort accru sur le streaming vido

Notre test de la qualit de la lecture dune vido sur YouTube montre un rel avantage pour la 4G par
rapport la 3G.

Le taux de qualit augmente de 16,7 points pour Bouygues Telecom qui occupe la premire place, de
4,5 points pour Orange qui occupe la deuxime, de 42,7 points pour Free, troisime, et de 9,4 points
pour SFR qui avec 90,6 % de taux daccs de qualit YouTube est loprateur 4G le moins
performant.
A nouveau, le problme de SFR Aix-en-Provence impacte cette moyenne agrge.






4" # ar $%lle Bouygues Telecom Orange SFR Free
Paris 1% 87,&% 1% 9,%
!ordea"x 96,9% 93,7% 96,9% 96,9%
Aix#e$#Pro%e$ce 1% 1% 66,7% 91,7%


29
octobre 2014 Service des tudes UFC-Que Choisir
4. Le service voix : des performances logiquement moindres en 4G quen 3G

Comme nous lavons dj indiqu, la voix ne passe pas pour linstant sur les rseaux 4G. Ainsi, compte
tenu de la ncessit pour un terminal en 4G daccrocher le rseau 3G (ou 2G) pour effectuer un appel,
la 4G restera fort logiquement moins efficace que la 3G pour ce service.


Cependant, les taux de communications tablies en moins de 20 secondes sont suprieurs en 4G
quen 3G pour lensemble des oprateurs. Ceci sexplique par le critre de temps assez conciliant de
20 secondes que nous avons retenu.
Par contre, la logique mentionne est pleinement respecte en ce qui concerne les dlais moyens et
mdians dtablissement dappel, puisquils sont pour tous les oprateurs suprieurs ceux constats
en 3G. Ici, Free Mobile est loprateur chez lequel les dlais dtablissement sont les plus bas.
Par contre, cest loprateur avec lequel la remonte sur le rseau 4G aprs lappel est la plus longue.
Sur cet aspect, Orange offre la meilleure performance.





!o"'("es )el0 *ra$(e +,- ,ree
99,% 1% 1% 97,9%
(97,9%) (99,0%) (89,6%) (97,9%)
&,1 s &,7 s 6,2 s 4,9 s
(3,8 s) (4,7 s)
64,8 s7
(4,8 s)
&, s &,6 s &,9 s 4,7 s
(3,4 s) (4,4 s) (4,3 s) (4,5 s)
97,9% 97,9% 94,8% 96,9%
(97,9%) (99,0%) (86,5%) (95,8%)
1lai de remo$te 8 la 49 apr:s
raccrocha(e
8,6 s 6,4 s 8,1 s 13,8 s
)a"x de comm"$icatio$s ta3lies
e$ moi$s de 2 seco$des
1lai mo'e$ d2ta3lisseme$t
d2appel
1lai mdia$ d2ta3lisseme$t
d2appel
)a"x de comm"$icatio$s r"ssies,
mai$te$"es et de 4"alit par5aite


30
octobre 2014 Service des tudes UFC-Que Choisir
Au global, ici comme en 3G, une agrgation des diffrents taux de qualit
8
permet de mettre en lumire
les diffrences qualitatives entre oprateurs sur la 4G.

Sur la base de notre chantillon, Orange offre la meilleure qualit devant Bouygues Telecom, Free
Mobile et SFR, qui se situe en retrait. A nouveau, ce classement gnral nest pas identifiable sur
chacune de ces zones.

Comme en 3G, dans chaque zone ressort un classement pas oprateur spcifique, et
systmatiquement diffrent du classement agrg.

8
Nous avons moyenn cinq taux : taux de fichiers de 50 Mo tlchargs en 30 secondes, taux de fichiers de 20
Mo envoys en moins de 30 secondes, taux daccs aux pages Web en moins de 20 secondes, taux de
navigations sur Internet russies et maintenues pendant 3 minutes et taux daccs de qualit YouTube.
Prcisons ici que les deux premiers critres tant diffrents en 3G et en 4G, la comparaison des taux de qualit
en 3G et en 4G nest pas pertinente.
4" # ar $%lle Bougues Telecom Orange SFR Free
Paris 86,6% 92,1% 86,1% 83,9%
!ordea"x 81,9% 92,7% 78,3% 84,6%
Aix#e$#Pro%e$ce 84,&% 83,7% 4&,7% &&,3%


31
octobre 2014 Service des tudes UFC-Que Choisir
Cette dernire partie de notre tude a mis en vidence, et en toute logique, des performances
suprieures en 4G quen 3G. Cependant, de nombreux dysfonctionnement ont t identifis.
Si nos rsultats montrent que globalement Orange offre la meilleure qualit de 4G, devant Bouygues
Telecom et Free Mobile, ils pointent galement du doigt les limites qualitatives de la 4G de SFR qui sur
lensemble de nos tests figure quasi systmatiquement en dernire position. Cest notamment le cas
Aix-en-Provence o la qualit de la 4G de SFR reste trs loignes des promesses de cette
technologie du trs haut dbit mobile.
Plus largement, travers ce test sur trois villes densits diffrentes, les dbits proposs par
lensemble des oprateurs dcroissent mesure que la taille de la ville teste diminue. Si globalement
Paris les dbits se portent un niveau permettant la 4G de fournir une trs bonne qualit de
service, cest moins le cas Bordeaux et a fortiori Aix-en-Provence. Aprs le constat que nous
dressions dans notre tude sur la couverture 4G le 05 novembre 2013 laissant craindre une 4G deux
vitesses au niveau national, cette nouvelle tude conforte encore davantage cette inquitude.
Ceci constitue en consquence une ingalit territoriale quant laccs dune 4G de qualit, qui doit
tre analyse laune de la stratgie de dploiement de la 4G des oprateurs, qui investiraient, en
proportion, bien davantage dans les zones les plus densment peuples. La crainte dune 4G deux
vitesses que lUFC-Que Choisir voquait lanne dernire parat ainsi confirme par les faits.
Que la qualit de la 4G soit diffrente est une chose. Que cette qualit soit tellement faible pour utiliser
dans de bonnes conditions le trs haut dbit mobile en est une autre. Ainsi, la ncessaire mise en
place de critres de qualit de service permettant aux utilisateurs de la 4G de rellement pouvoir en
faire un usage conforme aux promesses des oprateurs sur les mrites de cette technologie simpose.














32
octobre 2014 Service des tudes UFC-Que Choisir
Conclusion et demandes de lUFC-Que Choisir

Cette tude de lUFC-Que Choisir, destine aussi bien interroger la qualit de service de la 3G que
celle de la 4G, permet lassociation de ressortir plusieurs problmes de qualit pour les deux
technologies.
Les diffrences de qualit entre oprateurs sont particulirement marques. Si Orange tire clairement
son pingle du jeu devant Bouygues Telecom, SFR montre rgulirement des signes de faiblesses
particulirement marqus.
Loprateur laisse cependant au pied du podium Free Mobile. Une nouvelle fois, les informations que
lUFC-Que Choisir a rcoltes indiquent la persistance dune restriction sur litinrance Orange
quutilise loprateur. Limpact sur les clients de Free Mobile utilisant les services de lInternet mobile,
sans le savoir, via litinrance est majeur : ils ne peuvent jouir que dune mdiocre qualit de service,
loin des rfrences constates pour loprateur Orange. Cette anomalie apparat dsormais comme
totalement structurelle.
Comme sur la 3G, nos relevs sur la 4G mettent en lumire dimportants carts qualitatifs entre
oprateurs. Orange offre ici galement les meilleures performances devant Bouygues Telecom et Free
Mobile. SFR arrive assez nettement en dernire position.
Mais ces carts de qualit sont galement gographiques : la qualit de la 4G est en effet corrle la
taille des villes que nous avons audites (Aix-en Provence, Bordeaux et Paris). Ainsi, alors qu Paris
le dbit mdian en tlchargement est de 35,1 Mbit/s, il tombe 28,3 Mbit/s Bordeaux pour chuter
12,1 Mbits/s Aix-en-Provence. Cette baisse en dbit est constate, des degrs divers, chez
lensemble des oprateurs et illustre comme nous le prsentions lanne dernire, une 4G deux
vitesses.
Pire, les dbits peuvent atteindre des niveaux tellement faibles que la 4G se situe trs loin des
standards de la technologie, tels que prsents aux consommateurs dans les campagnes publicitaires.
Ainsi, Aix-en-Provence, SFR naffiche quun dbit mdian de 3,2 Mbits/s, loin du dbit thorique de
115 Mbit/s !
Plus largement, cette tude a mis en vidence la ncessit de mise en place par lARCEP dun
protocole aux critres rellement discriminants pour comparer les qualits de service des oprateurs.
Au vu de ces lments, lUFC-Que Choisir, soucieuse de garantir aux consommateurs une
qualit de service leur permettant dutiliser dans de bonnes conditions les rseaux mobiles,
demande :
- Aux autorits de rgulation et judiciaires de faire au plus vite toute la lumire sur les
origines des restrictions constates sur litinrance Orange utilise par Free Mobile ;
- Plus particulirement lARCEP de mettre en place des critres levs de qualit de
service;


33
octobre 2014 Service des tudes UFC-Que Choisir
Par ailleurs, lassociation invite les consommateurs alimenter lObservatoire de la couverture
de lInternet mobile en tlchargeant et utilisant lapplication Info Rseau , disponible sur le
Google Play Store, et consulter la carte de la couverture mobile frachement actualise.