Vous êtes sur la page 1sur 35

ITU Workshop on

Benchmarking QoS evaluation of Multimedia


Networks
(Ouagadougou, Burkina Faso, 18 July 2013)

Evaluation de la QoS de lInternet


mobile,
mthodologie et outils pour les
rseaux 3G
Cas du Maroc
Hassan TALIB,
Vice-Chair ITU-T SG 12,
talib@anrt.ma // htalib@ties.itu.int

Plan de la prsentation
Introduction : fondements QoS
Le service Internet mobile 3G au Maroc
Types de mesures :
Internet mobile 3G sur PC,
Internet mobile 3G sur Smartphones
Mesures FTP ou HTTP

Indicateurs mesurs (Dfinitions)


Plate-forme serveurs de mesures
Outils de mesures
Conclusions et recommandations
Ouagadougou, 18 juillet 2013

Fondements pour le suivi de la


QoS/QoE lANRT Adoption dune
Dispositif QoE :
Portail QoE et
applications
tlcharges

Un cadre rglementaire
international (normes) :
-

Un cadre
rglementaire
national :
Attributions
Obligations QoS
des oprateurs
Retour dusage :
Plaintes,
Presse,
Associations des
consommateurs,

Ouagadougou, 18 juillet 2013

UIT-T : sries E, G, P,
Y, QoS handbook, ...
Rgionales : ETSI
(srie EG), IEEE,

lANRT exerce
un suivi
rgulier de la
QoS
Mesures terrain
(campagnes)
ralises par
lANRT

stratgie de
communication
(publication)

Un benchmark des
meilleurs
pratiques et une
veille
technologique
Analyse des
donnes reues
des oprateurs en
termes de
performances,
KPI et mesures
QoE
3

Fondements pour le suivi de la QoS


Mise en place dun dispositif
global de rception des KPI
des oprateurs : tous
rseaux et tous services

Elaboration de documents de
rfrence convenus par tous
les acteurs encadrant les
mesures terrain de la QoS
Ouagadougou, 18 juillet 2013

Modle
complet
oprationnel
de donnes
KPI selon des
frquences
fixes
Externalisation
matrise des
mesures et
usage des
rsultats par
les oprateurs
4

Fondements pour le suivi de la QoS

Mthodologie dvaluation de la qualit de service QoS data pour les rseaux 3G (UMTS ou CDMA2000 sur PC
ou SP) est parfaitement valable pour les rseaux mobiles de futures gnrations :
4G (
),
Wifi Outdoor (offloading

Ouagadougou, 18 juillet 2013

),

Plan de la prsentation
Introduction : fondements QoS
Le service Internet mobile 3G au Maroc
Types de mesures :
Internet mobile 3G sur PC,
Internet mobile 3G sur Smartphones
Mesures FTP ou HTTP
Indicateurs mesurs (Dfinitions)
Plate-forme serveurs de mesures
Outils de mesures
Conclusions et recommandations
Ouagadougou, 18 juillet 2013

Le service Internet mobile 3G au Maroc


Trois oprateurs 3G (oprateurs globaux) :
Itissalat Al-Maghrib (Maroc Telecom) et Mdi Telecom
: technologie UMTS,
Maroc connect (Wana Corporate) : technologie
CDMA-2000.

Les services 3G, lancs au Maroc en mars 2007,


porteront le dveloppement de lInternet au
Maroc

Ouagadougou, 18 juillet 2013

Le service Internet mobile 3G au Maroc


Rpartition du parc Internet par type d'accs (Mars 2013)

0%

18%

82%

ADSL
Internet 3G
Autres offres Internet

Le parc Internet a connu une croissance soutenue en particulier durant


les quatre dernires annes.
Cette croissance est due essentiellement au dveloppement des offres
Internet mobile 3G.
Actuellement sur plus de 4 millions dabonns, prs de 82% utilisent les
connexions 3G mobile contre 17,8% pour laccs ADSL fixe.

Ouagadougou, 18 juillet 2013

Le service Internet mobile 3G au Maroc

Ouagadougou, 18 juillet 2013

Le service Internet mobile 3G au Maroc


Bande passante internationale et Noms de domaine
60000

Evolution de la bande passante Internet internationale


50000

Evolution du nombre des


Noms de Domaine ".ma "

48,104
46,806

300,000

42,187
266,000

37,969

40000

250,000

34,008

150,000

124,400

100,000
50,000
0

29,450

30000

200,000
Mb ps

75,000
51,200

19,025

20000

10000

25,13025,130

7,10011,500
200 310 1,240

25,890
22,583

9,476
5,298
3,586
1,998
674

20022003200420052006200720082009201020112012

La bande passante Internet


internationale
a
connu
une
croissance remarquable en 2012
de 113,83% avec une capacit de
266 000 Mbps.

Ouagadougou, 18 juillet 2013

Le parc des noms de domaine en


.ma continue de crotre en
atteignant 48.104 comptes fin
mars 2013.
Les noms de domaines crs
directement sous lextension
.ma dominent.

Le service Internet mobile 3G au Maroc


volution de la facture moyenne Internet
180

167
160

154

157

140

139
121

120

116

111

100 100
en DHHT/mois_abonn Internet
80

83

60

82

58

40

54
37

42
27

20

0
2008
Global Internet

Ouagadougou, 18 juillet 2013

2009
Internet 3G

2010
ADSL

2011

2012

La facture moyenne
mensuelle par client
Internet a recul de 73%
entre 2008 et 2012. Elle
est de 42 DHHT fin
dcembre 2012 contre
154 DHHT/mois/client
fin 2008.
Pour lInternet 3G, cette
facture moyenne ressort
fin 2012, un montant de
27 DHHT/mois/client
contre 100 DHHT fin
2008, soit une baisse de
72%.
La facture Internet ADSL
passe, quant elle, de
165 DHHT/mois/client
fin 2008 111 DHHT fin
2012 marquant ainsi une
11
baisse de 33%.

Plan de la prsentation
Introduction : fondements QoS
Le service Internet mobile 3G au Maroc
Types et conditions de mesures QoS :
Internet mobile 3G sur PC,
Internet mobile 3G sur Smartphones
Mesures FTP ou HTTP

Indicateurs mesurs
Plate-forme serveurs de mesures
Outils de mesures
Conclusions et recommandations
Ouagadougou, 18 juillet 2013

12

QoS de lInternet mobile 3G


Types et conditions de mesures QoS :
Internet mobile 3G sur PC : dongles USB
(prpays ou post-pays) sur ordinateurs
pour lUMTS ou la CDMA-2000.
Internet mobile 3G sur Smartphones :
SIM/3G pour abonns sur SP/tablettes
uniquement pour lUMTS.
Mesures en mode FTP ou HTTP : raliser
sur des fichiers taills pour les mesures
(Up/Dw) : 1Mo, 5Mo,

Ouagadougou, 18 juillet 2013

13

QoS de lInternet mobile 3G


Types et conditions de mesures QoS :
Evaluation de la QoS Evaluation de la
couverture.
Toute mesure ne doit se faire que dans les
zones dclares couvertes la fois par tous
les oprateurs concerns : exercice
dchantillon gographique et de la carte de
couverture.
Lexercice de cartographie de couverture doit
se faire au dtail du quartier et non par ville.

Ouagadougou, 18 juillet 2013

14

Plan de la prsentation
Introduction : fondements QoS
Le service Internet mobile 3G au Maroc
Types de mesures :
Internet mobile 3G sur PC,
Internet mobile 3G sur Smartphones
Mesures FTP ou HTTP

Indicateurs mesurs
Plate-forme serveurs de mesures
Outils de mesures
Conclusions et recommandations
Ouagadougou, 18 juillet 2013

15

QoS de lInternet mobile 3G


Pour chaque type de mesure, quels
indicateurs sont pertinents ?
Gigue, dlai, dbit, pertes de donnes,?
Objectifs pragmatiques (par enqute de
satisfaction) intressant lexprience
utilisateurs : mesurer laccessibilit (taux
et temps de connexion), la fiabilit et la
rapidit (dbit de transmission et de
rception).
Transformation de ces lments en dix (10)
indicateurs :
Ouagadougou, 18 juillet 2013

16

QoS de lInternet mobile 3G

Liste des dix (10) indicateurs mesurs :

Le taux de connexions russies : une connexion est russie si


elle est tablie dans un dlai infrieur 1 minute. Le taux de
connexions russies est calcul sur la base de lensemble des
mesures ralises.
Le taux de connexions russies dans un dlai infrieur 10
secondes : le taux de connexions russies dans un dlai
infrieur 10 secondes est calcul sur la base de lensemble
des mesures ralises.
Le taux de fichiers de 1 Mo envoys dans un dlai infrieur 2
minutes : un fichier est considr comme envoy si le fichier
est envoy intgralement dans un dlai Dmax et si son contenu
est correct. Le taux est calcul sur la base du nombre total de
fichiers envoys.
Le taux de fichiers de 5 Mo reus dans un dlai infrieur 5
minutes : un fichier est considr comme reu si le fichier est
reu intgralement et si son contenu est correct. Le taux est
calcul sur la base du nombre total de fichiers tlchargs.
Ouagadougou, 18 juillet 2013

17

QoS de lInternet mobile 3G


Liste des dix (10) indicateurs mesurs :
Le dbit de donnes atteint pour 90% des fichiers de 1 Mo
envoys : cet indicateur correspond au percentile 90 % des
fichiers envoys.
Le dbit de donnes atteint pour 50% des fichiers de 1 Mo
envoys : cet indicateur correspond au percentile 50 % des
fichiers envoys.
Le dbit de donnes atteint pour 10% des fichiers de 1 Mo
envoys : cet indicateur correspond au percentile 10 % des
fichiers envoys.

Ouagadougou, 18 juillet 2013

18

QoS de lInternet mobile 3G


Liste des dix (10) indicateurs mesurs :
Le dbit de donnes atteint pour 90% des fichiers de 5 Mo
reus : cet indicateur correspond au percentile 90 % des
fichiers envoys.
Le dbit de donnes atteint pour 50% des fichiers de 5 Mo
reus : cet indicateur correspond au percentile 50 % des
fichiers envoys.
Le dbit de donnes atteint pour 10% des fichiers de 5 Mo
reus : cet indicateur correspond au percentile 10 % des
fichiers envoys.

Ouagadougou, 18 juillet 2013

19

QoS de lInternet mobile 3G


Indicateurs mesurs :
Prcisions importantes :
Le dbit pour les rseaux 3G est un dbit
partag entre les utilisateurs. Le dbit rel
(exploit) est toujours infrieur au dbit
thorique (commercialis). Cest une
considration technologique.
Mais, ce dbit est mesurable pour tous les
oprateurs travers le mme dispositif.

Ouagadougou, 18 juillet 2013

20

QoS de lInternet mobile 3G


Indicateur supplmentaire : TUDC
Le taux dusage du dbit contractuel (TUDC)
correspond au rapport du dbit utilis (observ) au
dbit contractuel (commercialis) auprs de
loprateur concern. Ce rapport est exprim en
pourcentage.

Un exemple
rel pour un
rseau 3G :

Ouagadougou, 18 juillet 2013

21

Plan de la prsentation
Introduction : fondements QoS
Le service Internet mobile 3G au Maroc
Types de mesures :
Internet mobile 3G sur PC,
Internet mobile 3G sur Smartphones
Mesures FTP ou HTTP

Indicateurs mesurs
Plate-forme serveurs de mesures
Outils de mesures
Conclusions et recommandations
Ouagadougou, 18 juillet 2013

22

QoS de lInternet mobile 3G


Plate-forme serveurs de mesures :
Mesurer les performances dun rseau
Internet mobile 3G, cest mesurer la QoS
dune connexion travers ce rseau entre un
terminal et un serveur de donnes.
Plusieurs facteurs extrieurs peuvent
impacter un des segments du chemin de test.
Do la contestation des rsultats de mesures
par loprateur concern.
Option de mesures avec un serveur
international est carter.
Ouagadougou, 18 juillet 2013

23

QoS de lInternet mobile 3G


Plate-forme serveurs de mesures :
Problme : inexistence de serveur (chez les
hbergeurs), au niveau national, connect
la fois tous les rseaux par une capacit
suprieure loffre de dbit le plus lev !!!
Solution : conception dune plate-forme de
serveurs de mesures au niveau des locaux du
rgulateur. Les capacits des liens sont
suprieures au dbits mesurs (Exemple
10Mb/s pour mesurer 7,2Mb/s et 20Mb/s
pour mesurer 14,4Mb/s).
Ouagadougou, 18 juillet 2013

24

QoS de lInternet mobile 3G


Plate-forme serveurs :

Tous les fichiers tests sont installs dans chaque serveur de la


plate-forme connect par FO au rseau 3G de loprateur.
Ouagadougou, 18 juillet 2013

25

Plan de la prsentation
Introduction : fondements QoS
Le service Internet mobile 3G au Maroc
Types de mesures :
Internet mobile 3G sur PC,
Internet mobile 3G sur Smartphones
Mesures FTP ou HTTP

Indicateurs mesurs
Plate-forme serveurs de mesures
Outils de mesures
Conclusions et recommandations
Ouagadougou, 18 juillet 2013

26

QoS de lInternet mobile 3G


Outils de mesures (Prcautions)
Equipements terminaux (PC, SP et
dongles/USB) , critres de choix :
Choisir parmi les modles industriels les
plus utiliss dans le march national,
Ayant des performances ne bridant en
aucun cas les dbits suprieurs mesurs.
Pour les PC (OS, firewalls, antivirus,) et
pour les terminaux (Twindowsize ,MTU,
CPU , RAM,).

Ouagadougou, 18 juillet 2013

27

QoS de lInternet mobile 3G


Outils de mesures (Prcautions)
Profils dabonnements utiliss :
Post-pay ou prpay.
Attention aux downgrade de dbit si le
volume de tlchargement atteint les
seuils.
Les tests sur les SP doivent se faire en
mode forc 3G et non en dual (viter
confusion GPRS ou EDGE).
Pour chaque oprateur (un serveur et un
lien) une seule mesure est faire la fois.
Ouagadougou, 18 juillet 2013

28

QoS de lInternet mobile 3G


Outils de mesures
Application logicielle (Agents installs dans
les terminaux : PC et SP) :
A chaque connexion data, lapplication remonte
des informations permettant le calcul automatique
de tous les indicateurs de QoS de la connexion
(niveau de champs, SC, checs, succs,) ainsi
que la position GPS.
Lapplication permet de stocker directement et
automatiquement tous les rsultats (indicateurs)
dans un serveur qui centralise la prparation des
rapports ncessaires dans le cadre de portail
ddi.
Ouagadougou, 18 juillet 2013

29

Plan de la prsentation
Introduction : fondements QoS
Le service Internet mobile 3G au Maroc
Types de mesures :
Internet mobile 3G sur PC,
Internet mobile 3G sur Smartphones
Mesures FTP ou HTTP

Indicateurs mesurs
Plate-forme serveurs de mesures
Equipements terminaux
Conclusions et recommandations
Ouagadougou, 18 juillet 2013

30

Conclusions et Recommandations
Recommandation n1

Concertation permanente avec les oprateurs


en amant sur la mthodologie. Adoption
dune dmarche concerte de rfrence pour
le suivi.
Recommandation n2

Aucun des oprateurs nest inform sur les


sites des mesures ni sur la priode.

Ouagadougou, 18 juillet 2013

31

Conclusions et Recommandations
Recommandation n3

Raliser un nombre important de


mesures QoS blanc, avec les mmes
outils que ceux utiliss dans les
campagnes relles de mesures et de
prfrence en prsence des
reprsentants des oprateurs concerns
par les mesures (Minimiser savoir
liminer toute contestation potentielle
des oprateurs).

Ouagadougou, 18 juillet 2013

32

Conclusions et Recommandations
Recommandation n4
Mesures pour les oprateurs : usage
positif des rsultats par les oprateurs
(usage de la plate-forme serveurs de
tests//objectif potentiel financement des
campagnes par les oprateurs).

Recommandation n5
Publier les rsultats (comparatifs),
adopter une stratgie de communication
et considrer les sanctions pour les
anomalies comme dernier recourt.
Ouagadougou, 18 juillet 2013

33

Conclusions et Recommandations
Recommandation n5 (suite)
Publication des rsultats de mesures :

1re campagne voix


sur un chantillon
large (trentaine de
villes et points de
concentration
aroports, centres
touristiques).
1er trimestre de
lanne

Ouagadougou, 18 juillet 2013

2me campagne
similaire la
Communication des rsultats
premire base
aux oprateurs
pratiquement sur le
mme chantillon.
4me trimestre de
Dlai de 5 6 mois pour
lanne
correction des anomalies
identifies par lANRT

(Publication des
rsultats et
communication)
34

Merci pour votre attention


Questions/Rponses
talib@anrt.ma // htalib@ties.itu.int

Ouagadougou, 18 juillet 2013

35