S4P5-Sami-Tabbane V2-2 (FR)

Typology and Benchmark of Tools for
Assessing Mobile Networks QoS and QoE
Forum rgional de normalisation de lUIT pour l'Afrique SG 5 SG 12

Dakar, Sngal, 24 -25 mars 2015
TYPOLOGIE ET BENCHMARK DES OUTILS POUR

VALUER LES QOS ET QOE DES RSEAUX MOBILES
SESSION 4: OUTILS ET MTHODOLOGIES DE TEST DE LA QUALIT DE SERVICE DES SERVICES MULTIMEDIA

SUR LES RESEAUX INTERNET/LARGE BANDE (MOBILE ET FIXE)
Le presentateur: professeur Sami TABBANE
0
Ordre du jour
1 Qualit KPI : mesure et perue
2 Processus et outils
3 Innovations 4G
4 Annexe : Prsentation et outils SFM
1
indices de lImpact des QoE
2
KPI de QoS
Taux de Blocage d'appel
Taux de succs d'appel
Taux dInterruption dAppel
Qualit vocale
MSC/BSC/disponibilit du rseau
Disponibilit internationale
Ratio de l'efficacit du rseau
Taux de russite d accs au SMS
Taux de SMS reus
Taux de russite
daccs MMS
Taux de MMS reus
Taux de russite de Connexion Internet
Dbit de la
Transmission de donnes
Maintien de la
Session Internet
Dure
de ltablissement de la connexion de donnes
Taux d'chec de Services Web
Dbit de Services Web Apparent
Taux dechec de la
Connexion de Services de donnes FTP
Dbit apparent du Service3FTP
Quels indicateurs de qualit

sont importants pour
l'utilisateur ?
Rsultats d'une enqute mene en Tunisie (2014)
4
La fiabilit des services de tlphonie
Trs important 69.6%

91,6 %
important 22.0%
Assez important 8.0%

8,3 %
Pas important 0.3%
Base : 286 rpondants
5
La fiabilit des
services SMS
Trs important 30.4%

60,5 %
important 30.1%

37,1 %
Pas important 19.6%
NSP 2.4%
6
La fiabilit des
services MMS
Trs important 11.2%

23,8 %
important 12.6%
70,6 %
Pas important 55.2%
NSP 5.6%
7
La fiabilit des services Internet
Trs important 49.3%

64,3 %
important 15.0%

32,2 %
Pas important 25.9%
NSP 3.5%
8
Importance du taux d'appels reussis
Trs important 83.9%

95,8 %
important 11.9%

3,8 %
Peu important 1.0%
Pas important 0.3%
9 9
Importance
de la qualit des Communications
Trs important 87.8%
97,2 %
important 9.4%
2,8 %
Pas important 0.7%

10
Importance de la couverture
Interne des villes
Trs important 89.9%

97,2 %
important 7.3%

2,4 %
Pas important du tout 0.7%
NSP 0.3%

11
Couverture externe hors des villes
Trs important 80.1%

91,6 %
important 11.5%

7,7 %
NSP 0.7%
12
Importance de la couverture interne
Trs important 87.1%

94,8 %
important 7.7%
4,9 %
NSP 0.3%
13 13
Importance de la couverture en vhicule
Trs important 62.9%

80,1 %
important 17.1%

18,9 %
NSP 1.0%
14
Continuit dappels(Absence de coupure dappels sur 100 appels)
Trs important 36.7%

58,4 %
important 21.7%

40,6 %
Pas important 16.1%
NSP 1.0%
15
Trs important 38.5%
important 18.2% 56,6 %

Pas important 11.9%
NSP 1.0% 42,3 %
16
Trs important 52.4%

75,5 %
important 23.1%

23,4 %
Pas important 5.9%
NSP 1.0%
17
Les 5 critres les plus importants (par ordre d'importance)

Premiers Critres
La couverture l'intrieur des btiments 25.9%
La continuit de la communication, c'est dire la

non existence de coupures 17.8%
L'aboutissement des appels composs 17.1%
La couverture l'extrieur tout en restant

l'intrieur de la ville 13.3%
La qualit de la communication 11.2%
La Couverture l'extrieur sur les routes 11.2%
La couverture l'intrieur des vhicules 3.5%
18
2ND Critres

l'intrieur de la ville 12.5%
La continuit de la communication, c'est
dire la non existence de coupures 9.3%
19
3RD Critres

12.8%
l'intrieur de la ville
20
4E Critres

12.8%
La continuit de la communication, c'est dire
la non existence de coupures 10.2%
21
5E Critres

12.8%
22
Ordre du jour
3 Innovations 4G
23
Outils de mesure QoS/QoE
Outils: Aucun outil ou technique nest capable de saisir toutes les QoS d'un rseau.
Les oprateurs utilisent plusieurs outils (spcifiques ou non) sur diffrentes interfaces (complmentaires ou
non)
Passif
Measurement
tools
Field Actif
Surveyors
Generic/
Measurements
Specific
Measurement
OMC raw data
techniques
Surveys Manual/
Automatic
System Passive probes
Calls and
sessions
generators
24
Principaux outils pour la mesure des paramtres

QoS /QoE
Solution Avantages Inconvnients

Non exhaustive (gographique Et
Suivre les vnements un niveau
Test de la Conduite temporel)
gographique et tape par tape
Des cots levs et de la logistique
Gographiquement (toutes les Le manque de suivi des vnements lis
Analyse des donnes cellules) et exhaustive temps (tout un appel particulier ou une session
brutes OMC le rseau) Manque de mesures, de trous de
Cot rduit couverture
Enqutes sur la Reflte la (QoE) Comme
Coteuses (enqutes)
perception des effectivement perue par les
Subjectives
services aux abonns utilisateurs
Enqutes sur le Mesures de la Qualit vocale plus Coteuses (logistique et Oprateurs)
terrain objectives Limites dans le temps et dans l'espace
Faible cot Manque de certains paramtres non
Les applications
Rpresentation Gographique et disponibles
base mobile de
temporelle, partir de l'utilisation des Peut avoir un impact sur le tlphone
labonn
services mobile de l'utilisateur
25
MESURES DES
PARAMTRES QOS
Types de mesure
BTS BSC Le CSM
Donnes Valeurs
brutes
UN
BLUESPACE NE compteurs
3.15
B 1,05
Appe SpQ C 0.95
l
X Mauvaise
Y Excellente Compteurs OMC
Z Bonne
Champ de mesure
Le par.. UN Le par.. B Appels
abandonns
Test de la conduite
+33 6 XXXX XXXX +33 1 XXXX XXXX Aucune
+33 6 XXXX XXXX +33 4 XXXX XXXX Oui
CDR : Enregistrement des donnes d'appel
Outil de capture
26
26
MESURES
DES PARAMTRES QOS
Les mesures des performances du rseau
Retour Contrle des performances du rseau

lutilisateur Optimisation
Performances
Statistiques
Les statistiques des diffrents compteurs et interfaces
Qualit
des Services
E2E
,QoE Nud B Application
Serveur
3G GGSN
RNC 3G
SGSN
, GERAN, UTRAN Core nw NW externe
27
MESURES
DES PARAMTRES QOS
Diffrents services Diffrents besoins en QoS

o Les KPI doivent tre dfinies sparment pour chaque service
Exemple : services vocaux - CS
Catgories KPI Indicateurs Mesures

Disponibilit de la couverture Ec/No, RSCP
Accessibilit des Taux de blocage dappel Contrle d'admission
Services tablissement d'appels en Affectation RAB
retard
Intgrit des Cadres bruyants
Qualit vocale
Services (FER), MOS
Echec du transfert
Prennit
Appels abandonns Aucune couverture
Des Services
Interfrences
28
MESURES Assessing Mobile Networks QoS and QoE
DES PARAMTRES QOS

Service KPI
Service FTP : taux d'chec du start-up FTP , Taux dannulation
FTP, dbit FTP,
Service HTTP: taux d'chec l'accs HTTP, Taux dannulation
HTTP, temps d'accs, temps d'accs au texte HTTP, dbit
HTTP/Retard, ...
Push"-to-talk sur Cellulaire (POC) disponibilit du service du
POC): Acessibilit service du POC Qualit de la voix POC
,Livraison en temps opportun de la voix POC.
MMS: taux d'chec Envoyer/Rcuprer MMS , le dbit
envoyer/recevoir de MMS, retard bout en bout MMS , retard de
notification MMS.
WAPWAP : taux d'chec WAP, Temps daccs WAP.
Ping: RTT 29
MESURES SUR LE TERRAIN
Exemple d'outil de controle Net (Infocom)
Fabriqu pour les mesures pedestres.

Il se compose de :
Un quipement portable, install dans le
sac dos (base sur les smartphones
HTC),
Une application XGMA contrles par
une tablette numrique permettant
dauditer les rseaux sans fil dans les
zones urbaines, dans les centres
commerciaux et les btiments publics.
Cet outil peut galement au cours de la

campagne de mesure auditer la qualit de
service des rseaux mobiles en voiture,
lorsque le vehicule est en mouvement.
30
Les outils d'optimisation du rseau utiliss sont les

suivants :
TEMS Enqute
Agilent E6474A
Neptune
CDMA Interface Air testeur (ACPI)
TEMS DeskCat
Actix Analyseur
NEMO
Gladiator
NetAct
lan semble
31
Mesures
Et GPS Antennes externes
Logiciels
Contrleur
L'nergie
Traitement
quipement de test de QoS mobile
Interface Homme-Machine
32
ANALYSE DE LA
QUALIT VOCALE
principe de mesure de la qualit vocale
33
LES MESURES OMC
Rcolter partir du rapport des vnements(compteurs) ,OMC

(radio et rseau) de l'quipement
Principe Traitement de ce compteurs ( avec formulaire labore par
l'quipe d'exploitation ou par logiciel de traitement)
Les statistiques globales : relatives une zone BSC/ MSC/

SGSN/
Avantages
Moins cher que les mesures sur le terrain: mesures lointaines ,
aucun besoin dengager une quipe de mesures ,
Pas de localisation des problmes identifis au niveau radio
Inconvnients (zone de non couverture ou zone d'interfrence )
Aucun suivi d'un ou plusieurs appels en particulier
MesuresRadio (KPI " classiques " : QoS, trafic, performances,
Mesures ) mesures du rseau (KPI " classiques " : localisation, pice
jointe, appels, )
34
LES MESURES OMC
Outils
Generic (multi-manufacturer)
Propriets Gnrique (Multi-fabricant)
APIC of Metrica: Evolution problem
L'APIC. De Metrica: volution
MyCom of MyCom: equivalent to
problme
Alcatel : RNO Metrica but less adapted to
sophisticated
Commandes reporting
Siemens : SPOTS(assez mycom De Commandes
interessants pour les AirCom: generally preferment for
mycom: quivalent Metrica Mais
rapports statistiques) classic statistics
moins bien adaptes aux rapports
NetAct SQM: Nokia
sophistique
Ericsson : TEMS Analyzer
OVPI: HPGnralement
AirCom: (for IP equipment)
prsentation
de statistiques classique
NetAct SQM : Nokia
OVPI : HP (pour quipements IP)
35
SONDES PASSIVES
Principe Recueillir dans un quipement de rseau (nuds) et/ou l'interface

des messages changs entre le rseau et plusieurs mobiles (les
fichiers typiquement)
Avantages Plus global que les mesures sur le terrain : lies (en fonction de
l'interface utilise) une cellule, une zone BSC/MSC/SGSN,
Moins cher que de mesures sur le terrain: mesures lointaines ,
aucune ncessit dengager une quipe de mesures
Inconvnients La non localisation des problmes identifis au niveau radio(zone
de non couverture ou zone d'interfrence )
Mesures Mesures Radio (niveau de la puissance du Signal de diffusion ou
point point, niveau dinterferences, la puissance des cellules
voisines, parametres de cellule, )
Messages changs et problmes survenus lors dune connexion
(LU/RU, appel/session, HO, ) pour tous les niveaux (couches 1, 2,
3 et plus lev en fonction des interfaces).
36
Tektronics: K12/15XX (statistiques Echoues, simple et

rcemment amlior en terme d'ergonomie)
Network General: Sniffer Pro + NPO (interfaces IP et

analyses via NPO)
Commandes mycom: NIMS-PrOptima (Possibilit de

combinaison avec tests de conduite dans un SIG)
Tekelec: Steleus 2,5 G (GPRS Interfaces) Et Steleus 3G

(UI Interfaces ), Plusieurs APPLICATIONS pour post-
traitement. Conservation des donnes pour quelques jours.
Supervision du GPRS QoS en temps rel et production de
Rapports QoS avec les alertes .
37
SONDES PASSIVES
HP : Ovis (Test des services de donnes ,production de KPI de

disponibilit et de retard de reponse).
RADCOM: Consultant de rseau (interfaces A,
Go, Gi, Gn, Iub, Iur, UI, Gi et Gn): Cadre de dcodage , trs bon en
post-traitement (plus riche en informations que d'autres produits,
comme des statistiques sur les causes de libration PDP).
Trafica (NetAct de Nokia).
Ipanema: Ipanema (sondes Fix pour la capture de traffic de
donnes de 2,5 G et 3G).
Cigale (Astellia): Sondes pour la capture de trafic 2G et 3G.
Problmes de Mise jour et de maintenance en comparaison
avec d'autres versions de logiciels du fabricant.
38
ANALYSEURS DE PROTOCOLE
Analyse d interfaces de rseau
Socit Produit
Nethawk Analyseur 3G
Agilent Analyseur de signalisation
Tektronix K15
Radcom Analyseur de performance
Acterna Analyseur de protocole
Telecom
39
GNRATEURS D APPELS
Gnration des appels de srie et de sessions, en fonction

Principe de scnarios prdfinis et rcolte de l'ensemble des messages
changs avec dtection de problmes eventuels
plus exhaustifs que les sondes
Avantages Procdures de ciblage/mobiles/zone/ avec problmes
plus chers que les sondes
Inconvnients Moins " indpendants " de sondes (parce que ciblant en
particulier les scnarios)
Mesures Radio (niveau de puissance du signal dans la
diffusion et au point par point, niveau d'interfrence, la
Mesures puissance des cellules voisines, parametres de cellule, )
Messages changs lors d'une connexion (LU/RU,
appel/session, HO, ) tous les niveaux (couches 1, 2 et 3).
40
40
Outils de rfrence
Voix
DT outils de Outils de Outils de
DT outils de Client Subjective Client outil
Fournisseurs post- SHO outils contrle des Outils sondes golocalisatio
mesure enqutes QoS valuation de QoE
traitement performances n
la qualit
Opticom
Actix
JDSU
Dpasser Tec

h
Aircom
Ascom
Anite
Accuver
Accanto
Chque Net
Epitiro
Ookla
Dingli
Ericsson
Huawei
DSN
Alcatel-

Lucent
QoS Tracker
BI4T
Analyse

InfoVista
Astellia
Pixipnet
V3D
RTR-NetTest
Instituts de
41
Marketing
Ordre du jour
1 KPI de Qualit : mesure et perue
3 Innovations 4G
42
Caractristiques principales 4G et les dfis pour l'valuation de la qualit
exigences de performances LTE
Mobilit : mobilit faible (0-15km/h) et haut dbit

Latence : plan de lutilisateur < 5 ms ; plan de controle< 50 ms
Efficacit du spectre ameliore
Diffusion amliore
Tous les IP
Bande passante Modulable.
Agrgation du porteur
Partage de rseau
Caractristique damlioration de la performance Radio
43
Caractristiques et volutions des publications LTE
44
Minimisation du principe des tests de conduite

Dfini en Rel-10 avec les objectifs suivants :
Capacit de UE inclure des informations sur la position comme composante du rapport de
mesure UE
Capacit de UE enregistrer les mesures radio pendant le mode veille de UE
Rutilisation des mesures radio pour celles qui doivent tre effectues dans le cadre de la
procdure normale RRM, en rduisant la complexit supplmentaire et la consommation de la
batterie par l'UE.
45
Conclusions
Les tendances des mesures de la

qualit
Les tests de conduite ont t le premier type d'outils
pour l'valuation de la QoS,
Les outils des systmes de mesure (sondes, donnes
brutes OMC , base de CDR, ) utiliss pour obtenir
une image plus large de la performance du rseau,
Les mesures focalises sur lexprience de lutilisateur
pour tre plus proche de la perception par l'utilisateur
Problme principal jusqu' prsent dans la transition vers
la 4G et 5G
46
Merci!
Adresse: 81, Avenue Hdi Chaker - 1002 - Tunis - TUNISIE

Tl. : +216 71 845 248 / +216 98 377 887
Fax : +216 71 845 249
Contact : Info@sfmtechnologies.com
Site Web : Www.sfmtechnologies.com
47
Ordre du jour
3 Innovations 4G
48
Synoptique
Services pour les rseaux et les systmes de Tlecommunications mobiles et

fixes
- Cr : 1995 Par un groupe d'experts composs d'ingnieurs, de consultants,

de spcialistes,
20 Pays
40+ Rseaux cellulaires
Activits: Consultation stratgique, ingnierie, assistance technique et formation en
matire de tlcommunications
Les clients: Ministre des Telecoms, oprateurs, rgulateurs, entreprise de
consultance.
49
Groupe SFM Assessing Mobile Networks QoS and QoE
19+ Annes d'exprience
20+Pays dans le monde
40+ Rseaux cellulaires
50+ Consultants et experts
Chiffres daffaires 2014 :USD 1,8 MILLIONS
SFM Telecom pour les activits locales

L'AFD Technologies pour la consultance et l'expertise
SFM International pour la formation
50
Groupe SFM
1800+ Homme/jour
d'Assistance technique
650+ + Homme/jour
de consultance stratgique
SFM
En 2014
550+ Homme/jour de Formation

avec 40% sur site
50+oprateurs, rgulateurs
Et socit de consultance
51
QoEntumAutomatique : QoE automatique pour lamlioration Assessing Mobile Networks QoS and QoE
des performances rseau et suivi des affaires
QoEntum Solution recueille les KPI

standard , y compris les services
vocaux et de donnes partir des
smartphones Androd des abonns.
Il reflte l'exprience de lutilisateur
final et la perception de le
performance du rseau. Les
informations et les mesures
renvoyes server SFM, o les
donnes sont traites, stockes,
analyses et immdiatement
accessibles via un site web scuris.
52
QoEntum: Ecrans de model
53
QoEntum Indicateurs :
CDR, CBR, Call Setup Time etc. per
region
Data services KPIs: speeds UL and DL
per location,
White areas: coverage problems (holes,
low signal level, indoor/incar/outdoor
CBR, CDR per area, coverage),
Mean call setup duration per area, Network performance tracking,
Signal level per user and per location, Compliance with license conditions
Connected network (2G/3G/4G),
Real-time processing and display of the problems on Hotspots (density of test mobiles per
maps area),
History of the measurements and comparison of MOS and PESQ, QoS and Legal
networks performance (2G/3G/4G, region, ). Mostly used application per Department
Data measurements: speed (UL, DL), setup success and subscribers,
delay, Loss of revenues evaluation
HO rate, Users profile (behavior, )
Data activity rate, Les zones ractives (densit des
Perceived user quality mobiles de test par zone),
Connection and sessions durations,
Et MOS PESQ,
User information: UE type, location, activated services,
Utilise essentiellement pour
used credit/SIM card and service, activity (sessions
application par les abonns,
durations, calls, ), transmitted and received data
volumes, Perte de revenus valuation
Profil de l'utilisateur (comportement,
Commercial and )
Marketing Perue qualit utilisateur
Engineering and Optimization
UTILISATEUR
54
Tarifs Tracker: Outil de controle automatique Assessing Mobile Networks QoS and QoE
des tarifs de services de tlcommunications
Sauvegarde
Stockage dinformations collectes,
Bases de donnes,
Historique des Transactions
Rapports gnrs.
plate-forme de la carte
Plate-forme centrale SIM pour la
Scnarios de configuration, gnration dappels,
Fixation des formules de prix, les sessions de
Generation d Appel, donnes, et de
Collecte d'informations sur la SMS,et la collecte
facturation, d'informations sur
Comparaison de la Tarification
taxation.
Gnration des rapports d'audit
. Tarifs Tracker value les tarifs de service tel que peru par l'abonn.
55
Contact
Adresse: 8, Rue Ibn Sina - El Menzah VI - 2091 Ariana - TUNISIE
Tl. : +216 71 284 314 / +216 98 377 887
Fax : +216 71 284 314 / +216 71 754 842
E-mail : Info@sfmtechnologies.com
Site Web : Www.sfmtechnologies.com
56

S4P5-Sami-Tabbane V2-2 (FR)

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

S4P5-Sami-Tabbane V2-2 (FR)

Transféré par

Droits d'auteur :

Formats disponibles

Typology and Benchmark of Tools for

Assessing Mobile Networks QoS and QoE

Forum rgional de normalisation de lUIT pour l'Afrique SG 5 SG 12

TYPOLOGIE ET BENCHMARK DES OUTILS POUR

SESSION 4: OUTILS ET MTHODOLOGIES DE TEST DE LA QUALIT DE SERVICE DES SERVICES MULTIMEDIA

Le presentateur: professeur Sami TABBANE

1 Qualit KPI : mesure et perue

4 Annexe : Prsentation et outils SFM

indices de lImpact des QoE

Quels indicateurs de qualit

Rsultats d'une enqute mene en Tunisie (2014)

La fiabilit des services de tlphonie

Trs important 69.6%

Assez important 8.0%

Pas important 0.3%

Base : 286 rpondants

Trs important 30.4%

Assez important 17.5%

Base : 286 rpondants

Trs important 11.2%

Assez important 15.4%

Base : 286 rpondants

La fiabilit des services Internet

Trs important 49.3%

Assez important 6.3%

Base : 286 rpondants

Importance du taux d'appels reussis

Trs important 83.9%

Assez important 2.8%

Pas important 0.3%

Base : 286 rpondants

Trs important 87.8%

Assez important 2.1%

Base : 286 rpondants

Trs important 89.9%

Assez important 1.7%

Base : 286 rpondants

Couverture externe hors des villes

Trs important 80.1%

Assez important 5.6%

Base : 286 rpondants

Importance de la couverture interne

Trs important 87.1%

Assez important 4.2%

Base : 286 rpondants

Importance de la couverture en vhicule

Trs important 62.9%

Assez important 8.7%

Base : 286 rpondants

Continuit dappels(Absence de coupure dappels sur 100 appels)

Trs important 36.7%

Assez important 24.5%

Base : 286 rpondants

Continuit dappels(Absence de coupure dappels sur 50 appels)

Trs important 38.5%

important 18.2% 56,6 %

Pas important 11.9%

NSP 1.0% 42,3 %

Base : 286 rpondants

Continuit dappels(Absence de coupure dappels sur 20 appels)

Trs important 52.4%

Assez important 17.5%

Base : 286 rpondants