Académique Documents
Professionnel Documents
Culture Documents
Marché N°1690/MEF/ARCEP/DNCMP/DCMP/SP du
26/07/2023
RAPPORT PROVISOIRE
VOIX-SMS CELTIIS
Octobre 2023
Contents
2
Tables des Tableaux
Tableau 1 : Communes et nombre de jour de mesures ..................................................................... 8
Tableau 2 : Axes et nombre de jour de mesures ............................................................................... 8
Tableau 3: Indicateurs de performances de la voix-Sms ................................................................. 10
Tableau 4: Conformité Récapitulatif de ONNET-CELTIIS ............................................................... 11
Tableau 5: Conformité Récapitulatif de OFFNET-CELTIIS.............................................................. 13
Tableau 7: Taux de communication réussies-CELTIIS.................................................................... 14
Tableau 8: Taux de blocage des appels-CELTIIS ........................................................................... 15
Tableau 9: Taux de coupure des appels-CELTIIS ........................................................................... 16
Tableau 10: Taux de bonne qualité vocale-CELTIIS ....................................................................... 17
Tableau 11: Taux de bonne qualité vocale >=2.8-CELTIIS ............................................................. 18
Tableau 12: Moyenne de MOS-CELTIIS ......................................................................................... 19
Tableau 13: Taux de SMS E2E-CELTIIS ........................................................................................ 20
3
RAPPEL DU CONTEXTE DE DEROULEMENT DE LA MISSION D’AUDIT
Dans le cadre de son rôle en tant que responsable en matière de contrôle de la QoS offerte
aux abonnés des réseaux mobiles, L’Autorité de Régulation des Communications
Électroniques du Bénin (ARCEP) a lancé ce projet pour veiller au respect des conditions
d’exploitation des réseaux et seuils de qualité de services inscrits dans les cahiers des charges
des licences des opérateurs de réseaux mobiles.
Dans le but de s’assurer du respect par les opérateurs des exigences de couverture et de
qualité de service, l’Autorité de régulation a organisé de janvier à octobre 2021 un audit, de la
couverture des réseaux de communications électroniques mobiles. Les résultats de cet audit
ont conduit à une mise en demeure de douze (12) mois qui échoit le 04 avril 2023.
Par ailleurs, les opérateurs de réseaux de communications électroniques mobiles bénéficient
du droit de la liberté de fixation des tarifs des services de communications électroniques qu’ils
offrent aux abonnés. Ils ont dans ce cadre l’obligation de transparence et du respect des tarifs
autorisés par l’ARCEP BENIN.
Afin de s’assurer que les opérateurs de communications électroniques mobiles ont d’une part,
au terme de la période de mise en demeure, mis en œuvre les moyens techniques et financiers
pour le respect des exigences règlementaires de couverture et de qualité de service, d’autre
part assuré le respect des tarifs proposés aux abonnés, l’Autorité de régulation, a recruté le
cabinet SFM pour réaliser une campagne d’audit de la couverture, de la qualité de service et
de la tarification des services des réseaux de communications électroniques mobiles sur toute
l’étendue du territoire.
COMPREHENSION DE LA MISSION
- Effectuer des mesures MOS (Mean Opinion Score) en se basant sur le protocole
POLQA.
- Vérification de la conformité des indicateurs par rapport aux obligations des
opérateurs indiqués dans leurs cahiers des charges
- Vérification de la conformité de la couverture aux obligations et au plan de
couverture des opérateurs indiqués dans leurs cahiers des charges
- Vérification de la facturation sur la base des tarifs annoncés par les opérateurs et
des offres validés par l’ARCEP BENIN
4
RAPPEL DES OBLIGATIONS CONTRACTUELLES
5
RAPPEL DES CONTRAINTES DE LA METHODOLOGIE CONFORMEMENT AUX
CAHIERS DES CHARGES DE LA MISSION
La qualité des services offerts par les opérateurs des réseaux mobiles au Bénin sera
évaluée sur la base des mesures Drive Test basées sur l’utilisation de chaînes de mesures,
tout en assurant :
6
➢ Fiabilité d’évaluation de la QoS
➢ Traçabilité
➢ Les mesures seront réalisées en parallèle, synchronisées et avec des
terminaux identiques ;
➢ Les critères d’évaluation sont ceux établis par l’ARCEP BENIN dans la
décision 2020-207 fixant les indicateurs de qualité de service
➢ Le protocole utilisé est le protocole ci-dessus visé.
7
LISTE DES COMMUNES ET PLANNING DES MESURES
Les communes et axes routiers concernés par les mesures ainsi que les prévisions de nombre
d’échantillons, sont donnés dans le tableau ci-après :
Communes Arrondissements
Abomey-Calavi
Akassato
Godomey
Kpanroun
Abomey-Calavi Togba
Ouèdo
Golo-Djigbé
Hévié
Zinvié
1er arrondissement
2e arrondissement
3e arrondissement
4e arrondissement
5e arrondissement
6e arrondissement
Cotonou 7e arrondissement
8e arrondissement
9e arrondissement
10e arrondissement
11e arrondissement
12e arrondissement
13e arrondissement
1er arrondissement
2e arrondissement
Porto-Novo 3e arrondissement
4e arrondissement
5e arrondissement
1er arrondissement
Parakou 2e arrondissement
3e arrondissement
Tableau 1 : Communes et nombre de jour de mesures
Les différents arrondissements du Bénin ainsi que le nombre de jour maximal de prévision de collecte
de mesure radio pour l’opérateur CELTIIS sont mentionnés dans le tableau ci-après :
Axes routiers
COTONOU-BOHICON-DASSA-PARAKOU-MALANVILLE
N`DALI-NIKKI-CHIKANDOU-PARAKOU-DJOUGOU
PORGA-NATITINGOU-DJOUGOU-SAVALOU-DASSA
COTONOU-COME-HILLACONDJI
BOHICON-COVE-KPEDEKPO-ADJOHOUN-MISSERETE-IGOLO-PORTO NOVO
PORTO NOVO-SME-KRAKE-COTONOU
SAKETE-POBE-KETOU
Tableau 2 : Axes et nombre de jour de mesures
8
I. LES OBSERVATIONS SUR TERRAIN
La collecte des mesures radio concernant la performance de Voix et SMS des opérateurs s’est
effectuée dans les arrondissements et sur les axes routiers avec un regroupement de certains
arrondissements dans les communes du pays. La présentation du statut sur les mesures Voix et SMS
des arrondissements du Bénin est mentionnée dans le tableau ci-après.
Communes Arrondissements Statuts Log DT statuts du rapport Observation
Abomey-Calavi Done Done OK
Akassato Done Done OK
Godomey Done Done OK
Kpanroun Done Done OK
Abomey-
Togba Done Done OK
Calavi
Ouèdo Done Done OK
Golo-Djigbé Done Done OK
Hévié Done Done OK
Zinvié Done Done OK
1er arrondissement Done Done OK
2e arrondissement Done Done OK
Porto-Novo 3e arrondissement Done Done OK
4e arrondissement Done Done OK
5e arrondissement Done Done OK
1er arrondissement Done Done OK
Parakou 2e arrondissement Done Done OK
3e arrondissement Done Done OK
1er arrondissement Done Done OK
2e arrondissement Done Done OK
3e arrondissement Done Done OK
4e arrondissement Done Done OK
5e arrondissement Done Done OK
6e arrondissement Done Done OK
Cotonou 7e arrondissement Done Done OK
8e arrondissement Done Done OK
9e arrondissement Done Done OK
10e arrondissement
11e arrondissement Done Done OK
12e arrondissement Done Done OK
13e arrondissement Done Done OK
9
II. RESULTATS DE LA MISSION
Les mesures de la VOIX_SMS ont démarré le 17 Août 2023 dans les différentes communes. Pour le
service voix, les mobiles sont en mode dédié (ou dedicated mode) et non bloqués sur une technologie
: ceci permet de tester l’accessibilité au réseau au service, le maintien du service et la qualité vocale
selon l’algorithme POLQA avec l’utilisation vocaux de type Wide-Band (WB) et Narrow Band (NB).
Les indicateurs évalues sont :
✓ Taux de communications réussies : les appels ayant abouti sans les échecs
✓ Taux de blocage des appels : les appels n’ayant pas abouti au bout de 15 secondes
✓ Taux de coupure des appels : les appels qui une fois établis avec un canal de trafic attribué,
sont interrompus prématurément.
✓ Taux de succès d'envoi et de réception des SMS dans un délai < 6sec
✓ Taux de bonne qualité vocale : MOS >=2.8 en utilisant l’algorithme POLQA.
Le tableau suivant présente les indicateurs voix-sms, leurs définitions et les seuils de référence.
Seuil
Technologies Services Critères Indicateur
Zone 1
Accessibilité Taux de communications réussies >=99%
au service Taux de blocage des appels <1%
Service Voix
Continuité du
Dual 2G/3G Taux de coupure des appels <1%
service
Accessibilité et Taux de succès d'envoi et de réception
Service SMS 99%
Intégrité des SMS dans un délai < 6sec
MOS Qualité MOS Note requis >=2.8
Tableau 3: Indicateurs de performances de la voix-Sms
10
Ci-après le tableau conformité récapitulatif du service Voix ONNET :
Conformité Récapitulatif-ONNET
Taux de Taux de
Taux de reussite Note MOS
blocage coupure
Communes Arrondissements Seuil>=99% Seuil >=2,8
Seuil<1% Seuil<1%
CELTIIS CELTIIS CELTIIS CELTIIS
Abomey-Calavi 90,6% 9,4% 0,0% 4,07
Akassato 99,0% 1,0% 1,1% 3,77
Godomey 99,0% 1,0% 1,6% 3,99
Kpanroun 84,0% 16,0% 1,7% 3,58
Abomey-
Togba 99,4% 0,6% 0,0% 3,89
Calavi
Ouèdo 82,5% 17,5% 0,6% 3,19
Golo-Djigbé 97,9% 2,1% 0,0% 3,89
Hévié 76,0% 24,0% 2,7% 3,34
Zinvié 88,9% 11,1% 1,1% 2,95
1er arrondissement 98,5% 1,5% 0,5% 4,23
2e arrondissement 99,5% 0,5% 1,0% 4,10
3e arrondissement 100,0% 0,0% 0,0% 4,18
4e arrondissement 100,0% 0,0% 0,0% 4,26
5e arrondissement 99,5% 0,5% 0,0% 3,82
6e arrondissement 98,5% 1,5% 0,5% 3,93
Cotonou 7e arrondissement 99,5% 0,5% 0,0% 4,15
8e arrondissement 99,0% 1,0% 1,0% 3,90
9e arrondissement 100,0% 0,0% 0,5% 4,24
10e arrondissement - - - -
11e arrondissement 99,5% 0,5% 0,0% 4,09
12e arrondissement 99,5% 0,5% 0,0% 3,86
13e arrondissement 99,5% 0,5% 0,5% 3,97
1er arrondissement 98,5% 1,5% 0,5% 4,23
2e arrondissement 100,0% 0,0% 0,0% 4,20
Porto-Novo 3e arrondissement 100,0% 0,0% 0,5% 4,23
4e arrondissement 98,9% 1,1% 0,0% 4,09
5e arrondissement 100,0% 0,0% 0,0% 4,22
1er arrondissement 100,0% 0,0% 0,0% 4,20
Parakou 2e arrondissement 97,5% 2,5% 0,0% 4,16
3e arrondissement 99,5% 0,5% 0,5% 3,99
Tableau 4: Conformité Récapitulatif de ONNET-CELTIIS
Pour les arrondissements ayant une conformité au Taux de communication réussi pour le Seuil>=99%
ONNET :
11
Pour les arrondissements ayant une conformité au Taux de blocage pour un Seuil<1% ONNET :
Pour les arrondissements ayant une conformité au Taux de coupure pour un Seuil<1% ONNET :
Pour les arrondissements ayant une conformité au Note MOS pour un Seuil >=2,8 ONNET :
Conformité Récapitulatif-OFFNET
12
Conformité Récapitulatif-OFFNET
Pour les arrondissements ayant une conformité au Taux de communication réussi pour le Seuil>=99%
OFFNET :
Pour les arrondissements ayant une conformité au Taux de blocage pour un Seuil<1% OFFNET :
Pour les arrondissements ayant une conformité au Taux de coupure pour un Seuil<1% OFFNET :
Pour les arrondissements ayant une conformité au Note MOS pour un Seuil >=2,8 OFFNET :
13
Ci-après le tableau relatif aux résultats du taux de communication réussies :
14
Ci-après le tableau relatif aux résultats du taux de blocage des appels :
15
Ci-après le tableau relatif aux résultats du taux de coupure des appels :
La continuité du service voix est conforme dans plusieurs arrondissent chez CELTIIS
16
Ci-après le tableau relatif aux résultats du taux de bonne qualité vocale :
• Pour CELTIS Nous observons une conformité des arrondissements Godomey, Golo-
Djigbé de la commune Abomey-Calavi, 1er, 3e, et 4e pour la commune de Porto
Novo,1er et 3e arrondissement de la commune Cotonou. Aucun arrondissement de
la commune de Parakou n’est conforme.
17
Ci-après le tableau relatif aux résultats du taux de bonne qualité vocale >=2.8
• Pour CELTIS : La commune Porto-Novo, Parakou avec les arrondissements d’Abomey Calavi
et Godomey de la commune Abomey-Calavi sont conformes
18
Moyenne de MOS :
19
Ci-après le tableau relatif aux résultats du taux de SMS E2E
20
CONCLUSION
Le service voix-sms consiste à effectuer des appels de 2 minutes. Une mesure consiste à émettre
une communication téléphonique, sur chacun des réseaux des opérateurs testés. Le paramètre
évalue est la capacite de démarrer une communication ct à la maintenir pendant 2 minutes ainsi
que les autres indicateurs. II s'agit d'appels de courtes durées de deux (02) minutes. L'intervalle de
Chaque appel est évalué par l'enquêteur émetteur (mobile) et par l'enquêteur récepteur (fixe ou
mobile). Les proportions des appels en intra-réseau (On-Net) et en inter-réseau (Off-Net) sont
effectuer.
Les mesures réalisées en InCar c’est-à-dire à travers un Véhicule ont permis de déterminer le taux
de Taux de communications réussies, Taux de blocage des appels, Taux de coupure des appels,
Taux de succès d'envoi et de réception des SMS dans un délai < 6sec et qualité MOS. Les méthodes
des mesures ont été ajusté par les proportionnalités définies ci-dessous :
Les résultats après le post traitement montre une Dégradation du réseau pour tous l’opérateur
21
Contact
22