Vous êtes sur la page 1sur 56

Cir 318

AN/180

Critères d’épreuves
linguistiques en vue
d’une harmonisation
à l’échelle mondiale

Approuvé par le Secrétaire général


et publié sous son autorité

Organisation de l’aviation civile internationale


Page blanche
Cir 318
AN/180

Critères d’épreuves
linguistiques en vue
d’une harmonisation
à l’échelle mondiale

Approuvé par le Secrétaire général


et publié sous son autorité

Organisation de l’aviation civile internationale


Publié séparément en français, en anglais, en arabe, en chinois, en espagnol
et en russe par l’ORGANISATION DE L’AVIATION CIVILE INTERNATIONALE
999, rue University, Montréal, Québec H3C 5H7, Canada

Les formalités de commande et la liste complète des distributeurs officiels et


des librairies dépositaires sont affichées sur le site web de l’OACI, à l’adresse
www.icao.int.

Cir 318, Critères d’épreuves linguistiques


en vue d’une harmonisation à l’échelle mondiale

No de commande : CIR318
ISBN 978-92-9231-396-8

© OACI 2009

Tous droits réservés. Il est interdit de reproduire, de stocker dans un système


de recherche de données ou de transmettre sous quelque forme ou par quelque
moyen que ce soit, un passage quelconque de la présente publication, sans
avoir obtenu au préalable l’autorisation écrite de l’Organisation de l’aviation
civile internationale.
AVANT-PROPOS

1. La Résolution A36-11 de l’Assemblée, Connaissance de la langue anglaise utilisée pour les communications
radiotéléphoniques, a chargé le Conseil de soutenir les États contractants dans leur mise en œuvre des spécifications
relatives aux compétences linguistiques en fixant des critères d’épreuves linguistiques harmonisés à l’échelle mondiale.

2. L’organisation d’épreuves linguistiques pour l’aviation est l’une des mesures nécessaires pour mettre en
œuvre de façon efficace les spécifications de l’OACI en matière de compétences linguistiques. L’OACI a déjà publié des
« Lignes directrices sur l’élaboration d’un plan de mise en œuvre des compétences linguistiques », consultables sur la
page http://www.icao.int/fsix/lp.cfm.

3. Bien que le manuel sur la mise en œuvre des spécifications OACI en matière de compétences
linguistiques (Manual on the Implementation of ICAO Language Proficiency Requirements, Doc 9835), publié en
septembre 2004, fournisse quelques indications quant aux épreuves, des utilisateurs de ce manuel — en ce compris
des services de délivrance des licences, des exploitants, des fournisseurs de services de navigation aérienne et des
services de formation linguistique et d’évaluation linguistique — ont signalé avoir besoin d’orientations plus détaillées
sur les épreuves linguistiques pour assurer une mise en œuvre efficace des spécifications relatives aux compétences
linguistiques. La présente circulaire vise à répondre à ce besoin.

_____________________

III
TABLE DES MATIÈRES

Page

Chapitre 1. Introduction ............................................................................................................................... 1

1. Généralités.......................................................................................................................................... 1

2. Contexte.............................................................................................................................................. 2

3. Introduction aux épreuves linguistiques .............................................................................................. 4

4. Aspects des épreuves linguistiques spécifiques à l’aviation................................................................ 9

Chapitre 2. Critères recommandés pour les épreuves linguistiques pour l’aviation ............................. 13

1. Conception et construit des épreuves ................................................................................................. 13

2. Validité et fiabilité des épreuves.......................................................................................................... 19

3. Notation............................................................................................................................................... 20

4. Organisation et sécurité des épreuves ................................................................................................ 22

5. Informations organisationnelles et infrastructures ............................................................................... 29

6. Qualifications de l’équipe faisant passer les épreuves ........................................................................ 30

Chapitre 3. Liste de vérifications pour les épreuves linguistiques pour l’aviation ................................ 35

1. Conception et construit des épreuves ................................................................................................. 35

2. Validité et fiabilité des épreuves.......................................................................................................... 36

3. Notation............................................................................................................................................... 37
4. Organisation et sécurité des épreuves ................................................................................................ 37

5. Informations organisationnelles et infrastructures ............................................................................... 39

6. Qualifications de l’équipe faisant passer les épreuves ........................................................................ 40

Glossaire des termes et acronymes relatifs aux compétences linguistiques et


aux épreuves linguistiques ............................................................................................................................ 40

_____________________

V
Chapitre 1

INTRODUCTION

1. GÉNÉRALITÉS

1.1 Objet

La présente circulaire vise à donner, aux autorités de l’aviation civile et aux fournisseurs de services d’évaluation, des
éléments indicatifs concernant les procédures à suivre pour évaluer les candidats conformément aux spécifications de
l’OACI en matière de compétences linguistiques. Elle expose en particulier les critères recommandés qui doivent guider
l’élaboration ou la sélection des programmes d’épreuves linguistiques pour l’aviation et fournit des éléments indicatifs
complémentaires à cet égard. Les critères recommandés pour les épreuves linguistiques pour l’aviation exposés dans la
présente circulaire ont été tirés des principes de bonnes pratiques publiés en 2005 par le Groupe d’étude sur la
connaissance de l’anglais véhiculaire à exiger (PRICESG). Ils sont destinés à soutenir l’harmonisation à l’échelle
mondiale des épreuves linguistiques pour l’aviation.

1.2 Public cible

1.2.1 La présente publication s’adresse aux autorités de l’aviation civile et aux services de délivrance des
licences qui supervisent les épreuves linguistiques et elle offre aux autorités, compagnies aériennes et fournisseurs de
services de navigation aérienne nationaux un ensemble d’outils concrets. Les autorités de l’aviation civile et les services
de délivrance des licences peuvent utiliser ces critères :

a) comme éléments indicatifs pour l’élaboration d’épreuves s’ils devaient décider de consacrer des
ressources nationales à l’élaboration d’épreuves linguistiques pour l’aviation ;

b) comme liste de vérifications avec laquelle confronter et évaluer les épreuves linguistiques pour
l’aviation conçues par des organismes externes.

1.2.2 Les organismes d’évaluation linguistique peuvent s’inspirer de ces critères pour fournir les informations et
preuves permettant d’attester qu’ils respectent ces critères et pour démontrer l’intégrité de leurs épreuves.

1.3 Applicabilité à toutes les langues

Les spécifications de l’OACI relatives aux compétences linguistiques, qui s’appliquent à toutes les langues utilisées
dans les communications radiotéléphoniques internationales, créent un important besoin d’épreuves linguistiques. C’est
particulièrement vrai dans le cas de l’anglais, la langue pour laquelle il faut élaborer le plus de programmes de formation
et d’évaluation. Bien que la présente circulaire se concentre sur les critères devant présider à l’élaboration ou à la
sélection d’épreuves linguistiques en anglais, ces principes s’appliquent tout autant aux épreuves élaborées pour toute
langue utilisée aux fins de communications radiotéléphoniques internationales.

1
2 Circulaire OACI 318-AN/180

1.4 Contexte

Les critères recommandés dans ces éléments indicatifs sont considérés comme appropriés pour les divers contextes
dans lesquels se déroulent les épreuves linguistiques pour l’aviation. Les principes sous-tendant ces critères sont
adaptés à différents besoins opérationnels et réglementaires en divers points d’application au sein de chaque adminis-
tration spécifique.

1.5 Structure

Chapitre 1 — Introduction. Présente l’historique et le contexte, avec des références à d’autres publications et éléments
indicatifs pertinents de l’OACI.

Chapitre 2 — Critères recommandés pour les épreuves linguistiques pour l’aviation. Présente ces critères. Il explicite le
sens de chaque critère ainsi que les raisons de son importance et donne, si nécessaire, des informations
complémentaires.

Chapitre 3 — Liste de vérifications pour les épreuves linguistiques pour l’aviation. Présente les critères recommandés
sous forme de liste de vérifications.

Glossaire des termes et acronymes relatifs aux compétences linguistiques et aux épreuves linguistiques.

2. CONTEXTE

2.1 Spécifications de l’OACI relatives aux compétences linguistiques

2.1.1 La décision de s’occuper des compétences linguistiques des pilotes et des contrôleurs de la circulation
aérienne a été prise par l’Assemblée au cours de sa 32e session, en septembre 1998, en réaction directe à plusieurs
accidents mortels, dont l’un avait coûté la vie à 349 personnes, ainsi qu’à des accidents mortels précédents dans
lesquels une maîtrise insuffisante de la langue anglaise avait été identifiée comme un facteur contributif.

2.1.2 Par la suite, la Commission de navigation aérienne a entrepris d’élaborer des dispositions linguistiques
destinées à figurer dans les Annexes à la Convention relative à l’aviation civile internationale et les Procédures pour les
services de navigation aérienne (PANS) suivantes :

a) Annexe 1 — Licences du personnel ;

b) Annexe 6 — Exploitation technique des aéronefs ;

c) Annexe 10 — Télécommunications aéronautiques, Volume II — Procédures de télécommunication, y


compris celles qui ont le caractère des procédures pour les services de navigation aérienne ;

d) Annexe 11 — Services de la circulation aérienne ;

e) PANS-ATM — Gestion du trafic aérien.

2.1.3 En mars 2003, le Conseil de l’OACI a adopté un ensemble complet de normes et pratiques
recommandées (SARP) qui a renforcé les spécifications relatives aux compétences linguistiques des pilotes et des
contrôleurs de la circulation aérienne participant à des vols internationaux. Ces spécifications relatives aux compétences
linguistiques stipulent que la phraséologie normalisée de l’OACI doit être utilisée chaque fois que c’est possible et
nécessaire et que, dans les cas où elle est inapplicable, les pilotes et les contrôleurs de la circulation aérienne doivent
faire preuve d’un niveau minimum de compétence en langage clair. L’utilisation efficace du langage clair est vitale dans
Circulaire OACI 318-AN/180 3

des situations opérationnelles de routine pour lesquelles les expressions conventionnelles n’offrent pas de formules de
communication « prêtes à l’emploi » et est particulièrement cruciale dans des situations inhabituelles ou en cas d’urgence.
Les exigences de niveau minimum de compétence sont fixées dans une échelle d’évaluation des compétences
linguistiques, élaborée par l’OACI, et dans les descripteurs holistiques figurant dans le Supplément A et l’Appendice 1 de
l’Annexe 1, respectivement.

2.1.4 À partir du 5 mars 2008, l’aptitude à parler et à comprendre la langue utilisée dans les communications
radiotéléphoniques, aptitude actuellement exigée dans le cas des pilotes, des contrôleurs de la circulation aérienne et
des opérateurs de station aéronautique, devra être prouvée au moins au niveau 4 par rapport aux descripteurs
holistiques et à l’échelle d’évaluation des compétences linguistiques. Le niveau 4 est considéré comme le niveau
minimum de compétence pour garantir un niveau acceptable de sécurité. De plus, depuis novembre 2003, l’Annexe 10,
Volume II, exige la disponibilité de l’anglais à toutes les stations sol qui desservent des aéroports et des routes désignés,
utilisés par des services aériens internationaux.

2.2 Aide et recommandations de l’OACI

L’OACI a aidé les États contractants à mettre en œuvre ces dispositions, surtout par le biais de symposiums, de
séminaires régionaux et d’ateliers, ainsi que par la publication d’éléments indicatifs :

a) Premier Symposium de l’OACI sur le langage aéronautique — Septembre 2004, Montréal ;

b) Le manuel sur la mise en œuvre des spécifications de l’OACI en matière de compétences


linguistiques (Doc 9835), publié en septembre 2004 ;

c) Séminaires régionaux — Japon (2004) ; Argentine, Azerbaïdjan, Belgique, Ukraine (2005) ; Chine
(Hong-Kong), France, Mexique, Sénégal (2006) ; Allemagne, Égypte, France (2007) ;

d) CD Échantillons de parole notés — Un ensemble d’échantillons de parole notés, élaboré et publié par
l’OACI en 2006. Il contient des échantillons de parole de niveau 3 (préfonctionnel), 4 (fonctionnel) et 5
(avancé) de l’échelle d’évaluation de l’OACI, ainsi que des explications et justifications complètes des
notes attribuées. Ce CD peut être acheté auprès de l’OACI (contact : sales@icao.int) ;

e) Deuxième Symposium de l’OACI sur le langage aéronautique — Mai 2007, Montréal ;

f) Ateliers régionaux sur l’élaboration par les États de plans de mise en œuvre des spécifications
relatives aux compétences linguistiques — Bélarus, Pérou (2007) ; El Salvador, Émirats arabes unis,
Mexique, Ouganda, Sénégal, Thaïlande (2008) ;

g) Site internet sur la mise en œuvre des spécifications relatives aux compétences linguistiques
(http://www.icao.int/fsix/lp.cfm) — À la suite de l’adoption de la Résolution A36-11 de l’Assemblée, les
États peuvent trouver sur ce site internet des informations concernant le degré de conformité des
États aux spécifications en matière de compétences linguistiques et concernant leurs plans de mise
en œuvre ainsi que d’autres éléments indicatifs relatifs à la mise en œuvre ;

h) Site internet de l’OACI sur les questions fréquemment posées (FAQs) (http://www.icao.int/icao/fr/
trivia/peltrgFAQ_f.htm) — mis à jour avec des renseignements sur les spécifications de l’OACI en
matière de compétences linguistiques.

2.3 Résolution A36-11 de l’Assemblée de l’OACI

La Résolution A36-11 de l’Assemblée, Connaissance de la langue anglaise utilisée pour les communications
radiotéléphoniques, a chargé le Conseil de soutenir les États contractants dans leur mise en œuvre des spécifications
4 Circulaire OACI 318-AN/180

en matière de compétences linguistiques en fixant des critères d’épreuves linguistiques harmonisés à l’échelle mondiale.
La présente circulaire découle directement de la Résolution A36-11.

2.4 Cadre de référence

2.4.1 Bien que quelques programmes régionaux et nationaux de certification des compétences linguistiques
existent et que certains programmes d’évaluation soient auto-régulés, à ce jour, aucun système universel de certification
des compétences linguistiques pour l’aviation n’a été élaboré.

2.4.2 Les critères recommandés pour les épreuves linguistiques, contenus dans le présent document, sont alignés
sur d’autres éléments indicatifs publiés par l’OACI. La présente circulaire est à considérer comme venant compléter et non
remplacer d’autres publications de l’OACI. Les utilisateurs devraient bien connaître les documents suivants :

a) le manuel sur la mise en œuvre des spécifications de l’OACI en matière de compétences linguistiques
(Doc 9835) ;

b) échantillons de parole notés selon les spécifications de l’OACI en matière de compétences linguistiques ;

c) sur le site http://www.icao.int/icao/fr/trivia/peltrgFAQ_f.htm, la page consacrée aux questions


fréquemment posées.

2.5 Portée

2.5.1 Les critères recommandés et le texte d’introduction de ce chapitre sont fournis à titre d’indication
uniquement. La portée de la présente circulaire ne permet pas un traitement exhaustif des épreuves linguistiques. Ni la
présente circulaire ni le Doc 9835 n’entendent remplacer les normes, orientations et principes d’éthique et de bonnes
pratiques plus généraux en matière d’épreuves linguistiques que l’on peut trouver dans la littérature sur les évaluations
linguistiques.

2.5.2 L’évaluation linguistique est une discipline spécialisée. Le recours à des experts est recommandé à tous
les niveaux de la mise en œuvre et de la sélection des épreuves linguistiques pour l’aviation mais est vital pour
l’élaboration des épreuves.

3. INTRODUCTION AUX ÉPREUVES LINGUISTIQUES

3.1 Normes d’évaluation linguistique

3.1.1 Des renseignements sur les normes génériques internationales pour l’évaluation linguistique sont
disponibles sur les sites internet de plusieurs associations d’évaluation, notamment :

a) Association of Language Testers in Europe (ALTE) — http://www.alte.org ;

b) International Language Testing Association (ILTA) — http://www.iltaonline.com.

3.1.2 Toutefois, il convient de reconnaître que les épreuves linguistiques générales ou universitaires existantes
ne sont pas adaptées au domaine spécialisé des épreuves linguistiques pour l’aviation. Les nécessités spécifiques des
épreuves linguistiques pour l’aviation sont décrites ci-dessous.
Circulaire OACI 318-AN/180 5

3.2 Enjeux considérables

3.2.1 Plusieurs facteurs contribuent à conférer une importance tout à fait capitale aux épreuves linguistiques
destinées à vérifier le respect des exigences d’octroi de licences énoncées dans l’Annexe 1. Une épreuve linguistique
inappropriée pour l’aviation pourrait engendrer de graves lacunes de sécurité ou des conséquences sociales et
économiques très négatives.

3.2.2 Les résultats des épreuves linguistiques ont une incidence majeure tant sur les individus que sur les
organisations. Un pilote ou un contrôleur affecté à des vols internationaux qui s’avère ne pas satisfaire aux
spécifications de l’OACI en matière de compétences linguistiques peut se voir refuser sa licence pour les vols
internationaux, ce qui peut être lourd de conséquences pour sa carrière, ainsi que pour les besoins en effectifs de la
compagnie aérienne ou du fournisseur de services de la circulation aérienne pour lequel il travaille.

3.2.3 De plus, la sécurité des passagers d’une compagnie aérienne dépend, entre autres, de l’efficacité des
communications entre pilotes et contrôleurs de la circulation aérienne. Une transmission efficace d’informations
opérationnelles est vitale. Lorsque la langue utilisée pour les communications radiotéléphoniques est l’anglais, il faut des
systèmes d’évaluation valables, efficaces et fiables pour garantir que les pilotes et les contrôleurs ont des niveaux
adéquats de maîtrise de la langue anglaise.

3.2.4 Enfin, il faut tenir compte de facteurs économiques. Les autorités nationales, les compagnies aériennes et les
fournisseurs de services n’ont pas d’argent à gaspiller dans des épreuves inadéquates ou n’ayant pas encore fait leurs
preuves ; ils ne peuvent pas davantage se permettre de perdre du personnel par ailleurs compétent en raison des résultats
d’une évaluation inadéquate. Enfin, ils ne peuvent se permettre des accidents attribuables à une communication inefficace
entre pilote/contrôleur.

3.2.5 C’est pour toutes ces raisons qu’il est vital que les épreuves linguistiques organisées aux fins de l’octroi de
licences respectent les bonnes pratiques et répondent aux exigences spécifiques des opérations aériennes.

3.3 Principes fondamentaux de l’évaluation linguistique

3.3.1 Il existe toutefois des principes et pratiques bien établis, sur lesquels la plupart des professionnels sont
d’accord. Ces principes et pratiques, qui ont été incorporés dans la présente circulaire, constituent le cadre recommandé
pour l’élaboration et l’organisation d’épreuves linguistiques pour l’aviation.

3.3.2 La préoccupation principale des personnes qui élaborent des épreuves aux enjeux considérables devrait
être l’équité qui, dans le domaine de l’évaluation linguistique, est interprétée en termes de validité et de fiabilité. La
faisabilité est aussi une considération fondamentale pour de telles épreuves. Toutes les épreuves devraient être
évaluées en termes de validité, de fiabilité et de faisabilité, sur la base de preuves documentées.

• Validité. La validité indique la mesure dans laquelle une épreuve évalue ce qu’elle est censée évaluer. À
cette fin, les évaluateurs devraient rassembler et fournir des preuves à l’appui des conclusions tirées quant
aux compétences d’une personne en langue anglaise sur la base des résultats de l’épreuve.

• Fiabilité. La fiabilité désigne la stabilité d’une épreuve. Il faudrait fournir des preuves que l’on peut
s’attendre à ce que cette épreuve génère des résultats cohérents. La fiabilité est souvent représentée sous
la forme d’un coefficient qui se situe entre 0,0 et 1,0. Bien qu’aucune épreuve ne puisse atteindre une
fiabilité parfaite (1,0), des épreuves assorties de coefficients de fiabilité le plus proches possible de 1,0
seraient les plus avantageuses.

Il existe plusieurs techniques standard utilisées dans l’élaboration d’épreuves linguistiques pour évaluer la
fiabilité d’une épreuve. Une de ces méthodes consiste à comparer deux versions d’une même épreuve : la
version utilisée par un candidat et celle utilisée par un autre candidat. Si l’épreuve est fiable, les deux
6 Circulaire OACI 318-AN/180

ensembles de questions devraient être de difficulté et de complexité égales. Une autre méthode pour
évaluer la fiabilité consiste à comparer les résultats d’un groupe de candidats à une épreuve avec les
résultats du même groupe de candidats à une autre épreuve classique.

Pour plus d’informations sur l’évaluation de la validité et de la fiabilité, veuillez lire le document Principles
of Good Practice for ALTE Examinations, consultable à l’adresse suivante : http://www.alte.org/
quality_assurance/code/good_practice.pdf.

• Faisabilité. La faisabilité désigne l’équilibre entre les ressources requises pour élaborer et soutenir une
épreuve (y compris les fonds et les savoir-faire) et les ressources disponibles pour concrétiser le projet.

3.4 Rétroaction des épreuves

3.4.1 Un autre aspect important lié à la conception des épreuves est la rétroaction négative ou positive sur la
formation. L’effet de rétroaction des épreuves peut être décrit comme l’influence des épreuves sur l’enseignement et
l’apprentissage. Il se reflète dans la façon dont les formateurs tendent à modeler leur cours autour des sujets majeurs,
de la forme et du contenu d’un examen ou d’une épreuve ou dans la façon dont des apprenants modifient leurs
stratégies d’apprentissage en vue de réussir une forme particulière d’épreuve plutôt que de se concentrer sur la maîtrise
du contenu et des compétences abordés dans cette épreuve.

3.4.2 Une épreuve valable destinée à faire correspondre le construit et le contenu enseigné (c.-à-d. les
compétences linguistiques de communication telles que définies dans l’échelle d’évaluation) favorisera un effet de
rétroaction positif.

3.4.3 Par contre, les anciennes versions du Test of English as a Foreign Language (TOEFL) pourraient fournir
un exemple de rétroaction négative. Ce TOEFL comprend un grand nombre de questions isolées sur des points de
grammaire (choix multiple ou reconnaissance d’erreurs). En conséquence, les étudiants négligent souvent d’étudier la
gamme complète des compétences de communication contenues dans le programme de cours et préfèrent passer du
temps à s’entraîner sur des tests TOEFL, pensant pouvoir ainsi obtenir plus facilement un bon résultat. Or, les
recherches montrent qu’en moyenne, ces activités n’améliorent pas les niveaux de compétence.

3.4.4 Il est du devoir spécifique des concepteurs de tests de favoriser une rétroaction positive car le processus
d’évaluation peut avoir une incidence considérable sur :

a) la validité de l’épreuve elle-même (les résultats obtenus à l’épreuve dérivent-ils uniquement d’un
entraînement en vue de cette épreuve ou reflètent-ils réellement une capacité à utiliser la langue ?) ;

b) la façon dont la formation est donnée pour le niveau et l’étendue des compétences requises en vue de
satisfaire aux normes définies par l’OACI dans l’échelle d’évaluation.

3.4.5 En résumé, des épreuves linguistiques bien conçues pour l’aviation encourageront les apprenants à se
concentrer sur des activités d’apprentissage linguistique qui développent la maîtrise de la langue.

3.5 Objectif de l’épreuve et types d’épreuves

3.5.1 Les épreuves peuvent servir différents objectifs, qui sont susceptibles d’influencer le processus
d’élaboration des épreuves. Voici quelques types d’épreuves linguistiques courantes et leurs objectifs :

a) Évaluation diagnostique. Identifier les points forts et les points faibles et évaluer les lacunes.

b) Test de niveau. Placer les étudiants dans le niveau approprié d’un programme de formation.
Circulaire OACI 318-AN/180 7

c) Évaluation formative. Évaluer les progrès réalisés dans l’apprentissage.

d) Évaluation sommative. Mesurer ce que l’étudiant a appris.

e) Évaluation pronostique. Évaluer la capacité d’un individu à acquérir des connaissances ou de


nouvelles compétences.

f) Test de compétence. Évaluer la capacité générale par rapport à un ensemble de critères.

3.5.2 Le besoin d’épreuves linguistiques peut se faire sentir à différents moments de la carrière d’un pilote ou
d’un contrôleur de la circulation aérienne :

a) comme évaluation en vue d’une sélection préalable à une formation ;

b) comme outil de diagnostic dans le cadre d’un programme de formation ;

c) pour évaluer les progrès réalisés pendant une formation ;

d) dans le cadre des critères de délivrance de licences, en application des dispositions de l’Annexe 1 ;

e) à titre de réévaluation périodique du degré de compétence.

3.5.3 Les normes et pratiques recommandées (SARP) de l’OACI en matière de compétences linguistiques
exposées dans l’Annexe 1 exigent une évaluation du degré de compétence pour satisfaire aux critères de délivrance
d’une licence.

3.5.4 Les tests de compétence diffèrent des évaluations formatives ou sommatives en ce qu’ils ne
correspondent pas directement à un syllabus de formation, autrement dit, il ne devrait pas être possible pour les
candidats de se préparer directement à un test de compétence ou d’étudier directement en vue d’un tel test (en
mémorisant des informations, par exemple). Les tests de compétence exigent des candidats qu’ils prouvent leur
capacité à faire quelque chose qui soit représentatif du spectre complet des connaissances et compétences requises
plutôt que de simplement montrer qu’ils ont atteint un nombre quantifiable d’objectifs d’apprentissage d’un programme
de cours. Dans un contexte aéronautique, les tests de compétence devraient déterminer la capacité des candidats à
utiliser efficacement le langage approprié dans des conditions opérationnelles.

3.5.5 Les tests de compétence sont les seules épreuves adaptées à des objectifs de délivrance de licences
dans la communauté aéronautique. Comme la délivrance de licences joue un rôle crucial dans la sécurité des
opérations aériennes, la présente circulaire se concentre sur les tests de compétence.

3.6 Méthode d’évaluation

3.6.1 Les tests de compétence en expression orale et compréhension à l’audition peuvent être évalués de façon
directe ou semi-directe. La principale différence entre ces deux techniques d’évaluation réside dans la façon dont les
échantillons de parole sont sollicités, c’est-à-dire dans la façon dont les « énoncés-guides » sont donnés au candidat.
Les évaluations directes de l’expression orale reposent sur des interactions en face à face ou téléphoniques entre le
candidat et l’interlocuteur, qui peut aussi servir d’évaluateur. Dans une épreuve semi-directe, les questions et énoncés-
guides sont préenregistrés et les réponses des candidats sont enregistrées en vue d’une évaluation qui aura lieu à un
autre moment et, dans certains cas, dans un autre lieu.

3.6.2 Malgré leurs caractéristiques différentes, ces deux procédures d’évaluation partagent un objectif commun :
évaluer les capacités d’expression orale et de compréhension à l’audition d’un individu.
8 Circulaire OACI 318-AN/180

Évaluation directe

3.6.3 Dans les procédures d’évaluation directe, le candidat interagit en face à face avec un interlocuteur, qui
peut aussi être un évaluateur. Cette interaction en face à face dans le cadre d’une évaluation directe peut être observée
et évaluée immédiatement, en temps réel, par un évaluateur ou peut être enregistrée pour notation ultérieure. Il est
demandé aux candidats d’effectuer des tâches langagières basées sur un ensemble d’énoncés-guides. Un énoncé-
guide peut être une question posée par un interlocuteur ou un sujet donné par ce dernier. Le candidat peut, par exemple,
être invité à entamer avec l’interlocuteur une interview sur le mode d’une conversation ou à interagir dans le cadre d’un
jeu de rôles.

3.6.4 L’évaluation directe permet de rendre les tâches de l’évaluation plus naturelles ou plus communicatives, vu
que les candidats interagissent avec un interlocuteur. Un autre avantage réside dans l’ensemble infini d’énoncés-guides
disponibles vu que chaque évaluation consiste en une interaction unique en son genre entre l’interlocuteur et le candidat.
Ainsi, si un candidat mentionne pendant une épreuve que son père a été contrôleur de la circulation aérienne,
l’interlocuteur pourrait lui poser des questions liées à cette information, questions qu’il ne posera peut-être à aucun autre
candidat. Dans une évaluation directe, il est aussi moins probable que le candidat recoure à des échantillons de parole
qu’il a étudiés pour convaincre l’examinateur d’un niveau de compétence supérieur à celui effectivement atteint.

3.6.5 Les évaluations directes exigent d’accorder une grande attention à la normalisation des procédures de
conception et d’organisation des épreuves, notamment eu égard à la gestion du temps, à la nature et au contenu des
intrants langagiers et au comportement général de l’interlocuteur, ce afin d’éviter toute distorsion involontaire susceptible
de découler de l’élément humain de l’interaction de l’épreuve. Par exemple, un interlocuteur peut, sans s’en rendre
compte, poser des questions plus difficiles à un candidat qu’à un autre ou peut s’exprimer plus distinctement ou adopter
un débit plus lent qu’un autre interlocuteur.

3.6.6 Étant donné que l’évaluation directe exige des interactions en face à face, l’organisation ou la passation de
l’épreuve tend à exiger plus de temps et de ressources humaines qu’une évaluation semi-directe.

Évaluation semi-directe

3.6.7 Dans une évaluation semi-directe, les échantillons de parole sont sollicités par des énoncés-guides
préenregistrés et donc normalisés. Ce système présente un important avantage : tous les candidats reçoivent des
énoncés-guides identiques ou similaires, ce qui facilite l’équité. De plus, ce genre d’évaluation peut être organisé dans
un laboratoire audio ou informatisé, de sorte qu’un grand nombre de candidats peuvent passer l’épreuve en même
temps.

3.6.8 Toutefois, le manque de souplesse découlant de l’utilisation d’énoncés-guides préenregistrés et


normalisés peut limiter la portée des évaluations semi-directes. Cette limitation peut avoir une incidence importante sur
la capacité du test à évaluer toute la gamme des aptitudes couvertes par les descripteurs d’« interactions » de l’échelle
d’évaluation de l’OACI. Les jeux de rôles et simulations dans le cadre d’évaluations semi-directes peuvent être courts,
artificiels et restreints aux aspects les plus routiniers de l’utilisation de la langue.

Commentaire général

3.6.9 Que l’on opte pour une évaluation directe ou semi-directe, il est important, pour obtenir des preuves du
niveau de compétence, d’évaluer les candidats sur la base de leur utilisation de la langue dans des situations de routine
ainsi que dans des contextes inattendus ou compliqués. Si elles sont bien conçues, tant les évaluations directes que les
semi-directes peuvent susciter des échantillons de parole qui permettent d’évaluer le niveau de compétence en
expression orale et en compréhension à l’audition. Chaque méthode d’évaluation présente des avantages et des
inconvénients.
Circulaire OACI 318-AN/180 9

4. ASPECTS DES ÉPREUVES LINGUISTIQUES SPÉCIFIQUES À L’AVIATION

4.1 Au-delà des bonnes pratiques des épreuves linguistiques générales, les spécifications de l’OACI en matière
d’évaluation des compétences linguistiques imposent des contraintes fondamentales. Celles-ci concernent les points
suivants :

a) l’objet de l’épreuve ;

b) le contenu de l’épreuve, surtout concernant le rôle de la phraséologie normalisée dans les épreuves
linguistiques pour l’aviation ;

c) les tâches de l’épreuve ;

d) l’évaluation au niveau de compétence expert (niveau 6).

Objet de l’épreuve

4.2 Les spécifications de l’OACI en matière de compétences linguistiques accordent la priorité à l’expression
orale et à la compréhension à l’audition. Dès lors, toute épreuve destinée à vérifier le respect des dispositions de
l’Annexe 1 relatives à la délivrance des licences devrait être axée sur la maîtrise de l’expression orale et de la
compréhension à l’audition.

Contenu de l’épreuve

4.3 Un test de compétence linguistique sert à juger comment les candidats manient la langue au cours d’une
prestation dans une situation artificielle, afin d’en tirer des généralisations sur leur capacité à utiliser la langue dans des
situations réelles futures. Vu les énormes enjeux, pilotes et contrôleurs de la circulation aérienne doivent être évalués
dans un contexte similaire à celui dans lequel ils travaillent. Le contenu de l’épreuve devrait donc correspondre à leurs
rôles professionnels.

4.4 La communication radiotéléphonique requiert non seulement l’utilisation de la phraséologie normalisée de


l’OACI mais aussi l’utilisation de langage « clair ». La phraséologie est le code conventionnel constitué de termes
spécifiques qui, dans le contexte des opérations aériennes, ont une importance opérationnelle précise et univoque. Le
langage clair est défini dans les documents de l’OACI comme « l’utilisation spontanée, créative et non codée d’une
langue naturelle donnée ». Pour simplifier, on peut dire que le langage clair peut être considéré comme le langage non
conventionnel utilisé dans les communications radiotéléphoniques lorsque la phraséologie normalisée ne convient pas.

4.5 Les spécifications de l’OACI en matière de compétences linguistiques qui abordent directement le contenu
des épreuves sont :

a) l’Appendice 1 à l’Annexe 1, dans lequel les descripteurs holistiques font état de « sujets
professionnels », d’un « contexte professionnel » et d’une « situation de travail ordinaire » ;

b) le Supplément A à l’Annexe 1, qui parle de « sujets professionnels » sous les titres Vocabulaire et
Compréhension.

4.6 L’utilisation de la phraséologie normalisée de l’OACI est une aptitude opérationnelle enseignée par des
spécialistes de l’exploitation aérienne qualifiés et qui s’acquiert au niveau requis de maîtrise par les élèves-pilotes et
élèves-contrôleurs pendant leur entraînement opérationnel. L’enseignement et l’évaluation de la phraséologie
normalisée constituent un aspect opérationnel et non une question de compétence linguistique. Dès lors, une épreuve
conçue pour évaluer la connaissance ou l’utilisation de la phraséologie normalisée ne peut être utilisée pour évaluer les
compétences en langage clair.
10 Circulaire OACI 318-AN/180

4.7 Avant l’adoption des dispositions linguistiques de l’OACI en 2003, les évaluations de la phraséologie
normalisée reposaient sur la précision technique et la pertinence dans le contexte opérationnel et, pour ce qui concerne
le mode d’organisation des épreuves, uniquement sur des « bonnes pratiques » générales. Depuis l’adoption des
dispositions linguistiques en 2003 et la publication de l’échelle d’évaluation des compétences linguistiques, il est
recommandé que les évaluations de la phraséologie normalisée de l’OACI tiennent compte non seulement des éléments
indicatifs mentionnés dans les PANS-ATM mais aussi des descripteurs de prononciation et d’aisance du niveau
fonctionnel (niveau 4).

4.8 Il est acceptable qu’une évaluation du langage clair dans un contexte professionnel contienne une tâche
scénarisée ou un énoncé-guide comportant des expressions conventionnelles. Cette tâche d’épreuve peut être utilisée
comme échauffement ou comme moyen de créer un contexte radiotéléphonique dans lequel susciter des réponses en
langage clair de la part du candidat.

4.9 Si des expressions conventionnelles sont incluses dans un énoncé-guide de l’épreuve, il faut veiller à ce
qu’elles soient utilisées à bon escient et dans le respect de la phraséologie normalisée de l’OACI.

Tâches de l’épreuve

4.10 De nombreux types de tâches ou d’énoncés d’épreuves peuvent être utilisés pour susciter des échantillons
de parole. En général, les tâches ressemblant à des activités de la vie réelle sont les plus appropriées.

4.11 Il est important de garder à l’esprit que l’idée d’un « contexte professionnel » permet différentes
interprétations. Une interprétation « étroite » viserait à reproduire au plus près les communications radiotéléphoniques, y
compris l’étendue de langage clair nécessaire dans des situations inhabituelles, inattendues ou d’urgence. Une
interprétation « large » des descripteurs holistiques et de l’échelle d’évaluation viserait à susciter du langage clair sur
divers sujets liés aux communications radiotéléphoniques ou aux opérations aériennes, sans reproduire spécifiquement
des communications radiotéléphoniques. Elle pourrait, par exemple, inclure des routines de questions et réponses, des
échanges en vue de résoudre des problèmes, des briefings, des simulations et des jeux de rôles. Ces deux
interprétations sont valables.

Évaluation au niveau de compétence expert (niveau 6)

4.12 Les descripteurs de niveau 6 de l’échelle d’évaluation de l’OACI font allusion à des éléments de l’utilisation
de la langue qui dépassent le contexte professionnel indiqué dans les descripteurs des niveaux inférieurs. Une
évaluation formelle de niveau 6 utilisant un test de langue spécialisé suivrait une procédure complète associant des
tâches et des contextes dépassant le sujet des communications radiotéléphoniques. De plus, comme les compétences
linguistiques au niveau le plus bas et au niveau le plus élevé d’une échelle d’évaluation sont relativement faciles à
évaluer, il n’est pas difficile de reconnaître des compétences d’« expert » (y compris la maîtrise d’un locuteur « natif » ou
« quasi-natif »). Dès lors, l’évaluation de niveau 6 devrait être réalisée par un évaluateur formé et qualifié, mais pas
nécessairement par un spécialiste des épreuves linguistiques, ou requérir l’utilisation d’un test de langue spécialisé,
digne de ce nom.

4.13 Des locuteurs natifs monolingues de la langue devraient être considérés comme des « locuteurs experts
probables ». Toutefois, la catégorie des « locuteurs experts probables » peut aussi comprendre des locuteurs
plurilingues pour qui la langue en question est une des langues maternelles et des locuteurs de langue étrangère qui ont
acquis un niveau élevé de maîtrise. Un candidat provisoirement considéré comme étant un locuteur de niveau 6 de la
langue peut être évalué par le biais d’épreuves informelles (telles que des entretiens ou des interactions orales avec le
service de délivrance des licences, des responsables du recrutement ou des examinateurs en vol), sur la base de
Circulaire OACI 318-AN/180 11

preuves documentaires sur le passé linguistique de cet individu. Ce passé, à déterminer par les autorités nationales,
pourrait inclure :

a) le lieu de naissance et le lieu de résidence durant ses premières années ;

b) la ou les langues utilisées pendant son enfance dans la famille, la communauté ou à l’école ;

c) de longs séjours (avec preuve de participation) dans des communautés où la langue est utilisée dans
le contexte social, professionnel ou dans l’enseignement ;

d) de longues périodes d’étude de la langue ou des diplômes de l’enseignement supérieur ;

e) des résultats très élevés aux tests de langue généraux.

4.14 Sur la base d’une telle évaluation des preuves documentaires, des procédures devraient être documentées
et mises en œuvre pour la validation formelle de la compétence de niveau 6. Ces procédures devraient être appliquées et
spécifiées comme « événements » d’évaluation plutôt que comme épreuves. Un évaluateur formé et qualifié ou une équipe
d’évaluation devrait y participer et ces procédures devraient inclure une évaluation de la langue utilisée dans un contexte
professionnel selon l’échelle d’évaluation de l’OACI. L’évaluateur peut être un examinateur en vol opérationnel ou un
examinateur ATC, et la procédure peut être appliquée par le biais d’évaluations opérationnelles incluant une composante
de compétences linguistiques.

4.15 Bien que la relative facilité de l’évaluation du niveau « expert » de compétence linguistique permette une
certaine souplesse dans le mode d’organisation de cette évaluation, pouvoir prouver des compétences linguistiques
reste un élément important du processus formel menant à la délivrance d’une licence de pilote ou de contrôleur de la
circulation aérienne. Il est dès lors essentiel que chaque État fixe des procédures appropriées afin de garantir que les
résultats de cette évaluation soient documentés de façon adéquate. En raison de son incidence potentielle sur la
sécurité et vu que la personne reçue à une évaluation de niveau 6 ne devra plus faire la preuve de ses compétences
linguistiques durant tout le reste de sa carrière, la validation informelle de compétences de niveau 6 sans preuves
documentaires n’est pas recommandée.

4.16 Dans des cas où une telle procédure invalide un niveau 6 présumé, le candidat peut être invité à suivre une
formation de remédiation avant de repasser la même procédure d’évaluation et/ou à se soumettre à une procédure
d’évaluation linguistique spécialisée formelle telle que décrite au Chapitre 2. Cette procédure pourrait être appropriée, par
exemple, pour des locuteurs natifs dont l’accent ou le dialecte n’est pas intelligible pour la communauté aéronautique.

_____________________
Chapitre 2

CRITÈRES RECOMMANDÉS POUR


LES ÉPREUVES LINGUISTIQUES POUR L’AVIATION

Les critères ci-dessous sont formulés comme des affirmations absolues. Toutefois, certains ne seront peut-être pas
explicites pour le personnel qui ne connaît pas bien les concepts des évaluations linguistiques. Plusieurs de ces critères
exigent l’apport de preuves documentaires attestant que lesdits critères sont respectés. Pour faciliter l’application de ces
critères, des informations supplémentaires ont été fournies comme suit :

— Signification : Pour certains de ces critères, les organismes d’évaluation doivent apporter des preuves
documentaires attestant qu’un critère est respecté. Ce paragraphe décrit le type d’information requis
pour mener à bien une évaluation en connaissance de cause.

— Importance : Si, pour des experts en épreuves linguistiques, l’importance de la formulation absolue du
critère peut être évidente, elle peut ne pas l’être pour du personnel qui ne connaît pas bien cette
discipline. Ce paragraphe explique pourquoi un critère particulier est un élément essentiel des bonnes
pratiques d’évaluation.

— Informations complémentaires : Les lecteurs pourraient avoir besoin d’informations supplémentaires


sur plusieurs critères. Ce paragraphe fournit des compléments d’information ou des liens vers des
références qui pourraient s’avérer utiles.

Les critères ci-dessous portent les mêmes numéros que les entrées du Chapitre 3.

1. CONCEPTION ET CONSTRUIT DES ÉPREUVES

1.1 L’épreuve devrait être conçue pour évaluer les compétences en expression orale et compréhension à
l’audition conformément à chacune des composantes de l’échelle d’évaluation des compétences linguistiques établie
par l’OACI et aux descripteurs holistiques figurant dans l’Annexe 1.

— Signification : Les épreuves linguistiques pour les équipages de conduite et les contrôleurs de la
circulation aérienne devraient viser spécifiquement les compétences linguistiques de l’échelle
d’évaluation de l’OACI ainsi que les descripteurs holistiques spécifiés dans l’Annexe 1. Les
fournisseurs de services d’évaluation devraient être capables d’expliquer et de justifier leurs méthodes
d’évaluation et leurs approches de l’évaluation en apportant la preuve que toutes les composantes de
l’échelle d’évaluation de l’OACI ont été abordées.

— Importance : Les spécifications en matière de compétences linguistiques de l’Annexe 1 précisent que


l’expression orale et la compréhension à l’audition devraient être évaluées dans le contexte des
communications aéronautiques. Les descripteurs holistiques et l’échelle d’évaluation ont été élaborés
pour aborder les exigences spécifiques des communications radiotéléphoniques, et toutes les
composantes de l’échelle d’évaluation revêtent une importance égale. Il se peut que des épreuves
conçues à d’autres fins ne répondent pas aux exigences spécifiques et uniques en leur genre des
épreuves linguistiques pour l’aviation.

13
14 Circulaire OACI 318-AN/180

— Informations complémentaires : Les SARP de l’Annexe 1, § 1.2.9, exigent l’évaluation de la capacité


des pilotes et contrôleurs de la circulation aérienne à parler et comprendre la langue. Le Supplément A
à l’Annexe 1 présente une échelle d’évaluation qui décrit les niveaux de compétence linguistique.
Pour évaluer les compétences en expression orale et compréhension à l’audition, il faut d’autres
procédures que pour juger la maîtrise de la compréhension à la lecture, de l’écrit ou de la grammaire.
(Quelques exemples sont fournis au Chapitre 1, § 4.10 et 4.11.) Une évaluation de la compréhension
à la lecture, de la connaissance de la grammaire anglaise ou d’éléments de vocabulaire isolés de leur
contexte n’est pas conforme aux exigences de l’OACI.

1.1.1 Une définition de l’objectif de l’épreuve en termes tant de buts de l’épreuve que de groupe cible devrait
être accessible à tous les décideurs.

— Signification : Des épreuves différentes visent des buts différents (comme l’explicite le § 3.5 du
Chapitre 1) et des groupes cibles différents. Si l’on envisage de recourir à un test existant, il est
important que l’organisme qui propose ce test décrive clairement l’objectif de ce test et le groupe de
candidats pour lequel il a été élaboré.

— Importance : Une définition claire de l’objectif de l’épreuve et du groupe cible est un point de départ
nécessaire pour évaluer la pertinence d’une épreuve parce que l’objectif et le groupe cible influencent
le processus d’élaboration et d’organisation de l’épreuve. Ainsi, un test destiné à évaluer les
compétences de pilotes débutants peut être très différent d’un test élaboré pour des pilotes
expérimentés ou professionnels ; de même, un test destiné à évaluer les progrès de pilotes ou de
contrôleurs de la circulation aérienne pendant un programme de formation peut s’avérer inapproprié
pour évaluer des compétences en vue de la délivrance d’une licence.

1.1.2 Une description et une explication du construit du test — et de la façon dont ce test satisfait aux
spécifications de l’OACI en matière de compétences linguistiques — devraient être à disposition de tous les décideurs,
en langage clair, accessible aux non-spécialistes.

— Signification : Il existe différentes approches pour évaluer les compétences en expression orale et
compréhension à l’audition. Les concepteurs de tests devraient documenter les raisons sous-tendant
leur approche spécifique de l’évaluation, dans un langage compréhensible pour des personnes qui ne
sont pas expertes en conception d’épreuves linguistiques.

— Importance : Une description de la structure du test et une explication facile à comprendre des motifs
qui ont présidé au choix de cette structure de test constituent une forme de preuve de la pertinence de
ce test en tant qu’outil permettant d’évaluer les compétences linguistiques conformément aux
spécifications de l’OACI pour un contexte déterminé.

— Informations complémentaires : Voir le Chapitre 1, § 3.5 et 4.1, pour obtenir de plus amples informations
sur les questions liées aux épreuves linguistiques pour l’aviation.

1.1.3 Le test devrait respecter les principes de bonnes pratiques et un code d’éthique, tels qu’exposés dans le
Doc 9835.

— Signification : Le Doc 9835 contient un ensemble de principes de bonnes pratiques et un code


d’éthique, reproduits avec l’autorisation de la Japan Language Testing Association (JLTA) et de
l’International Language Testing Association (ILTA). Il est important pour les concepteurs de tests de
respecter un code de bonnes pratiques et d’éthique reconnu.

— Importance : Les épreuves linguistiques pour l’aviation sont un secteur non réglementé, dont les
enjeux sont très élevés. Un code écrit de bonnes pratiques et d’éthique ainsi que des preuves que
l’organisation respecte ce code constituent un important palliatif dans un système non réglementé.
Circulaire OACI 318-AN/180 15

— Informations complémentaires : Outre les principes reproduits dans le Doc 9835, l’Association of
Language Testers in Europe (ALTE) publie des « Principles of Good Practice for ALTE Examinations »,
consultables à l’adresse suivante : http://www.alte.org/quality_assurance/code/ good_practice.pdf.

1.1.4 Le test ne devrait PAS se concentrer sur des questions isolées portant explicitement sur des points de
grammaire, ni sur des questions isolées de vocabulaire (voir le Doc 9835).

— Signification : Les questions portant sur des points isolés sont des questions de test présentées hors
contexte. En voici deux exemples : un test de vocabulaire dans lequel le candidat doit donner les
définitions d’une liste de mots ; un test de grammaire qui demande aux candidats de conjuguer une
liste de verbes irréguliers au passé.

Les tests portant sur des points isolés, aussi appelés tests indirects, n’évaluent pas directement les
compétences linguistiques. Ils évaluent plutôt des éléments spécifiques distincts de la langue censés
sous-tendre les compétences linguistiques ; autrement dit, ils évaluent la connaissance de la
grammaire, du vocabulaire, de la prononciation, etc. Ce type de test ne convient pas pour évaluer les
compétences linguistiques pour l’aviation.

— Importance : Les spécifications linguistiques de l’OACI se concentrent sur la capacité d’utiliser la


langue, capacité que les tests indirects n’évaluent pas. De plus, les candidats qui obtiennent de bons
résultats aux tests indirects font souvent de mauvais scores aux tests dans lesquels ils doivent
réellement utiliser la langue.

— Informations complémentaires : Il existe plusieurs manières de tester les connaissances linguistiques,


notamment par :

a) des questionnaires à choix multiples dans une série de phrases sans lien entre elles ;

b) l’identification d’une erreur dans une phrase ;

c) des exercices écrits de traduction.

Pour beaucoup de gens, de tels tests présentent l’avantage d’être « objectifs » parce qu’ils livrent un
résultat chiffré. Toutefois, l’objectivité présumée de tels tests à choix multiple doit être remise en
question dès lors que l’on s’interroge sur le choix des points et questions spécifiques sélectionnés
pour ce test. L’on est en droit de se demander pourquoi ils ont été sélectionnés dans un ensemble
infini de points potentiels disponibles. En d’autres termes, pourquoi les candidats ont-ils été invités à
définir certains mots ou pourquoi ont-ils été testés sur l’utilisation d’un temps spécifique mais pas sur
leur capacité à poser des questions de clarification ?

Des épreuves centrées sur l’expression orale et la compréhension à l’audition, par contre, reposent
sur une échelle de compétences plutôt que sur des résultats chiffrés. L’échelle d’évaluation décrit les
niveaux de compétence sur la base desquels un collège d’évaluateurs formés peut classer le candidat
dans cette échelle d’évaluation.

Plus la prestation au test est directement liée à la performance cible, plus un test peut être considéré
comme un test de compétence. Par exemple, des organisateurs de tests s’intéressant aux
compétences d’un individu en expression orale devraient organiser une évaluation de la prestation de
cet individu dans une tâche d’expression orale. Selon cette approche, les compétences orales
peuvent être évaluées soit directement pendant une interview ou une conversation ou un jeu de rôle
ou sur la base d’un enregistrement d’un échantillon de parole.
16 Circulaire OACI 318-AN/180

Le but d’un test de compétence est d’évaluer la pertinence et l’efficacité de la communication plutôt
que son exactitude grammaticale. L’exactitude grammaticale devrait être prise en considération
uniquement dans la mesure où elle a une incidence sur l’efficacité de la communication mais le test
ne devrait pas avoir pour objectif d’évaluer les connaissances grammaticales du candidat.

1.1.5 L’évaluation de la compréhension par le biais d’une section d’écoute spécifique comportant des éléments
distincts ne devrait PAS se faire au détriment de l’évaluation de l’interaction.

— Signification : Certains tests de langue évaluent la compréhension pendant une interaction orale, telle
qu’une conversation, une interview ou un jeu de rôle. D’autres tests de langue évaluent la
compréhension séparément, dans certains cas via une série de textes à écouter ; dans le contexte
des épreuves linguistiques pour l’aviation, le candidat pourrait, par exemple, être invité à écouter une
conversation préenregistrée entre l’ATC et un équipage de conduite afin d’identifier les informations
pertinentes.

— Importance : Un test séparé de compréhension peut fournir des informations sur la compréhension
indépendamment de la capacité d’une personne à interagir avec une autre. Dans de tels tests, la
communication est à sens unique et le candidat n’est pas contraint à une « participation » similaire à
ce que requiert une conversation, un jeu de rôles ou tout autre type d’interaction.

— Informations complémentaires : Il est important que les fournisseurs de services d’évaluation valident
la méthode utilisée pour évaluer la compréhension.

1.1.6 Les tests de compétence organisés selon une méthode d’évaluation directe peuvent utiliser la
communication en face à face dans certaines parties mais devraient aussi comporter une composante consacrant du
temps aux interactions en phonie uniquement.

— Signification : Les interactions en phonie constituent une caractéristique importante des commu-
nications radiotéléphoniques aéronautiques ; lorsqu’un pilote et un contrôleur sont en communication,
ils ne peuvent pas se voir. Des évaluations directes des compétences devraient simuler cette
condition de « phonie seule » dans au moins une partie de l’épreuve.

— Importance : Lorsque deux personnes interagissent en face à face, elles utilisent des « éléments non
verbaux » (informations autres que les mots) pour les aider à comprendre leurs messages respectifs.
Les expressions faciales, le « langage corporel » et les gestes qu’elles font avec les mains communi-
quent souvent des informations importantes. Les communications radiotéléphoniques aéronautiques,
par contre, ne bénéficient pas de ces éléments non verbaux ; toute communication radiotéléphonique
est transmise par les seuls mots et peut donc être plus difficile à interpréter que les communications
en face à face.

— Informations complémentaires : Dans une épreuve organisée selon une méthode d’évaluation directe,
les interactions en phonie peuvent être facilitées au moyen d’un téléphone ou d’un casque d’écoute
par lequel l’interlocuteur et le candidat communiquent, tout en étant placés de telle manière qu’ils ne
puissent pas se voir.

Il peut être approprié de combiner les méthodes directes et semi-directes dans un seul système
d’évaluation. Quelle que soit la solution adoptée, la méthode et l’approche choisies devraient être
clairement justifiées et des preuves du raisonnement sous-tendant cette approche devraient être
fournies.

1.2 L’épreuve devrait être spécifique aux opérations aériennes.

— Signification : Les épreuves devraient donner aux candidats des occasions d’utiliser du langage clair
dans des contextes liés au travail des pilotes et des contrôleurs de la circulation aérienne afin que
Circulaire OACI 318-AN/180 17

ceux-ci puissent prouver leurs capacités par rapport à chaque descripteur de l’échelle d’évaluation et
aux descripteurs holistiques.

— Importance : Les spécifications de l’OACI en matière de compétences linguistiques mentionnent la


capacité de parler et comprendre la langue utilisée dans les communications radiotéléphoniques. Il est
important que les pilotes et les contrôleurs de la circulation aérienne maîtrisent le langage clair qu’ils
utiliseraient dans le cadre des communications radiotéléphoniques pour communiquer en toute
sécurité sur tout problème opérationnel qui puisse se poser.

— Informations complémentaires : Les spécifications de l’OACI en matière linguistique exigent la


maîtrise de l’utilisation de la phraséologie normalisée et du langage clair. L’évaluation de la
phraséologie normalisée relève des activités opérationnelles et non des activités d’évaluation des
compétences linguistiques. Si une épreuve linguistique pour l’aviation peut inclure des expressions
conventionnelles pour présenter un sujet de discussion ou rendre l’interaction sensée pour le
candidat, il est important que ces épreuves suscitent un vaste éventail de langage clair et ne se
limitent pas à des tâches qui requièrent des expressions conventionnelles. Les tests de compétence
linguistique devant évaluer le respect des exigences de l’OACI devraient se concentrer sur le langage
clair.

L’idée d’un « contexte professionnel » peut être interprétée de diverses manières (voir le Chapitre 1,
§ 4.1.10 et 4.1.11). La conception « étroite » tenterait de reproduire au plus près les communications
radiotéléphoniques, y compris les expressions conventionnelles et le langage clair. La conception
« large » susciterait des échantillons d’interaction et de compréhension sur les sujets survenant dans
les communications radiotéléphoniques sans tenter de reproduire des communications radiotélé-
phoniques. Il pourrait s’agir de sujets généraux concernant le pilotage ou le contrôle de la circulation
aérienne, qui pourraient être abordés sous la forme de questions-réponses de routine, de brefs
rapports ou échanges visant à résoudre des problèmes, ou de briefings et de rapports.

Une autre démarche visant à donner aux candidats un contexte aéronautique familier consisterait à
concevoir des épreuves spécifiques pour les pilotes ou pour les contrôleurs. Ainsi, les contrôleurs
auraient la possibilité de passer des épreuves utilisant ou mentionnant un environnement de tour de
contrôle, d’approche ou en-route et les pilotes seraient en mesure de passer des épreuves utilisant ou
mentionnant une procédure d’approche. Ces variantes devraient être perçues comme des adaptations
visant à placer les candidats dans une situation plus confortable et non comme des tests spécialisés
destinés à évaluer des formes distinctes de compétences linguistiques.

1.2.1 Il est acceptable qu’une épreuve contienne une tâche scénarisée utilisant des expressions conventionnelles
dans un énoncé-guide mais le test ne devrait PAS avoir pour but d’évaluer les expressions conventionnelles.

— Signification : Un test de compétence linguistique pour l’aviation ne vise pas les mêmes objectifs
qu’un test portant sur les expressions conventionnelles. Bien qu’une épreuve linguistique pour
l’aviation puisse inclure des expressions conventionnelles dans des énoncés-guides ou pour « planter
le décor », elle a pour objectif d’évaluer les compétences en langage clair dans un contexte
aéronautique opérationnel.

— Importance : Premièrement, les tests portant uniquement sur les expressions conventionnelles ne
conviennent pas pour prouver le respect des spécifications de l’OACI en matière de compétences
linguistiques. Deuxièmement, utiliser les expressions conventionnelles à bon escient est une
compétence opérationnelle, très dépendante du contexte opérationnel ; l’usage incorrect d’une
expression conventionnelle spécifique par un candidat peut constituer une erreur opérationnelle plutôt
qu’une erreur linguistique. Les expressions conventionnelles doivent être enseignées et évaluées par
du personnel opérationnel qualifié.
18 Circulaire OACI 318-AN/180

— Informations complémentaires : Des réponses contenant des expressions conventionnelles de l’OACI


ne devraient pas être évaluées en fonction de leur pertinence procédurale ou de leur exactitude
technique pendant un test de compétence linguistique. Cette pratique pourrait susciter une confusion
entre les connaissances opérationnelles des candidats et leurs compétences linguistiques. Elle
pourrait aussi générer des contradictions entre le système de formation/évaluation opérationnelle
établi par les autorités de réglementation et les évaluations linguistiques. Vu l’éventualité de telles
contradictions, cette pratique pourrait affaiblir la sécurité au lieu de la renforcer.

Si des expressions conventionnelles sont incluses dans un énoncé-guide de l’épreuve, il faut veiller à
ce qu’elles soient utilisées à bon escient et dans le respect de la phraséologie normalisée de l’OACI.

1.2.2 L’épreuve ne devrait PAS être conçue pour évaluer les connaissances techniques des opérations.

— Signification : Les épreuves linguistiques ne devraient pas évaluer les aptitudes opérationnelles ou
des connaissances techniques spécifiques des opérations. Ainsi, un énoncé d’une épreuve
linguistique peut inviter le candidat à décrire une procédure opérationnelle comportant plusieurs
étapes. Un candidat peut donner une description très claire de cette procédure mais omettre une des
étapes. Dans ce cas, il se peut que l’évaluateur ne considère pas l’omission d’une étape comme une
erreur opérationnelle et sanctionne le candidat. En réponse à ce même énoncé, un autre candidat
peut identifier correctement toutes les étapes de la procédure (réalisant ainsi l’exactitude technique)
mais y parvenir avec des problèmes de prononciation et d’aisance par rapport à l’échelle d’évaluation de
l’OACI. Dans ce cas, l’exactitude technique pourrait amener l’évaluateur, peut-être inconsciemment, à
classer le candidat dans un niveau de compétence linguistique supérieur à celui qui lui correspond
réellement.

— Importance : Si la distinction entre compétences linguistiques et connaissances techniques n’est pas


claire pour l’interlocuteur et évaluateur d’une épreuve linguistique pour l’aviation, il peut être aisé de
confondre les unes et les autres. Une telle confusion peut entraîner une pénalisation injuste de
candidats pour des erreurs techniques ou une notation injustement élevée de candidats pour leurs
connaissances techniques. De plus, l’inclusion de points techniques très spécifiques dans un test de
compétence linguistique peut exiger des connaissances techniques qui dépassent celles du candidat ;
ainsi, des réponses à des questions concernant les procédures de contrôle au sol peuvent ne pas être
connues de contrôleurs en-route. En conséquence, le candidat peut se trouver dans l’incapacité de
donner une réponse efficace par manque de connaissances techniques plutôt que par manque de
compétences linguistiques.

— Informations complémentaires : Sur la base des informations précitées, un énoncé-guide tel que
« Quels sont les minimums de séparation pour des aéronefs guidés pour une approche ILS ? » ou
« Décrivez les différents régimes de vol du système de commandes de vol de l’A320 » est donc
inapproprié.

1.3 La note finale obtenue par chaque candidat ne devrait PAS être la moyenne ou le total des notes obtenues
dans chacune des six compétences de l’échelle d’évaluation de l’OACI mais LA PLUS BASSE de ces six notes.

— Signification : Pour chaque candidat, des notes devraient être attribuées pour la prononciation, la
structure, le vocabulaire, l’aisance, la compréhension et l’interaction, conformément à l’échelle
d’évaluation. Si un candidat a reçu des notes différentes pour les différents types de compétences —
par exemple, 3 pour la prononciation, 4 pour le vocabulaire et la structure, et 5 pour l’aisance, la
compréhension et l’interaction — la note globale pour ce candidat devrait être la plus basse de ces
notes, soit 3 dans cet exemple.

— Importance : Cette pratique est cruciale parce que les descripteurs du niveau fonctionnel 4 ont été
établis au niveau de compétence minimum le plus sûr, nécessaire pour les communications
Circulaire OACI 318-AN/180 19

radiotéléphoniques aéronautiques. Une note inférieure à 4 pour une quelconque de ces aptitudes
indique une compétence insuffisante. Par exemple, des pilotes ayant des évaluations de niveau
fonctionnel 4 dans tous les domaines sauf la prononciation ne pourront être compris par les
contrôleurs de la circulation aérienne avec lesquels ils communiqueront. En résumé, un individu doit
prouver sa compétence au moins au niveau 4 dans toutes les aptitudes de l’échelle d’évaluation de
l’OACI pour recevoir une évaluation globale de niveau 4.

2. VALIDITÉ ET FIABILITÉ DES ÉPREUVES

2.1 Un énoncé des preuves de la validité et de la fiabilité des épreuves devrait être à la disposition de tous les
décideurs, en langage clair, accessible aux non-spécialistes.

— Signification : Dans le domaine de l’évaluation linguistique, l’équité s’interprète en termes de validité et


de fiabilité. La validité indique la mesure dans laquelle une épreuve évalue ce qu’elle est censée évaluer.
La fiabilité désigne la mesure dans laquelle l’épreuve génère des résultats cohérents et justes. Les
fournisseurs de services d’évaluation devraient fournir des preuves documentées de la validité et de la
fiabilité de leurs méthodes d’évaluation.

— Importance : Les épreuves linguistiques pour l’aviation recèlent d’énormes enjeux. Il est important
pour la sécurité et pour l’intégrité du secteur, surtout pour les exploitants et les candidats eux-mêmes,
que les épreuves linguistiques soient justes et exactes. Les systèmes d’évaluation qui ne sont pas
étayés par des preuves de leur validité et de leur fiabilité peuvent ne pas générer ou sembler ne pas
générer des résultats justes et exacts.

— Informations complémentaires : Il est important que les preuves de la validité et de la fiabilité des tests
soient écrites en langage clair, accessible aux non-spécialistes. Le public auquel s’adressent les
documents exposant la validité et la fiabilité des tests devrait être en priorité les autorités de l’aviation
civile ou le personnel du service de délivrance des licences plutôt que des experts en évaluation
linguistique. Comme la sécurité des communications aéronautiques relève vraiment de l’intérêt
général, il est aussi approprié que les organismes d’évaluation linguistique pour l’aviation mettent à la
disposition du grand public des informations sur la validité et la fiabilité de leurs tests.

Voir le Chapitre 1, § 3.3, pour plus d’informations sur la validité et la fiabilité.

2.2 Une description du processus d’élaboration incluant les renseignements suivants devrait être à la disposition
de tous les décideurs :

a) un résumé du calendrier d’élaboration ;

b) un rapport sur chaque phase d’élaboration.

— Signification : Les fournisseurs de services d’évaluation devraient documenter l’ensemble du processus


d’élaboration.

— Importance : Avant de décider d’utiliser un test, il faut en examiner minutieusement la qualité ; une
documentation sur le processus d’élaboration est cruciale pour réaliser cet examen. Un calendrier
d’élaboration et un rapport fourniront des informations sur la nature et la profondeur de l’analyse qui a
présidé à l’élaboration du test. S’il est manifeste qu’un test a été élaboré à la hâte et sans le savoir-
faire requis, ce test peut ne pas générer ou peut sembler ne pas générer des résultats valables et
fiables. Cette remarque vaut aussi pour des tests assortis d’une documentation incomplète.
20 Circulaire OACI 318-AN/180

2.3 Une évaluation de l’effet attendu de rétroaction du test sur la formation devrait être à la disposition de tous
les décideurs.

— Signification : La rétroaction du test désigne l’effet qu’un test a sur un programme de formation ou sur
le comportement des étudiants. Les fournisseurs de services d’évaluation devraient prouver que leur
test aura un effet positif sur la formation et n’encouragera pas un entraînement centré sur la
mémorisation et la préparation du test plutôt que sur le développement des compétences.

— Importance : L’objectif de l’évaluation des compétences linguistiques dans le contexte opérationnel de


l’aviation est de garantir que les pilotes et les contrôleurs de la circulation aérienne ont les
compétences linguistiques adéquates pour une conduite sûre des opérations. De solides programmes
de formation linguistique constituent une composante essentielle d’un programme devant permettre
aux pilotes et aux contrôleurs d’atteindre le niveau fonctionnel 4 de compétence linguistique. Des
évaluations de grande qualité encourageront une formation de grande qualité.

— Informations complémentaires : Les candidats voudront naturellement se préparer au test. Si les


candidats aux épreuves linguistiques pour l’aviation peuvent mémoriser les expressions conven-
tionnelles, ils ne peuvent acquérir les compétences linguistiques décrites dans les spécifications en
matière de compétences linguistiques en se bornant à mémoriser des mots et des expressions. Si les
pilotes ou les contrôleurs pensent que certains types étroits d’activités d’apprentissage ou de pratique
les prépareront au mieux et le plus vite à un test, ils seront enclins à diriger leur énergie vers de telles
activités, éventuellement au détriment d’activités pouvant véritablement améliorer leurs compétences
linguistiques.

Un exemple dans le domaine de l’aviation pourrait être une épreuve linguistique pour l’aviation
centrée sur l’utilisation des expressions conventionnelles, à l’exclusion du langage clair pour l’aviation.
Dans un tel cas, les apprenants seront susceptibles de concentrer leur apprentissage sur la mémo-
risation de la phraséologie normalisée de l’OACI plutôt que sur de réelles activités d’apprentissage de
la langue qui amélioreront réellement leurs compétences en anglais.

Voir le Chapitre 1, § 3.4, pour plus d’informations sur la rétroaction des tests.

3. NOTATION

3.1 Que la notation se fasse pendant l’épreuve même ou après celle-ci, au moyen d’enregistrements de la
prestation, le processus de notation devrait être documenté.

— Signification : Dans certains tests d’expression orale et de compréhension à l’audition, les prestations
sont notées pendant le test. Dans d’autres, elles sont enregistrées et notées plus tard. Ces deux
méthodes de notation sont acceptables mais, quelle que soit la méthode utilisée, le processus de
notation doit être expliqué dans la documentation relative au test.

— Importance : Comme la notation est une des étapes les plus importantes de l’évaluation des
compétences linguistiques, il est crucial d’expliquer comment elle s’effectue durant le processus
d’évaluation afin de garantir sa transparence vis-à-vis de tous les intervenants.

— Informations complémentaires : Une notation postérieure à l’épreuve permet aux évaluateurs de


réécouter les paroles du candidat aussi souvent que nécessaire pour en faire une analyse plus
approfondie. De plus, elle élimine la nécessité d’une présence physique des évaluateurs lors de
l’interaction à évaluer. Si les évaluateurs ne sont pas physiquement présents, ils doivent pouvoir
recevoir un enregistrement audio ou vidéo de l’épreuve et remettre leurs rapports de notation de façon
Circulaire OACI 318-AN/180 21

efficace (par exemple, par voie électronique). Un avantage potentiel d’une notation pendant l’évaluation
même réside peut-être dans un gain d’efficacité.

3.2 Pour satisfaire aux exigences de délivrance de licences, la notation devrait se faire au minimum par deux
évaluateurs. Un troisième évaluateur spécialisé devrait être consulté en cas de notations divergentes.

— Signification : Les bonnes pratiques en matière d’évaluation des compétences linguistiques requièrent
au moins deux évaluateurs formés et ayant les compétences requises, dont au moins un spécialisé
dans le domaine linguistique.

— Importance : Le recours à au moins deux évaluateurs réduit la possibilité d’erreurs de notation et


contribue à garantir une évaluation complète de chaque candidat.

— Informations complémentaires : L’idéal serait qu’une épreuve linguistique pour l’aviation soit notée par
deux évaluateurs principaux — un expert linguiste et un expert des opérations aéronautiques — et par
un troisième évaluateur, qui puisse résoudre les divergences entre les avis des deux premiers
évaluateurs. Prenons, par exemple, un cas où des évaluateurs principaux estiment tous deux qu’un
candidat a fait la preuve d’une compétence de niveau 4 dans cinq des six aptitudes mais où le premier
évaluateur donne à ce candidat une note de 3 en prononciation (ce qui ramène la note globale de
compétence linguistique du candidat à un niveau 3) et le deuxième évaluateur donne à ce candidat un
4 en prononciation. Un troisième évaluateur rendrait le verdict final pour cette aptitude et, ce faisant,
déterminerait la note globale pour ce candidat.

Un troisième évaluateur participerait sans doute au processus uniquement dans des cas où un
candidat obtient une note globale de 3 ou 4, car la différence entre ces deux niveaux constitue la
distinction la plus cruciale pour l’évaluation des compétences linguistiques en vue de la délivrance de
licences, telle qu’établie par l’OACI.

3.3 La formation initiale et continue des évaluateurs devrait être documentée ; les dossiers de formation des
évaluateurs devraient être tenus à jour et des audits des évaluateurs devraient être effectués et documentés régulièrement.

— Signification : Les évaluateurs de tests de compétence linguistique doivent être formés et être formés
ensemble afin de garantir qu’ils appliquent systématiquement la même échelle d’évaluation. Des
audits devraient être menés régulièrement pour vérifier les performances des évaluateurs afin de
garantir la cohérence dans le temps.

— Importance : Lors de l’évaluation de tests de compétence linguistique, la cohérence du processus de


notation est cruciale. Contrairement à d’autres formes d’évaluation dans lesquelles une réponse à une
question est correcte et une autre, incorrecte, l’évaluation de la compétence linguistique repose sur
les jugements subjectifs des évaluateurs. Dans un tel contexte, la cohérence peut être atteinte par la
formation et l’expérience mais peut aisément se perdre en l’absence d’audits réguliers des
évaluateurs et des équipes d’évaluation.

La fiabilité des résultats des tests et du processus d’évaluation dans son ensemble dépend de la
cohérence atteinte durant le processus de notation. Des audits offrent un mécanisme permettant de
vérifier la cohérence et, lorsque celle-ci s’est perdue, d’apporter les ajustements nécessaires.

— Informations complémentaires : La cohérence se mesure en termes de fiabilité. La fiabilité recèle deux


composantes :

a) La fiabilité propre à l’évaluateur est la mesure dans laquelle un évaluateur donné utilise de façon
cohérente une échelle de compétences. En d’autres termes, l’évaluateur applique-t-il l’échelle de
compétences de façon cohérente à tous les candidats qui se présentent ?
22 Circulaire OACI 318-AN/180

b) La fiabilité entre évaluateurs est le degré de convergence des jugements portés par deux
évaluateurs indépendants ou plus sur la prestation des candidats. En d’autres termes, différents
évaluateurs sont-ils d’accord sur les notes qu’ils attribuent à différents candidats ?

Les jugements des évaluateurs devraient faire l’objet d’une surveillance permanente, à la fois individuelle
et comparative. Des évaluateurs en chef devraient procéder régulièrement à une évaluation formelle du
personnel affecté à la notation des tests. Il est aussi fort recommandé d’organiser périodiquement des
notations croisées par des membres d’autres équipes de notation afin d’empêcher que des équipes
différentes ne divergent graduellement dans l’interprétation de l’échelle d’évaluation.

3.4 Si la notation se fait à l’aide de nouvelles technologies, notamment la technologie de reconnaissance


vocale, il faut clairement établir la preuve de la correspondance de ces notations avec la notation humaine de tous les
aspects de l’échelle d’évaluation, dans un rapport rédigé en langage accessible aux non-spécialistes, qui sera mis à la
disposition de tous les décideurs.

— Signification : Si un organisme d’évaluation utilise des nouvelles technologies, telles que la


technologie de reconnaissance vocale, pour évaluer les compétences en expression orale et en
compréhension à l’audition d’un candidat, il incombe à cet organisme de prouver clairement et
simplement que les notations sont valables et correspondent à l’échelle d’évaluation de l’OACI.

— Importance : Jusqu’à présent, les bonnes pratiques en matière d’évaluation des compétences en
expression orale et compréhension à l’audition font appel à des évaluateurs formés et expérimentés,
qui évaluent les compétences d’une personne sur la base de critères établis dans une échelle
d’évaluation. Dans le contexte des évaluations linguistiques, le recours à des technologies de
reconnaissance vocale pour évaluer l’expression verbale humaine est une méthode très nouvelle et,
en tant que telle, sa validité et sa fiabilité devraient être prouvées de façon claire et simple.

— Informations complémentaires : Les spécifications de l’OACI en matière de compétences linguistiques


requerront des programmes d’évaluation à grande échelle. Si la technologie peut contribuer à rendre
le processus d’évaluation plus aisé et plus rentable qu’une évaluation humaine individuelle, elle sera
utile. Ce genre d’évaluation peut s’avérer particulièrement approprié en tant qu’outil de tri préalable à
l’évaluation, pour déterminer quels sont les candidats qui sont prêts à présenter un test en vue de la
délivrance d’une licence et quels sont ceux qui pourraient avoir besoin d’un supplément de formation.

4. ORGANISATION ET SÉCURITÉ DES ÉPREUVES

4.1 Organisation des épreuves

4.1.1 Un échantillon complet du test devrait être publié, comprenant notamment :

a) les documents du candidat (instructions sur papier, captures d’écrans, etc.) ;

b) les instructions de l’interlocuteur ou les énoncés-guides ;

c) la documentation de l’évaluateur (corrigés, échelle d’évaluation, instructions) ;

d) un échantillon complet des enregistrements audio (pour les sections de compréhension à l’audition ou
les énoncés-guides dans une évaluation semi-directe) ;

e) une démonstration d’une interaction entre un candidat et un interlocuteur.


Circulaire OACI 318-AN/180 23

— Signification : Les décideurs ont le droit d’examiner un échantillon complet d’un test avant de l’adopter,
de l’utiliser, de l’accepter ou de l’acheter. Vu les énormes enjeux liés aux évaluations linguistiques pour
l’aviation, il est approprié que les organismes d’évaluation rendent un échantillon complet de leur test
accessible au public.

— Importance : Il est essentiel de voir un échantillon complet d’un test pour pouvoir l’évaluer. Des
informations sur un test, notamment une description du test ou une brochure de marketing ne suffisent
pas pour déterminer la validité, la fiabilité, la faisabilité d’un test et son effet de rétroaction.

— Informations complémentaires : Il convient de noter que, pour les instructeurs d’un programme de
formation, se familiariser avec la structure et le format d’un test n’équivaut pas à « enseigner en
fonction du test ». Le § 2.3 du présent chapitre met en garde contre des conceptions de tests
susceptibles d’inciter les candidats à tenter de se préparer au test en mémorisant de la phraséologie
ou des réponses à des questions du test. Une familiarisation avec le format d’un test relève des
bonnes pratiques tant pour les instructeurs que pour les candidats ; elle permet de garantir que les
candidats ne seront pas indûment surpris ou intimidés par le format du test ou par les types
d’interaction que celui-ci induit. Ainsi, si l’interaction du test comprend une partie en phonie
uniquement réalisée par téléphone, il est salutaire que les candidats en soient informés. Ce type de
renseignement ne leur donne rien à mémoriser pour se préparer au test ; il les mettra simplement plus
à l’aise face au format du test et aux types d’interaction qu’ils peuvent s’attendre à avoir pendant ce test.

4.1.2 Le processus de notation du test devrait être documenté et cette documentation devrait inclure des
instructions sur la portée et la nature des preuves que doivent recueillir les évaluateurs.

— Signification : Les évaluateurs devraient recevoir des instructions claires quant au type de preuve
qu’ils doivent recueillir pour justifier ou étayer leurs évaluations.

— Importance : La langue est quelque chose de complexe et une simple déclaration d’une personne
peut être analysée de nombreuses manières différentes. Les évaluateurs doivent comprendre le
degré d’analyse qu’ils sont censés effectuer pour rendre et justifier une note. Il est aussi crucial de
documenter et de justifier les évaluations des candidats pour pouvoir ultérieurement analyser un test,
en vue soit de répondre à un recours ou à une plainte d’un candidat ou de réaliser un audit d’un
évaluateur ou d’une équipe d’évaluation (conformément au § 3.3 de ce chapitre). Dans de tels cas, un
ensemble documenté de notes ne suffit pas ; il faut des preuves et des justifications de ces notes.

Dans ce contexte, les preuves comprendraient généralement des exemples de tournures utilisées par
le candidat, révélant ses points forts et ses points faibles : plusieurs cas d’utilisation incorrecte des
temps du verbe, par exemple, pourraient étayer une note spécifique pour l’aptitude « Structure » ou
un problème relatif à la prononciation de certains sons pourrait justifier une note de prononciation.

4.1.3 Les instructions données aux candidats, à l’équipe d’organisation du test et aux évaluateurs devraient être
clairement documentées.

— Signification : Des instructions claires pour chaque partie du processus de test et pour chaque
intervenant devraient être disponibles et être univoques.

— Importance : Des instructions claires prouvent que l’organisme d’évaluation a étudié de façon
approfondie tous les aspects du processus d’évaluation. Les utilisateurs, les organisateurs et les
évaluateurs du test ont tous besoin d’instructions claires et faciles à comprendre pour que leur
participation soit efficace. De plus, des instructions claires permettent de garantir que les tests sont
organisés d’une manière cohérente et donc fiable.
24 Circulaire OACI 318-AN/180

4.1.4 Les besoins en équipements, ressources humaines et installations nécessaires pour l’épreuve devraient
être mentionnés dans les instructions.

— Signification : L’organisation d’épreuves peut requérir divers équipements (ordinateur, cassette vidéo,
enregistreur), l’appui de différents types de personnel (spécialistes des technologies de l’information
ou techniciens du son) et des installations pouvant accueillir ces équipements et ce personnel. Des
instructions claires pour chaque partie du processus de test devraient être disponibles.

— Importance : Des descriptions claires des équipements, ressources humaines et installations requis et
des instructions claires concernant leur utilisation prouvent que l’organisme d’évaluation a envisagé
de façon approfondie tous les aspects du processus d’évaluation. Les utilisateurs, les organisateurs et
les évaluateurs du test ont tous besoin d’instructions claires et faciles à comprendre pour que leur
participation soit efficace et pour qu’il existe une garantie que le test est organisé de façon cohérente
et donc fiable.

— Informations complémentaires : Ces exigences concernent également la salle dans laquelle l’épreuve
aura lieu, le mobilier, les équipements pour faire passer tout énoncé-guide audio utilisé pendant
l’épreuve, les écouteurs (le cas échéant) et tout autre équipement nécessaire pour l’épreuve.

4.1.5 Le local où se déroule l’épreuve devrait être assez confortable et calme et l’accès devrait en être strictement
réservé.

— Signification : Le local où se déroule l’épreuve ne devrait pas être inconfortable ou bruyant.

— Importance : Les fournisseurs de services d’évaluation ont l’obligation d’assurer l’équité de l’épreuve.
Cette obligation inclut l’élimination de toute source indue de distraction pendant l’épreuve.

— Informations complémentaires : Des exemples de locaux inappropriés seraient une cuisine du personnel,
une cafétéria, une salle d’attente ou un couloir où les gens se rassemblent et parlent. De tels locaux
pourraient empêcher le candidat de passer le test en toute tranquillité et éventuellement le déconcentrer
pendant l’épreuve. De même, un local extrêmement froid ou chaud pourrait créer un contexte artificiel et
néfaste à la concentration, qui pourrait avoir une incidence sur la prestation du candidat.

4.1.6 Une description complète des politiques et procédures d’organisation de l’épreuve devrait être à la
disposition de tous les décideurs. Cette description inclurait des renseignements sur :

a) les politiques et procédures pour repasser l’épreuve ;

b) les procédures de dépôt des notes (qui réceptionne les résultats des épreuves ?) ;

c) les procédures de tenue des dossiers ;

d) des plans relatifs au contrôle de la qualité, à la tenue à jour des tests et à l’élaboration permanente de
tests ;

e) les conditions d’achat.

— Signification : Les politiques et procédures concernant les notes, les dossiers, le contrôle de la qualité,
l’élaboration de tests futurs et les conditions d’achat doivent être claires et facilement accessibles aux
décideurs et aux utilisateurs des tests.

— Importance : Un des éléments à prendre en considération lors de l’élaboration et de la sélection de


tests est de savoir s’il existe une infrastructure suffisante pour soutenir et maintenir les objectifs du test.
Circulaire OACI 318-AN/180 25

4.1.7 Une procédure de recours documentée devrait être établie et des informations à son propos devraient être
mises à la disposition des candidats et des décideurs au début du processus d’évaluation.

— Signification : Tous les programmes d’évaluation devraient prévoir une procédure de recours. Dans
certains cas, un nouvel examen peut être nécessaire. Les candidats qui ont l’impression que leur note
n’est pas exacte peuvent solliciter une nouvelle notation de leur prestation ou demander à pouvoir se
représenter à l’épreuve.

— Importance : Même si la procédure d’évaluation suit les bonnes pratiques, des erreurs peuvent se
produire. S’il ne faut pas s’attendre à ce que tout recours aboutisse à un recalcul complet des notes
ou à une possibilité de représenter l’épreuve, les procédures de recours devraient être clairement
documentées afin que, le cas échéant, elles puissent être appliquées avec équité.

— Informations complémentaires : Une procédure de recours devrait aborder, entre autres, les points
suivants :

a) les circonstances atténuantes ayant une incidence sur la prestation du candidat. Il ne devrait pas
y avoir de procédure de recours pour les candidats qui affirment avoir eu « un mauvais jour » ou
avoir « été nerveux », car ce sont des choses qui pourraient leur arriver dans des situations
opérationnelles où ils devront communiquer. Toutefois, un candidat qui a vécu un drame dans sa
famille dans les jours précédant l’épreuve ou qui était malade le jour de l’épreuve devrait au
moins voir sa demande de recours prise en considération ;

b) les démarches que doivent entreprendre les candidats pour lancer une procédure de recours et la
communication qu’ils peuvent s’attendre à recevoir pendant cette procédure ;

c) le délai (par exemple, 30 jours ou 60 jours) dans lequel l’employeur ou le service de délivrance
des licences s’engage à prendre une décision sur un recours, sous la forme d’une réévaluation
du test, d’un nouvel examen ou du rejet du recours.

4.2 Sécurité des épreuves

4.2.1 Une description complète des mesures de sécurité visant à assurer l’intégrité de la procédure d’évaluation
devrait être documentée et mise à la disposition de tous les décideurs.

— Signification : La sécurité des épreuves désigne la capacité de l’organisme d’évaluation de protéger


l’intégrité de la procédure d’évaluation. Les organismes d’évaluation devraient garantir que les
personnes n’aient pas accès au contenu spécifique du test ni aux questions avant de passer le test.
De plus, les fournisseurs de services d’évaluation devraient garantir la confidentialité des notes
attribuées aux tests.

— Importance : La fiabilité, la validité et la confidentialité permanentes d’un système d’évaluation des


compétences linguistiques dépendront en grande partie des mesures en vigueur pour assurer la
sécurité des tests.

— Informations complémentaires : Les organismes d’évaluation devraient protéger les bases de données
de questions et énoncés et prévoir un stockage sûr des notes et du matériel d’évaluation. Ils devraient
exiger que les concepteurs, organisateurs et évaluateurs des tests ainsi que les spécialistes des
technologies de l’information (TI) et tout autre membre du personnel associés à tout aspect de la
procédure d’évaluation signent des engagements formels au respect de la confidentialité et de
l’intégrité des évaluations, engagements que ces organismes auront établis et tiendront à jour.
26 Circulaire OACI 318-AN/180

D’autres mesures de sécurité nécessaires pour prévenir toute tricherie pendant l’organisation des
épreuves comprendront, entre autres :

a) l’interdiction de toute communication entre les candidats ;

b) l’interdiction de toute communication entre les candidats et des personnes extérieures pendant
l’épreuve (par exemple, au moyen d’un téléphone portable) ;

c) l’interdiction d’usurper l’identité d’une autre personne ;

d) l’interdiction de falsifier son identité.

Enfin, les mesures de sécurité devraient garantir l’authenticité des données de résultats des tests, y
compris des bases de données et des certificats.

4.2.2 Dans le cas d’énoncés-guides pour des évaluations semi-directes (scénarisés et préenregistrés), il devrait
exister de multiples versions pour répondre aux besoins de la population à tester en termes de taille et de diversité.

— Signification : Pour les tests avec questions ou énoncés-guides spécifiques, scénarisés ou préenre-
gistrés, il faut des versions multiples. Les décideurs doivent savoir qu’il existe plusieurs versions du
test pour garantir la sécurité des évaluations dont ils ont besoin.

— Importance : Une fois que les énoncés ont été utilisés, il est possible que des personnes répètent ou
partagent les énoncés avec d’autres candidats, ce qui violerait la sécurité et la validité du test.

— Informations complémentaires : Il n’est pas réaliste d’imposer le nombre de versions ou d’énoncés de


test requis pour toute situation de test spécifique. La détermination du nombre approprié dans toute
situation dépendra de circonstances spécifiques. Voici quelques exemples de variables pouvant avoir
une incidence sur le nombre de versions :

a) le nombre de candidats ;

b) la proximité géographique et organisationnelle des candidats. Plus les individus du groupe de


candidats sont proches les uns des autres, plus il est probable qu’ils partageront leur expérience
d’évaluation avec les autres. Si les gens partagent des informations sur le test et que ces mêmes
informations sont utilisées dans un autre test, les candidats ont l’occasion de préparer une réponse
à un énoncé-guide connu. C’est un exemple de rétroaction négative d’un test, phénomène évoqué
au Chapitre 1, § 3.4 ;

c) la variabilité inhérente à la conception du test. Un test qui comporte peu de variabilité dans ses
énoncés (en d’autres termes, tous les candidats se voient poser les mêmes questions ou des
questions très similaires) exigera des modifications de version plus fréquentes qu’un test dans
lequel l’interlocuteur peut, pour un point particulier, poser au candidat tout un éventail de questions.

Il est courant dans de grandes initiatives d’évaluation qu’un service d’évaluation n’utilise une version
de test qu’une seule fois. Dans d’autres cas, le service d’évaluation élabore plusieurs versions puis les
utilise au hasard. Les candidats peuvent alors en général connaître le type de questions et d’énoncés-
guides qui leur seront soumis pendant le test mais ne pourront pas prévoir les questions et énoncés-
guides spécifiques qu’ils auront pendant une interaction spécifique durant l’épreuve.

Une mesure de sécurité que les organismes d’évaluation peuvent prendre est de toujours inclure au
moins un tout nouvel énoncé-guide ou une toute nouvelle question dans chaque version. Si les
Circulaire OACI 318-AN/180 27

candidats atteignent des notes élevées à la plupart ou à la totalité des énoncés-guides ou questions
du test mais « échouent » au nouvel énoncé-guide, il peut y avoir eu violation de la sécurité du test.

4.2.3 Les questions et énoncés des tests devraient être tenus secrets et ne devraient pas être publiés ou fournis
aux candidats avant le test.

— Signification : Les candidats ne devraient pas avoir accès aux questions ou énoncés-guides du test
avant de se présenter à l’épreuve.

— Importance : Les autorités et les organisations qui rendent les questions et énoncés du test
accessibles au public nuisent à l’intégrité du processus d’évaluation. Si les candidats connaissent au
préalable le contenu spécifique du test, ils ne pourront pas « reconnaître et résoudre des
malentendus » ou « réussir à surmonter avec une certaine aisance les difficultés linguistiques posées
par une complication ou un événement imprévu », des aptitudes requises dans les spécifications de
l’OACI en matière de compétences linguistiques. Cette approche incitera les candidats à mémoriser
des énoncés et des réponses.

— Informations complémentaires : Comme le mentionne le § 4.1.1 du présent chapitre, une seule


version échantillon du test devrait être fournie aux décideurs, afin qu’ils se familiarisent avec le format
du test et avec les procédures générales d’évaluation. Des questions ou des énoncés-guides
spécifiques de tests réels ne devraient en aucune manière être disponibles.

4.2.4 Une politique documentée couvrant tous les aspects de la sécurité des tests devrait être à la disposition de
tous les décideurs.

— Signification : Les fournisseurs de services d’évaluation devraient décrire clairement dans des
documents en libre accès comment leur organisation met en place et préserve tous les aspects requis
de la sécurité des tests.

— Importance : Un processus d’évaluation assorti de garanties insuffisantes ou inconnues en matière de


sécurité des tests ne sera pas reconnu comme susceptible de générer des résultats valables ou
d’assurer la confidentialité des candidats.

— Informations complémentaires : Tous les documents de test, en ce compris les documents sur papier
et les versions électroniques, doivent être stockés en toute sécurité, à tout moment, par tous les
intervenants associés aux processus d’organisation des tests.

Des analyses périodiques, sous la forme d’inspections matérielles, devraient être effectuées par le
personnel de gestion de l’évaluation afin de vérifier que les procédures de sécurité, y compris pour le
stockage de tout le matériel de test, sont respectées.

4.3 Tenue de dossiers

4.3.1 Tous les tests de compétence en expression orale dans lesquels il y a interaction entre le candidat et
l’interlocuteur devraient être enregistrés sur support audio ou vidéo.

— Signification : Vu les énormes enjeux liés aux épreuves linguistiques pour l’aviation, il est crucial que
les organismes d’évaluation tiennent des enregistrements soit vidéo ou audio de toutes les épreuves
d’expression orale.

— Importance : Les enregistrements de tests procurent une garantie contre des accusations de
jugements subjectifs ou d’inéquité. Les enregistrements permettent :
28 Circulaire OACI 318-AN/180

a) un ré-examen ou une nouvelle notation par d’autres évaluateurs en cas d’incertitude ou de recours ;

b) de confirmer les évaluations en cas de recours par des candidats ou par leurs employeurs.

4.3.2 Les feuilles d’évaluation et la documentation qui s’y rapporte devraient être archivées pendant une période
de temps prédéterminée et documentée, d’une durée suffisante pour garantir que plus aucun recours ne peut être
déposé à l’encontre des notes attribuées.

— Signification : Outre la préservation de l’enregistrement même de chaque test d’expression orale, pour
chaque candidat, toutes les feuilles de notation et la documentation y afférente, y compris les données
électroniques, devraient être archivées et conservées pendant un délai approprié.

— Importance : Il est important de garder des traces en cas de recours, pour une analyse interne liée à
une procédure d’audit, pour établir un plan individuel de formation et pour fixer des calendriers
réguliers d’évaluation.

— Informations complémentaires : Au minimum, les dossiers devraient être conservés durant toute la
période de validité de l’approbation de la compétence linguistique requise pour la délivrance de la
licence. Le § 1.2.9.7 de l’Annexe 1 recommande que la période de validité maximale ne dépasse pas
trois ans pour les personnes ayant démontré un niveau de compétence au niveau 4 et six ans pour
celles qui ont démontré un niveau de compétence au niveau 5.

4.3.3 Le processus d’archivage des dossiers devrait être documenté et adéquat par rapport à la portée de
l’évaluation.

— Signification : Un service d’évaluation devrait documenter comment la prestation d’un candidat peut
être enregistrée et stockée en toute sécurité.

— Importance : Les décideurs doivent savoir si les processus d’archivage des dossiers sont adéquats.

— Informations complémentaires : Une évaluation des compétences linguistiques dans le contexte


opérationnel doit générer deux types de données : d’un part, des commentaires écrits sur la
performance linguistique dans chaque domaine d’aptitude de l’échelle d’évaluation de l’OACI et,
d’autre part, le résultat du test en termes de niveau démontré de compétence. En cas d’incertitude, la
documentation doit entre autres recommander une évaluation au moyen d’un test de langue
spécialisé ou par une autre équipe d’évaluation.

4.3.4 Le processus de dépôt des notes devrait être documenté et les notes obtenues devraient être conservées
pendant toute la durée de la licence.

— Signification : La méthode de notation et les personnes à qui les notes doivent être communiquées
devraient être clairement documentées. Lorsqu’un test a été noté et que les résultats sont
documentés, le processus de dépôt des notes devrait être clair pour tous les décideurs.

— Importance : Cette pratique est importante pour garantir que les informations sur les résultats des
tests soient effectivement communiquées aux individus de l’organisme désignés à cette fin et pour
garantir que la vie privée du candidat et la sécurité des informations soient préservées.

4.3.5 Les résultats des évaluations devraient être tenus strictement confidentiels et dévoilés uniquement aux
candidats, à leurs parrains ou à leurs employeurs et à l’autorité de l’aviation civile, à moins que les candidats ne donnent
une autorisation écrite de communiquer leurs résultats à une autre personne ou organisation.

— Signification : Le service de délivrance de licences devrait veiller à ce qu’une politique concernant la


divulgation des résultats des épreuves soit en vigueur. Les fournisseurs de services d’évaluation
Circulaire OACI 318-AN/180 29

devraient avoir des procédures documentées sur la façon de gérer la tenue des dossiers et la
confidentialité des résultats des épreuves.

— Importance : Une politique de confidentialité concernant les résultats des épreuves est une mesure clé
que le service de délivrance de licences devrait utiliser pour gérer l’incidence des épreuves
linguistiques pour l’aviation sur la carrière des pilotes ou des contrôleurs et sur la sécurité des
passagers. Un fournisseur de services d’évaluation devrait fournir des preuves documentées de la
façon dont il gère la confidentialité des résultats des épreuves à chaque étape du processus
d’évaluation, y compris de la façon dont il entend transmettre les résultats des épreuves au service de
délivrance de licences.

5. INFORMATIONS ORGANISATIONNELLES ET INFRASTRUCTURES

5.1 Un fournisseur de services d’évaluation linguistique pour l’aviation devrait donner des informations claires
sur son organisation et sur ses relations avec d’autres organisations.

5.1.1 Tous les liens ou associations avec d’autres organisations devraient être transparents et documentés.

— Signification : Lorsqu’ils élaborent et organisent leurs épreuves linguistiques pour l’aviation, les
fournisseurs de services d’évaluation peuvent conclure des partenariats avec d’autres organismes afin
d’améliorer leur crédibilité au sein de la communauté aéronautique. Les fournisseurs de services
d’évaluation devraient produire une documentation sur tout lien avec d’autres organismes.

— Importance : Dans tout contexte d’évaluation où les enjeux sont élevés, les relations entre un
fournisseur de services d’évaluation et d’autres organisations peuvent compromettre l’intégrité du
processus d’évaluation. Par exemple, une AAC pourrait rejeter un fournisseur de services d’évaluation
parce que celui-ci ne respecte pas les bonnes pratiques d’évaluation ; par la suite, ce fournisseur
pourrait changer de nom ou constituer un autre organisme, modifier l’habillage de son test et vendre le
même système d’évaluation (toujours non conforme aux bonnes pratiques d’évaluation) à l’AAC via
des pratiques de marketing trompeuses.

Pour prévenir ce type de tromperie, le fournisseur devrait être tenu de documenter tout autre nom sous
lequel il opère ou a opéré. L’AAC devrait en tout cas mener des enquêtes sur tous les fournisseurs de
services d’évaluation dont elle envisage d’utiliser les services, afin de vérifier leur légitimité.

Un problème connexe concerne les affirmations faites par les fournisseurs de services d’évaluation au
sujet de leurs relations avec les grandes entités du secteur. Des fournisseurs de services d’évaluation
pourraient, par exemple, affirmer : « Notre test est approuvé par la FAA », ou « Conseillé par la
NASA ». Dans ces cas, le fournisseur devrait être tenu de produire la documentation qui explique et
soutient de telles affirmations et les décideurs devraient contacter l’organisation en question pour
obtenir confirmation de cette allégation.

— Informations complémentaires : L’évaluation des compétences linguistiques en vue de la délivrance


de licences relève de la responsabilité des États contractants. L’OACI n’accrédite, ne certifie ni
n’approuve aucun fournisseur de services d’évaluation linguistique.

5.2 Si un fournisseur de services d’évaluation est aussi un fournisseur de formations, il devrait exister une
séparation claire et documentée entre ces deux activités.

— Signification : Une séparation claire entre les activités d’évaluation et de formation devrait être
documentée par tout organisme qui fournit les deux services.
30 Circulaire OACI 318-AN/180

— Importance : En général, dans les situations d’évaluation dont les enjeux sont élevés, l’évaluation et la
formation devraient être clairement séparées afin d’éviter des conflits d’intérêts. Par exemple, une
organisation qui fournit à la fois des services de formation et d’évaluation pourrait accorder des notes plus
élevées aux étudiants ayant suivi son programme de formation car de piètres résultats de ces étudiants
pourraient donner une mauvaise image de la formation qu’ils ont reçue. Inversement, cette organisation
pourrait attribuer des notes plus basses aux candidats si la formation supplémentaire que ceux-ci
recevraient était susceptible de générer un supplément de recettes pour son programme de formation.

Une autre source potentielle de préoccupation serait la pratique consistant à former du personnel qui
servirait d’interlocuteurs et d’évaluateurs dans le processus d’évaluation. Il n’est jamais acceptable
que des instructeurs soient évaluateurs de leurs propres étudiants. Les instructeurs auront une
tendance naturelle à ressentir une sympathie pour certains étudiants tout en jetant un regard moins
favorable sur d’autres. De telles perceptions pourraient avoir une incidence sur l’objectivité requise de
la part des interlocuteurs de tests et des évaluateurs.

5.3 Le fournisseur de services d’évaluation devrait employer des nombres suffisants d’interlocuteurs et
d’évaluateurs qualifiés pour organiser les tests requis.

— Signification : Outre l’élaboration de tests et de nouvelles versions de tests, il est important que les
services d’évaluation disposent d’un personnel suffisant pour organiser et noter les tests.

— Importance : Les évaluateurs et interlocuteurs sont habituellement efficaces seulement cinq à six
heures par jour. Après cela, la fatigue risque d’affaiblir leur efficacité, de sorte que leurs interactions et
notations pourraient devenir moins fiables. Les organismes d’évaluation devraient prouver qu’ils
disposent d’un personnel formé et qualifié suffisant pour gérer le volume de tests requis.

5.4 Il faudrait que soit fournie une documentation sur la façon dont les tests sont tenus à jour, y compris une
description de l’élaboration permanente de tests.

— Signification : Un organisme d’évaluation devrait non seulement planifier l’élaboration d’un test initial
mais aussi planifier et budgéter l’élaboration permanente de tests.

— Importance : Un test efficace non soutenu par une élaboration permanente adéquate de tests ne
restera pas efficace très longtemps. Dans un court laps de temps, des candidats pourront prédire les
énoncés qui leur seront présentés et mémoriser les réponses à ces énoncés.

— Informations complémentaires : Il faudra constamment élaborer de nouvelles versions de tests. Une


élaboration permanente de tests devrait aussi inclure la création et la tenue à jour d’une base de
données contenant toutes les questions déjà posées dans chaque version d’un test. Cette pratique
permettra de garantir que des énoncés ou des versions complètes d’un test ne soient pas
accidentellement réutilisés alors que de nouvelles versions sont en cours d’élaboration. Elle permettra
aussi à l’équipe d’évaluation d’analyser quels énoncés réussissent le mieux à susciter des réponses
linguistiques appropriées chez les candidats et quels énoncés fonctionnent moins bien, pour ainsi
améliorer les tests.

6. QUALIFICATIONS DE L’ÉQUIPE FAISANT PASSER LES ÉPREUVES

Les listes suivantes de qualifications sont fournies à titre indicatif pour les équipes chargées de l’élaboration, de la
conception et de l’organisation des épreuves ainsi que pour les organismes qui projettent de louer les services de
fournisseurs de services d’évaluation. Au sein d’une équipe d’évaluation, la même personne peut combiner plusieurs
domaines de savoir-faire ou jouer plusieurs rôles.
Circulaire OACI 318-AN/180 31

L’équipe d’évaluation devrait comprendre des spécialistes de la conception, de l’élaboration et de l’organisation de tests,
ainsi que des interlocuteurs et des évaluateurs.

6.1 Connaissance de la documentation de l’OACI

6.1.1 Tous les membres de l’équipe d’évaluation devraient connaître les publications suivantes de l’OACI :

a) les normes et pratiques recommandées pertinentes de l’Annexe 1 ;

b) les descripteurs holistiques (Appendice 1 à l’Annexe 1) et l’échelle d’évaluation de l’OACI (Supplé-


ment A à l’Annexe 1) ;

c) le manuel sur la mise en œuvre des spécifications de l’OACI en matière de compétences linguistiques
(Doc 9835) ;

d) le CD d’échantillons de parole notés publié par l’OACI.

6.2 Équipe de conception et d’élaboration des épreuves

6.2.1 L’équipe de conception et d’élaboration des épreuves devrait compter des individus spécialisés en opérations
aériennes, en élaboration d’évaluations linguistiques et en linguistique. L’équipe de conception et d’élaboration des
épreuves devrait posséder les trois types de compétences suivantes :

a) Compétences opérationnelles :

1) Expérience de radiotéléphonie en tant que pilote, contrôleur de la circulation aérienne ou opérateur


de station aéronautique ;

2) Expérience en opérations et procédures aéronautiques et connaissance pratique des pratiques


actuelles.

b) Compétences en élaboration d’évaluations linguistiques :

1) Spécialisation en élaboration d’évaluations linguistiques acquise par une formation, une expérience
dans l’enseignement ou une expérience professionnelle ;

2) Connaissance pratique des principes des bonnes pratiques en matière d’élaboration d’évaluations
linguistiques.

c) Compétences linguistiques :

1) Connaissance pratique des principes de la linguistique théorique et appliquée ;

2) Connaissance pratique des principes de l’apprentissage des langues ;

3) Expérience de l’enseignement des langues.

— Importance : Une équipe de conception et d’élaboration d’épreuves comprenant tous les types de
compétences précités offre la meilleure base possible pour assurer la réussite d’un projet d’élaboration
d’épreuves.
32 Circulaire OACI 318-AN/180

6.3 Équipe d’organisation des épreuves : organisateurs et interlocuteurs

6.3.1 Les organisateurs d’épreuves et les interlocuteurs devraient avoir une connaissance pratique des lignes
directrices relatives à l’organisation d’épreuves publiées par l’organisme d’évaluation.

6.3.2 Les interlocuteurs devraient faire la preuve de leurs compétences linguistiques au moins au niveau avancé
(niveau 5) de l’OACI dans la langue à évaluer et de compétences de niveau expert (niveau 6) si le test est conçu pour
évaluer des compétences de niveau 6 sur l’échelle d’évaluation de l’OACI.

6.3.3 Les interlocuteurs devraient avoir réussi leur formation initiale d’interlocuteur.

6.3.4 Les interlocuteurs devraient suivre avec fruit des recyclages de formation à la fonction d’interlocuteur au
moins une fois par an.

6.3.5 Les interlocuteurs devraient avoir une maîtrise appropriée des opérations aériennes ou des évaluations
linguistiques ou des deux.

6.4 Savoir-faire de l’équipe d’évaluateurs

Au Chapitre 2, § 3.2, il est recommandé qu’au moins deux évaluateurs évaluent les épreuves linguistiques : l’un étant un
spécialiste de la langue et l’autre, un spécialiste des opérations aériennes.

a) Compétences opérationnelles. La participation d’experts opérationnels tels que des pilotes, des
contrôleurs, des instructeurs de vol ou des examinateurs au processus d’évaluation renforcera
l’intégrité opérationnelle du processus. Des évaluateurs ayant une expérience des opérations peuvent
aussi aider en jugeant en connaissance de cause d’un point de vue opérationnel des aspects de la
langue tels que la concision (exactitude et brièveté) du discours et l’intelligibilité des accents et
dialectes qui sont acceptables pour la communauté aéronautique.

b) Compétences linguistiques. Comme les évaluations linguistiques à des fins de délivrance de licences
auront une incidence sur les carrières professionnelles des candidats ainsi que sur la réputation des
exploitants et des fournisseurs de services et, à terme, sur la sécurité des passagers et des
équipages de conduite, les évaluateurs devraient être capables non seulement d’interpréter
correctement les descripteurs de l’échelle d’évaluation mais aussi d’identifier avec précision les points
forts et les points faibles de la prestation des candidats. Seuls des spécialistes de la langue qualifiés
agissant en tant qu’évaluateurs peuvent repérer et décrire ces points forts et ces points faibles.

Il est possible que des non-spécialistes ou des « évaluateurs non spécialisés » (des personnes n’ayant aucune
formation ou qualification universitaire en enseignement ou évaluation des langues) puissent porter des jugements
informels sur les compétences linguistiques, surtout dire si le candidat réussit ou pas. Toutefois, des candidats qui
échouent à un test assorti d’enjeux élevés exigeront et mériteront d’obtenir des informations précises sur les raisons
pour lesquelles leur prestation n’a pas atteint le niveau cible (dans ce cas, le niveau 4 de compétence linguistique) et sur
les domaines sur lesquels ils devraient concentrer leurs efforts pour améliorer leur performance. De même, une
justification détaillée d’une note de passage accordée à un candidat (dans ce cas, un résultat général de 4, 5 ou 6 en
compétence linguistique) devra être documentée et archivée.

6.4.1 Les évaluateurs devraient prouver qu’ils ont au moins des compétences linguistiques de niveau avancé
(niveau 5) sur l’échelle d’évaluation de l’OACI dans la langue à évaluer. Si le test est conçu pour évaluer un niveau
« expert » (niveau 6) de compétence selon l’échelle de l’OACI, les évaluateurs devront prouver qu’ils maîtrisent cette
langue au niveau 6 de l’OACI.
Circulaire OACI 318-AN/180 33

— Signification : Pour pouvoir évaluer de façon crédible et efficace les compétences linguistiques de
candidats, les évaluateurs doivent apporter la preuve qu’ils ont un niveau de compétence au moins
égal au niveau le plus élevé que les candidats peuvent atteindre pendant l’évaluation.

— Importance : Pour assurer la sécurité, les pilotes et contrôleurs de la circulation aérienne attendent
que les examinateurs et les inspecteurs qui les évaluent pendant leur entraînement opérationnel, et
régulièrement ensuite, satisfassent à des critères stricts. L’évaluation des compétences linguistiques
devrait suivre la même pratique, vu les énormes enjeux qu’elle recèle. De plus, les candidats peuvent
mettre en doute la validité et la fiabilité du test et du processus d’évaluation s’ils ont des doutes
concernant la crédibilité et les qualifications de l’évaluateur.

6.4.2 Les évaluateurs devraient bien connaître l’anglais aéronautique et tout vocabulaire ou toute structure
susceptibles d’être suscités par les énoncés-guides et les interactions.

— Signification : Pour pouvoir évaluer de façon crédible et efficace les compétences linguistiques de
candidats, les évaluateurs doivent bien connaître le vocabulaire et les structures que les candidats
sont susceptibles d’utiliser pendant l’épreuve.

— Importance : La communication entre pilotes et contrôleurs est hautement spécialisée ; elle comporte
des termes spécifiques à l’aviation (par ex. les repères d’approche et d’attente) ainsi que des termes
et structures usuels qui revêtent des acceptions univoques et spécifiques pour les pilotes et les
contrôleurs (par ex. approche et autorisé). Un évaluateur qui ne connaît pas bien ces termes peut être
décontenancé ou distrait par ces termes pendant une interaction de l’épreuve ; de même, un
évaluateur qui ne comprend pas comment les pilotes et les contrôleurs interagissent les uns avec les
autres peut éprouver des difficultés à comprendre les déclarations faites par les candidats. Dans de
tels cas, l’évaluateur pourrait ne pas être à même d’évaluer de façon efficace les compétences
linguistiques des candidats dans cet environnement.

— Informations complémentaires : Le processus de formation des évaluateurs devrait comporter une


composante de « familiarisation avec l’aviation » afin que les évaluateurs puissent comprendre —
autant que leur rôle l’exige — les aspects techniques des propos qu’ils entendront pendant les
épreuves.

6.4.3 Les évaluateurs devraient avoir réussi leur formation initiale d’évaluateur.

6.4.4 Les évaluateurs devraient suivre avec fruit des recyclages de formation à la fonction d’évaluateur au moins
une fois par an.

— Importance : La formation initiale et les recyclages visant à normaliser le comportement des évaluateurs
sont cruciaux pour l’objectivité. Pour les épreuves linguistiques, la norme devrait prévoir pour les
évaluateurs environ 40 heures de formation initiale à l’évaluation et 24 à 40 heures de recyclage par an.

_____________________
Chapitre 3

LISTE DE VÉRIFICATIONS POUR LES ÉPREUVES


LINGUISTIQUES POUR L’AVIATION

Les fournisseurs de services d’évaluation devraient documenter leur respect des Critères recommandés par l’OACI pour
les épreuves linguistiques pour l’aviation en complétant la liste de vérifications ci-dessous et en produisant des preuves
pour chaque point de cette liste de vérifications avec renvoi à la numérotation des critères. Les numéros des entrées de
cette liste correspondent à la numérotation des critères énoncés au Chapitre 2 du présent document.

1. CONCEPTION ET CONSTRUIT DES TESTS

Oui / Non Notes

1.1 L’épreuve est conçue pour évaluer les compétences en expression orale et compréhension à l’audition
conformément à chacune des composantes de l’échelle d’évaluation des compétences linguistiques établie
par l’OACI et aux descripteurs holistiques figurant dans l’Annexe 1.

1.1.1 Une définition de l’objectif de l’épreuve en termes


tant de buts de l’épreuve que de groupe cible est-
elle accessible à tous les décideurs ?

1.1.2 Une description et une explication du construit du


test — et de la façon dont ce test satisfait aux
spécifications de l’OACI en matière de
compétences linguistiques — sont-elles à la
disposition de tous les décideurs en langage clair,
accessible aux non-spécialistes ?

1.1.3 Le test respecte-t-il les principes de bonnes


pratiques et un code d’éthique, tels qu’exposés
dans le Doc 9835 ?

1.1.4 Le test se concentre-t-il sur des points isolés, plus


précisément sur de la grammaire ou sur des points
spécifiques de vocabulaire ?

35
36 Circulaire OACI 318-AN/180

Oui / Non Notes

1.1.5 Une section spécifique pour la compréhension à


l’audition assortie de questions distinctes est-elle
incluse ?

Note.— Si la compréhension est évaluée par le


biais d’une section de compréhension spécifique
avec des questions distinctes, elle ne devrait PAS
se faire au détriment de l’évaluation de l’interaction.

1.1.6 Le test comprend-il une interaction en phonie


uniquement ?

1.2 Le test est spécifique aux opérations aériennes.

1.2.1 Le test évalue-t-il les compétences en langage clair


dans un contexte aéronautique ?

1.2.2 Le test évite-t-il des points qui sont destinés à


susciter des utilisations hautement techniques ou
très pointues de la langue ?

1.3 Les critères des six compétences déterminées par l’OACI sont évalués et font l’objet d’un rapport.

La note finale de chaque candidat est-elle la plus


basse des notes obtenues dans chacune des six
compétences linguistiques déterminées par
l’OACI ?

2. VALIDITÉ ET FIABILITÉ DES ÉPREUVES

Oui / Non Notes

2.1 Un énoncé des preuves de la validité et de la


fiabilité des épreuves est-il à la disposition de tous
les décideurs, en langage clair, accessible aux
non-spécialistes ?

2.2 Une description du processus d’élaboration


incluant les renseignements suivants est-elle à la
disposition de tous les décideurs ?

• un résumé du calendrier d’élaboration


• un rapport sur chaque phase d’élaboration.

2.3 Une évaluation de l’effet attendu de rétroaction du


test sur la formation est-elle à la disposition de
tous les décideurs ?
Circulaire OACI 318-AN/180 37

3. NOTATION

Oui / Non Notes

3.1 Le processus de notation est-il documenté ?

3.2 Pour satisfaire aux exigences de délivrance de


licences, au moins deux évaluateurs participent-ils
à la notation des épreuves, un troisième expert
étant consulté en cas de notations divergentes ?

3.3 La formation initiale et continue des évaluateurs


est-elle documentée ? Tient-on des dossiers sur la
formation des évaluateurs ? Des audits des
évaluateurs sont-ils menés régulièrement et leurs
rapports sont-ils consignés ?

3.4 Si la notation se fait à l’aide de nouvelles


technologies, notamment la technologie de
reconnaissance vocale, a-t-on apporté clairement
la preuve de la correspondance de ces notations
avec la notation humaine de tous les aspects de
l’échelle d’évaluation, dans un rapport rédigé en
langage accessible aux non-spécialistes ?

4. ORGANISATION ET SÉCURITÉ DES ÉPREUVES

Oui / Non Notes

4.1 Organisation des épreuves

4.1.1 Un échantillon complet du test est-il publié,


comprenant notamment :

• les documents du candidat (instructions sur


papier, captures d’écrans, etc.) ;
• les instructions de l’interlocuteur ou les
énoncés-guides ;
• la documentation de l’évaluateur (corrigés,
échelle d’évaluation, instructions) ;
• un échantillon complet des enregistrements
audio (pour les sections de compréhension à
l’audition ou les énoncés-guides d’une
évaluation semi-directe) ;
• une démonstration d’une interaction entre un
candidat et un interlocuteur.
38 Circulaire OACI 318-AN/180

Oui / Non Notes

4.1.2 Le processus de notation du test est-il documenté


et cette documentation inclut-elle des instructions
sur la portée et la nature des preuves que doivent
recueillir les évaluateurs ?

4.1.3 Les instructions données aux candidats, à l’équipe


d’organisation du test et aux évaluateurs sont-elles
clairement documentées ?

4.1.4 Les besoins en équipements, ressources humaines


et installations nécessaires pour l’épreuve sont-ils
mentionnés dans les instructions ?

4.1.5 Le local où se déroule l’épreuve est-il assez


confortable, calme et à accès strictement réservé ?

4.1.6 Une description complète des politiques et


procédures d’organisation de l’épreuve est-elle à la
disposition de tous les décideurs ? Comprend-elle
les éléments suivants ?

• possibilités de se représenter à l’épreuve


• procédures de dépôt des notes
• dispositions concernant la tenue des dossiers
• plans relatifs au contrôle de la qualité, à la tenue
à jour des tests et à l’élaboration permanente de
tests
• conditions d’achat

4.1.7 Une procédure de recours a-t-elle été établie,


documentée et mise à la disposition des candidats
et des décideurs au début du processus
d’évaluation ?

4.2 Sécurité des épreuves

4.2.1 Une description complète des mesures de sécurité


nécessaires pour assurer l’intégrité de la procédure
d’évaluation est-elle documentée et mise à la
disposition de tous les décideurs ?

4.2.2 Dans le cas d’énoncés-guides pour des


évaluations semi-directes, existe-t-il des versions
multiples du test pour répondre aux besoins de
la population à tester en termes de taille et de
diversité ?
Circulaire OACI 318-AN/180 39

Oui / Non Notes

4.2.3 Les questions et énoncés des tests sont-ils tenus


secrets ? Se garde-t-on de les publier ou de les
fournir de quelque manière que ce soit aux
candidats avant le test ?

4.2.4 Une politique documentée couvrant tous les


aspects de la sécurité des tests est-elle à la
disposition de tous les décideurs ?

4.3 Tenue de dossiers

4.3.1 Tous les tests de compétence en expression orale


sont-ils enregistrés sur des supports audio ou
vidéo ?

4.3.2 Les feuilles d’évaluation et la documentation qui s’y


rapporte sont-elles archivées pendant une période
de temps prédéterminée et documentée, d’une
durée suffisante pour garantir que plus aucun
recours ne peut être déposé à l’encontre des notes
attribuées ?

4.3.3 Le processus d’archivage des dossiers est-il


documenté et adéquat par rapport à la portée de
l’évaluation ?

4.3.4 Le processus de dépôt des notes est-il documenté


et les notes obtenues sont-elles conservées
pendant toute la durée de la licence ?

4.3.5 Les résultats des évaluations sont-ils tenus


strictement confidentiels et dévoilés uniquement
aux candidats, à leurs parrains ou à leurs
employeurs et à l’autorité de l’aviation civile, à
moins que les candidats ne donnent une
autorisation écrite de communiquer leurs résultats
à une autre personne ou organisation ?

5. INFORMATIONS ORGANISATIONNELLES ET INFRASTRUCTURES

Oui / Non Notes

5.1 Le fournisseur de services d’évaluation linguistique


pour l’aviation a-t-il donné des informations claires
sur son organisation et sur ses relations avec
d’autres organisations ?
40 Circulaire OACI 318-AN/180

Oui / Non Notes

5.2 Si un fournisseur de services d’évaluation est


aussi un fournisseur de formations, existe-t-il une
séparation claire et documentée entre ces deux
activités ?

5.3 Le fournisseur de services d’évaluation emploie-t-il


suffisamment d’interlocuteurs et d’évaluateurs
qualifiés pour organiser les tests requis ?

5.4 Le fournisseur de services d’évaluation a-t-il donné


une explication quant à la façon dont les tests sont
tenus à jour, y compris sur l’élaboration
permanente des tests ?

6. QUALIFICATIONS DE L’ÉQUIPE FAISANT PASSER LES ÉPREUVES

Oui / Non Notes

6.1 Connaissance de la documentation de l’OACI

6.1.1 Tous les membres de l’équipe d’évaluation


connaissent-ils les publications suivantes de
l’OACI :

• Normes et pratiques recommandées


pertinentes de l’Annexe 1
• Descripteurs holistiques (Appendice 1 à
l’Annexe 1) et l’échelle d’évaluation de
l’OACI (Supplément A à l’Annexe 1)
• Manuel sur la mise en œuvre des
spécifications de l’OACI en matière de
compétences linguistiques (Doc 9835)
• CD d’échantillons de parole notés publié
par l’OACI.

6.2 Équipe de conception et d’élaboration des épreuves

6.2.1 L’équipe de conception et d’élaboration des


épreuves compte-t-elle des individus spécialisés
en opérations aériennes, en élaboration
d’évaluations linguistiques et en linguistique ?

6.3 Organisateurs d’épreuves et interlocuteurs

6.3.1 Les organisateurs d’épreuves et les


interlocuteurs ont-ils une connaissance pratique
des lignes directrices concernant l’organisation
des épreuves ?
Circulaire OACI 318-AN/180 41

Oui / Non Notes

6.3.2 Les interlocuteurs ont-ils prouvé qu’ils ont des


compétences linguistiques correspondant au
moins au niveau avancé (niveau 5) de l’OACI
dans la langue à évaluer et des compétences de
niveau expert (niveau 6) si le test est conçu pour
évaluer des compétences de niveau 6 sur
l’échelle d’évaluation de l’OACI ?

6.3.3 Les interlocuteurs ont-ils réussi leur formation


initiale d’interlocuteur ?

6.3.4 Les interlocuteurs ont-ils suivi avec fruit des


recyclages de formation à la fonction
d’interlocuteur au moins une fois par an ?

6.3.5 Les interlocuteurs ont-ils une maîtrise appropriée


des opérations aériennes ou des évaluations
linguistiques ou des deux ?

6.4 Savoir-faire de l’équipe d’évaluateurs

6.4.1 Les évaluateurs ont-ils prouvé qu’ils ont des


compétences linguistiques correspondant au
moins au niveau avancé (niveau 5) de l’OACI
dans la langue à évaluer et des compétences de
niveau expert (niveau 6) si le test est conçu pour
évaluer des compétences de niveau 6 sur
l’échelle d’évaluation de l’OACI ?

6.4.2 Les évaluateurs connaissent-ils bien l’anglais


aéronautique et tout vocabulaire et toute
structure susceptibles d’être suscités par les
énoncés-guides et les interactions ?

6.4.3 Les évaluateurs ont-ils réussi leur formation


initiale d’évaluateur ?

6.4.4 Les évaluateurs ont-ils suivi avec fruit des


recyclages de formation à la fonction
d’évaluateur au moins une fois par an ?

_____________________
GLOSSAIRE DES TERMES ET ACRONYMES RELATIFS
AUX COMPÉTENCES LINGUISTIQUES ET
AUX ÉPREUVES LINGUISTIQUES

Accent. Une prononciation particulière d’une langue généralement associée à une région géographique (pour les
locuteurs natifs) ou à l’influence phonologique d’une autre langue maternelle (pour les locuteurs de langue seconde
ou de langue étrangère). Tous les locuteurs de toutes les langues ont un accent.

Amorçage. L’énoncé parlé d’un enregistrement audio ou d’un interlocuteur en face à face, qui invite le candidat se
présentant à une épreuve orale à donner une réponse parlée.

Candidat. La personne qui est testée.

Compétences linguistiques. La connaissance et les aptitudes qui ont une influence sur la capacité d’un individu à
communiquer de manière spontanée, précise, intelligible, sensée et appropriée dans une langue donnée.

Note.— Six compétences distinctes sont identifiées dans l’échelle d’évaluation de l’OACI.

Construit du test. Capacité hypothétique ou trait psychologique non nécessairement observable ou mesurable
directement, par exemple, la capacité d’écoute. Les épreuves linguistiques tentent de mesurer les différents
construits qui sous-tendent l’aptitude linguistique.

Descripteur. Une brève description d’un aspect de la langue à l’intérieur d’une catégorie d’une échelle d’évaluation, qui
résume le degré de compétence ou le type de prestation qu’un candidat est censé réaliser pour atteindre la note en
question. La catégorie peut contenir plusieurs descripteurs.

Dialecte. Une variété distincte d’une langue, généralement liée à des distinctions sociales ou géographiques, qui se
caractérise par des différences d’accent, de vocabulaire et de grammaire par rapport à d’autres variétés de la
même langue.

Échelle d’évaluation. Une échelle comportant plusieurs catégories classées par ordre, utilisée pour juger d’une
prestation. Elle s’accompagne généralement de descripteurs qui clarifient l’interprétation des catégories.

Effet de rétroaction. L’influence du format ou du contenu des tests ou des examens sur les méthodes et le contenu des
enseignements et apprentissages effectués en vue de l’évaluation.

Énoncé. Chaque énoncé d’un test auquel est attribuée une note distincte.

Énoncé-guide. Un énoncé ou une question qui demande au candidat de répondre.

Évaluateur. Une personne ayant la formation et les qualifications requises qui attribue une note à la prestation d’un
candidat à une épreuve, sur la base d’un jugement qui s’appuie généralement sur une comparaison d’éléments
de la prestation aux descripteurs d’une échelle d’évaluation.

• Évaluateur linguistique. Un évaluateur qui jugera les éléments linguistiques de la prestation d’un candidat à
une épreuve (comparer avec « évaluateur opérationnel »).

43
44 Circulaire OACI 318-AN/180

• Évaluateur opérationnel. Un évaluateur qui jugera non seulement les éléments linguistiques de la prestation
d’un candidat mais aussi la pertinence de la prestation d’un candidat à une épreuve par rapport aux normes et
procédures professionnelles (comparer avec « évaluateur linguistique »).

Note.— La connaissance des procédures opérationnelles n’est pas testée pendant les épreuves linguistiques.

Évaluation des compétences linguistiques dans le contexte opérationnel. (Terme spécifique au Doc 9835.)
L’évaluation des compétences linguistiques par le biais d’une procédure élaborée dans un but différent (par
exemple, pendant un contrôle en vol ou un examen ATC). De telles évaluations devraient toutefois être réalisées
conformément aux principes reconnus des meilleures pratiques en matière d’évaluation linguistique.

Évaluation linguistique spécialisée. (Terme spécifique au Doc 9835). L’évaluation des compétences linguistiques à
l’aide d’une procédure élaborée dans ce but uniquement et conformément aux principes reconnus des meilleures
pratiques en matière d’évaluation linguistique.

Fiabilité. La cohérence ou la stabilité des mesures réalisées à partir d’un test.

Fiabilité entre évaluateurs. La cohérence ou la stabilité des notes entre différents évaluateurs.

Fiabilité propre à l’évaluateur. La cohérence ou la stabilité des notes données par un seul évaluateur aux mêmes
prestations à des moments différents.

Interlocuteur. Une personne ayant la formation et les qualifications adéquates avec qui un candidat interagit pendant
une épreuve afin de mener à bien une tâche d’expression orale.

Isolé. Se dit d’un énoncé ou d’une question d’une épreuve n’ayant aucun lien avec quelque autre énoncé ou question
de la même épreuve.

Langage clair. L’utilisation spontanée, créative et non codée d’une langue naturelle donnée.

NOTES.—

1) Le langage clair sera utilisé « uniquement lorsque les expressions conventionnelles normalisées ne
conviennent pas à la transmission envisagée ». (Annexe 10, Vol II, § 5.1.1.1.)

2) Le choix du terme « clair » vient de la documentation existante de l’OACI au moment de la formulation des
spécifications en matière de compétences linguistiques et a été préféré à d’autres termes de candidats, tels
que langage « général », « courant », « élargi » ou « naturel ».

3) Le terme anglais « plain English » n’est nullement lié au mouvement « Plain English » qui, au Royaume-Uni et
aux États-Unis, vise à privilégier l’utilisation d’une langue simple en lieu et place de la langue inutilement
compliquée utilisée par les gouvernements, les entreprises et d’autres autorités.

Non-spécialiste. Une personne qui n’a pas une connaissance spécialisée d’un sujet (par exemple, les évaluations
linguistiques).

Note. Le résultat chiffré ou codé de la prestation d’un candidat à une épreuve, qui permet d’établir des comparaisons
avec d’autres candidats à la même épreuve ou avec une norme déterminée.

Noter. Attribuer une note à une prestation d’un candidat à une épreuve, sur la base d’un jugement subjectif.

Note.— Le risque de non-fiabilité causé par la subjectivité des individus est compensé par l’offre d’une formation
initiale et de recyclages aux évaluateurs, par un renvoi régulier à une échelle d’évaluation standard et par le recours à
plusieurs évaluateurs.
Circulaire OACI 318-AN/180 45

Objectif du test. Les comportements linguistiques qu’un test demande aux candidats de prouver.

Organisateur de tests. La personne qui supervise et gère l’organisation de tests.

Organisation. La date ou la période pendant laquelle une épreuve se déroule.

OU

Les actions requises pour faire passer une épreuve à un groupe de candidats dans des conditions spécifiées. Les
spécifications pourraient couvrir les procédures d’inscription, les instructions pour le placement des candidats dans
le local, les équipements nécessaires et les paramètres de temps pour chaque tâche de l’épreuve.

Réponse. La prestation linguistique d’un candidat suscitée par l’intrant d’un énoncé de l’épreuve (par ex. une réponse à
une question).

Système d’évaluation. Une combinaison de toutes les composantes nécessaires pour organiser une épreuve donnée,
y compris le matériel nécessaire à l’épreuve et l’organisation de la tenue à jour du test, du passage du test, de
l’évaluation et de la notation.

Tâche de l’épreuve. La combinaison d’un ensemble unique d’instructions donné aux candidats pour guider leurs
réponses à une tâche particulière et les amorçages et réponses qui y sont associés.

Tenue à jour des tests. Les activités d’un organisme d’évaluation destinées à préserver la fiabilité, la validité et la
sécurité des tests au fil du temps. Ces activités comprennent la surveillance des résultats aux tests et de la fiabilité
des évaluateurs, la conception et l’essai de nouveaux énoncés de test, la production de nouvelles versions du test
et le réexamen des instructions données aux organisateurs du test.

Test de langue indirect. Un test qui mesure la capacité ou les connaissances sous-tendant l’aptitude que ce test
entend évaluer. Par exemple, tester la prononciation des apprenants en leur demandant de faire correspondre des
mots qui riment les uns avec les autres ou présenter des questions écrites à choix multiple pour tester la maîtrise
de la grammaire.

Utilisateur du test. Les personnes ou institutions qui utilisent un test et à qui les résultats du test sont communiqués
afin de leur permettre de poser des choix ou de prendre des décisions ou des mesures en connaissance de cause.

Valider. Entreprendre, pendant l’élaboration et la tenue à jour d’un test, des actions qui prouvent la validité de ce test.

Validité. La mesure dans laquelle les résultats à un test permettent de tirer des conclusions sur les compétences
linguistiques qui sont appropriées, sensées et utiles, vu le but du test.

ACRONYMES

ALTE Association of Language Testers in Europe


ILTA International Language Testing Association
JLTA Japan Language Testing Association
SARP Normes et pratiques recommandées
TI Technologies de l’information
TOEFL Test of English as a Foreign Language

— FIN —
Page blanche
Page blanche