1

Génération d’exemples pour l’évaluation de

l’apprenant en électronique numérique à
l'aide d'un algorithme de classification

Mariam TANANA*, Nicolas DELESTRE**, Jean-Pierre

PECUCHET**, Mustapha BENNOUNA***
* Laboratoire LITIS / INSA de Rouen, France – Laboratoire LTI / ENSA de
Tanger – Université Abdelmalak Essaâdi, Maroc
mariam.tanana@insa-rouen.fr
** Laboratoire LITIS / INSA de Rouen, France
nicolas.delestre@insa-rouen.fr
jean-pierre.pecuchet@insa-rouen.fr
*** Université Abdelmalak Essaâdi, Tetouan, Maroc

RÉSUMÉ. L’utilisation d’algorithmes de classification par apprentissage supervisé a été

proposée pour évaluer le « savoir » des apprenants. Notre hypothèse est que ces mêmes
algorithmes vont aussi nous permettre d'évaluer leur « savoir-faire ». Notre domaine
d'application étant l'électronique numérique, nous proposons une mesure de similarité entre
schémas électroniques et une base d’apprentissage générée automatiquement. Cette base
d'apprentissage est composée de schémas électroniques pédagogiquement étiquetés (« bons »
ou « mauvais » avec des informations concernant le degrés de simplification). Finalement,
l’utilisation d’un algorithme de classification simple (le k-ppv) nous permet de faire une
évaluation formative dans la majorité des cas.
MOTS-CLÉS : Évaluation formative, schéma électronique, mesure de similarité entre graphes,
classification supervisée.

1. Introduction

Dans un précédent article [TANANA et al. 08], nous avons proposé une nouvelle
méthode d’évaluation formative du savoir-faire de l’apprenant en utilisant des
algorithmes de classification. Pour valider notre hypothèse, nous avons choisi
comme domaine d’application l’électronique numérique, nous avons alors essayé
d’évaluer des schémas électroniques produits par des étudiants d’écoles
d’ingénieurs. Ainsi, nous avons défini une mesure de similarité entre schémas, qui a
été validée par une première expérimentation. Une deuxième expérimentation, en
utilisant en plus un algorithme de classification (1-ppv) et une base d’apprentissage,
nous a permis d’identifier avec exactitude ou de façon très proche, plus du 2/3 des
productions « correctes » des apprenants. Finalement, nous avons conclu par la

Environnements Informatiques pour l’Apprentissage Humain, Le Mans 2009

2 Environnements Informatiques pour l’Apprentissage Humain, Le Mans 2009

nécessité d’augmenter le nombre d’exemples dans la base d’apprentissage, mais de

façon automatique. Dans cet article, nous commençons par une présentation des
méthodes d’évaluation de l’apprenant. Ensuite, nous présenterons notre contexte de
travail avec quelques définitions. Nous définirons notre hypothèse de travail, qui sera
expérimentalement testée avec les mêmes données que l’article précédent, et nous
finirons par la conclusion et les perspectives à venir.

2. Méthodes et outils pour l’évaluation de l’apprenant

Avant d'évaluer un apprenant, un enseignant doit se poser deux questions

principales :
Tout d'abord, « quel est l'objectif de cette évaluation ? ». Si cet objectif est de
prévoir la réussite de l’élève dans une formation, il s’agit de faire une évaluation
pronostique en début ou fin de formation. Si c’est de valider une Unité de Valeur, un
cours, une année ou un diplôme, il s'agit alors de faire une évaluation sommative, qui
a généralement lieu en fin du cycle d'apprentissage. Finalement, si cet objectif est de
guider et de réguler l’élève dans son travail, il s'agit alors d'une évaluation formative
qui a lieu pendant le cycle d'apprentissage [LIEURY 96][JORRO 00]. Dans tous les
cas, cette évaluation est critériée si les objectifs sont définis de façon précise,
normative si on aboutit à un classement.
Ensuite, « quel niveau de connaissance veut-il évaluer ? » : Est-ce seulement le
fait de connaître un théorème ou bien de savoir appliquer une formule [BLOOM 56].
De cette manière, et en fonction de l’objectif pédagogique visé, on sera amené à
utiliser des outils d’évaluation plus ou moins complexes.
Dans le cas d’un logiciel d’évaluation, on doit alors définir :
- le niveau de connaissance à évaluer ;
- les connaissances que l’on doit apporter au système à sa création ;
- les connaissances que l’on doit apporter au système à la création d’un exercice.
Par exemple, les QCM sont des systèmes simples, qui ne nécessitent pas
beaucoup de connaissances à la création, mais demandent un investissement
important à la création de chaque exercice. D’un autre côté, les ITS (Intelligent
Tutoring Systems) basés généralement sur les Systèmes à base de règles
[BRUILLARD 97, BUCHE 05] , et très liés à un domaine d’application donné
[NICAUD et al. 06, VANLEHN et al. 05], nécessitent beaucoup de connaissances à la
création du système, mais très peu au moment de produire des exercices. Notre
objectif est d’optimiser l’apport de connaissance à la création du système et à la
création de chaque exercice (peu de connaissances à la création du système et peu de
connaissances à la création des exercices).
 Evaluation de l’apprenant à l’aide d’un algorithme de classification 3

3. Contexte pédagogique

Nous avons choisi comme domaine d’application l’électronique numérique où la

mise en place des travaux pratiques est une phase obligatoire pour cet enseignement.
Les élèves sont amenés à travailler en groupe sur du matériel réel ou virtuel pour la
réalisation et la conception de circuits logiques. En dehors de la préparation des TP
eux-mêmes, le travail le plus fastidieux pour l’enseignant reste l’évaluation des
résultats fournis par les élèves. En effet, il est quelques fois difficile de comprendre
et corriger un schéma électronique réalisé par un élève, et d'autant plus, si le nombre
des schémas est élevé. Notre objectif est donc de proposer une aide à la correction
destinée à faciliter la tâche d’évaluation des productions des apprenants.

3.1. Circuit logique

Un circuit logique est la définition d’un circuit électronique réalisant une ou
plusieurs fonctions logiques. Il est composé d’un ensemble de portes logiques
interconnectées entre-elles. Il possède n entrées Ei (1≤ i ≤ n) et m sorties Sj (1≤ j ≤ m), de
telle sorte que Sj=f(E1, …, En). f est appelée « fonction logique ». Un circuit logique
peut être représenté par un graphe orienté acyclique. En effet, quand on part d’une
entrée et que l’on se déplace de porte en porte en suivant les connexions, on atteint
nécessairement une des sorties du circuit.
Généralement, les exercices proposés aux élèves, demandent de faire la synthèse
d’un circuit logique répondant à certaines spécificités. La démarche classique pour
faire la synthèse d’un circuit logique combinatoire est la suivante :
- définir le nombre des entrées et sorties du circuit;
- construire la table de vérité1 à partir de la définition du circuit;
- déduire la fonction logique du circuit à l’aide de méthodes de simplification :
tables de Karnaugh, lois de l’algèbre de Boole. L’objectif est d’obtenir une
fonction logique avec le minimum d’opérateurs logiques afin de réduire le
« coût » de réalisation du circuit;
- réalisation du schéma électronique à l’aide des différents opérateurs : NOT,
AND, OR, NAND, NOR, XOR, NXOR. Le schéma obtenu est optimal, si la
fonction logique correspondante a été simplifiée de façon optimale. Il peut
exister plusieurs solutions.
Or, nous ne disposons que de la production finale de l’élève. Cette production est
obtenue grâce à un simulateur Open Source [BURCH 02] qui permet de créer et de
tester des schémas de circuits électroniques.

1 Tableau renseignant les états de chaque sortie en fonction de tous les états possibles des
entrées.
4 Environnements Informatiques pour l’Apprentissage Humain, Le Mans 2009

3.2. Les algorithmes de classification

Dans [TANANA et al. 08], nous avons utilisé un algorithme de classification par
apprentissage supervisé, le k-ppv (avec k=1)[DUDA 01], pour évaluer (évaluation
sommative et formative) le savoir-faire de l’apprenant dans le domaine de
l’électronique numérique. Le principe de cet algorithme est d’essayer de déterminer
l’étiquette d’une nouvelle donnée, à partir d’un ensemble de données préalablement
étiquetées (que l’on nomme « données d’apprentissage » ou « base d'apprentissage »)
et d’une mesure de similarité entre deux données. Les systèmes utilisant de tel
algorithme ne demandent pas, à priori, beaucoup de connaissance sur le domaine,
puisque celle-ci est censée être contenue dans la base d'apprentissage. Ceci lui
procure donc un avantage sur d’autres méthodes où l’expertise doit être
complètement explicitée.

3.3. Mesure de similarité entre schémas électroniques

Nous avons vu que les schémas électroniques pouvaient être représentés par des
graphes orientés acycliques. Or il existe dans la littérature plusieurs algorithmes de
mesure de similarité ou mieux de distance entre graphes [CONTE et al 04]. Par
exemple, Bunke dans [BUNKE et ALLERMANN 83][NEUHAUS, RIESEN et
BUNKE 06][RIESEN et BUNKE 08] a proposé plusieurs algorithmes de mesure de
similarité basés sur la distance d'édition de graphes ou « Graph Edit Distance ». Le
principe de ces algorithmes est le suivant : étant donné deux graphes g1 et g2, l’idée
est d'appliquer une séquence de transformations sur g1 (ajout, suppression ou
insertion de nœuds et/ou liens) pour finalement transformer g1 en g2.
Chaque transformation ayant un coût prédéfini, le coût de la séquence est égale à
la somme des coûts de chaque transformation. La séquence de transformations qui
obtient un coût minimal représente la distance d’édition entre les deux graphes. Par
exemple, en partant du schéma électronique de la figure 1.a, différentes
transformations peuvent être appliquées aboutissant alors au schéma électronique de
la figure 1.c. Dans cet exemple, la distance de similarité entre 1.a et 1.c est égale à la
somme des coûts de T1 et de T2.

Figure 1. Exemple d’application de l’algorithme « Graph Edit Distance »

Nous avons ensuite accéléré cet algorithme en prenant en compte l’arité variable
de certains composants électroniques. Par exemple, les deux schémas électroniques
de la figure ci-dessous sont considérés comme équivalents. La distance de similarité
entre ces deux schémas est égale à zéro, même s’ils sont graphiquement différents.
 Evaluation de l’apprenant à l’aide d’un algorithme de classification 5

Figure 2. Exemple d’équivalence de deux schémas électroniques

4. Évaluation du savoir-faire de l’apprenant en électronique numérique

4.1. Hypothèse
Notre hypothèse générale est que les algorithmes de classification vont nous
permettre d’effectuer une « évaluation formative » des schémas électroniques
produits par les élèves en se basant uniquement sur la production finale (schéma
électronique) fournie par le simulateur Open Source [BURCH 02], et non sur le
déroulement des différentes étapes de la synthèse.
Dans [TANANA et al. 08], nous avons conclu qu’il était nécessaire d’augmenter le
nombre d’exemples de la base d’apprentissage, en se décidant de les produire de
façon automatique. Pour cela, nous avons développé un « générateur de schémas
électroniques » qui a permis de produire automatiquement des « bons » et aussi des
« mauvais » exemples. Ces mauvais exemples ont été générés et étiquetés en fonction
d'erreurs classiques étudiées lors de la synthèse d’un circuit logique.

4.2. Générateur automatique des données

Le principe de fonctionnement du générateur est inspiré de la méthode de Quine-
McCluskey [MCCLUSKEY 56]. Ce générateur permet de produire automatiquement
un ensemble de schémas électroniques issus d'une même table de vérité. Seul le
niveau de simplification de leur fonction logique de base est différent. Ce niveau
varie entre le niveau non simplifié (niveau 0) et le niveau le plus simplifié (niveau n).
Les niveaux intermédiaires correspondent à des simplifications intermédiaires de la
fonction logique.
De plus actuellement, nous rajoutons « manuellement », par manque de temps de
développement, un autre niveau de simplification (n+1). Ce niveau correspond à
l’utilisation d’opérateurs logiques composés, tels que le « XOR » ou le « NXOR ».
Toutefois, par la suite, il sera possible de développer cette option, comme le décrit
Turton dans [TURTON 96].

4.3. Description des données expérimentales

Afin de valider notre hypothèse, nous avons repris les résultats des élèves pour
l’exercice « additionneur binaire avec retenue » (64 productions d’apprenants avec
schémas) présentés dans [TANANA et al. 08]. C’est un exercice typique et simple,
6 Environnements Informatiques pour l’Apprentissage Humain, Le Mans 2009

proposé à des élèves de 3ème année d’école d’ingénieurs ou équivalent. Il est

constitué de 3 entrées (Ai, Bi et R-) et de 2 sorties (Si et R+). Nous avons alors classé
ces productions d'apprenants en utilisant :
- l’algorithme de classification « 1-ppv » (comme précédemment);
- notre nouvelle mesure de similarité entre schéma électronique;
- la nouvelle base d’apprentissage, plus complète, et qui a été générée
automatiquement.

4.4. Description et interprétation des résultats

Le tableau suivant présente une partie des résultats de cette expérimentation. La
première colonne représente le nom du circuit, la deuxième son statut (correct ou
incorrect), et les autres colonnes représentent les mesures de similarité du circuit de
l’apprenant par rapport à ceux de la base d’apprentissage (« Niv 0 », le circuit de
référence non optimisé, et « Niv 3 », les circuits de référence les plus optimaux). Un
circuit, dont la mesure de similarité est minimale par rapport à un circuit de référence
de niveau « n », appartient le plus probablement à cette catégorie de circuits. Pour
les circuits « incorrects », nous avons ajouté la notion de « Type » qui identifie le
type d’erreur pour cet exercice. De cette manière, les circuits « incorrects » ne seront
évalués que par rapport aux circuits de la base d’apprentissage ayant le même type
d’erreur.
Nom Statut Niv 0 Niv 1 Niv 2 Niv 3
001 Ok 24 11, 13, 19, 17, 17, 19, 17, 17, 19 0, 6, 8, 14, 8, 14 17, 17
002 Ok 33 24, 28, 28, 24, 28, 28, 24, 28, 28 17, 19, 17, 19, 17, 19 0, 2
003 Ok 33 24, 26, 28, 24, 28, 30, 24, 28, 30 17, 19, 19, 19, 19, 19 0, 8
010 Ok 33 24, 26, 28, 24, 28, 30, 24, 28, 30 17, 19, 19, 19, 19, 19 0, 8
011 Ok 33 24, 28, 28, 24, 28, 28, 24, 28, 28 17, 19, 17, 19, 17, 19 0, 2
019 Ko Erreur de construction éventuelle par rapport au circuit correct :
CircuitsDataBase\Add\S1\Ok\3\0 à une distance de 5
023 Ok 24 11, 13, 19, 17, 17, 19, 17, 17, 19 0, 6, 8, 14, 8, 14 17, 17
110 Ok 33 24, 24, 30, 24, 28, 30, 24, 28, 30 15, 21, 19, 21, 19, 21 8, 0
111 Ko, Type 7 18 12, 12, 14 0
116 Ok 0 9, 11, 13, 9, 11, 13, 9, 11, 13 18, 16, 18, 16, 18, 16 27, 27
118 Ko, Type 6 * 15, 17, 15 15
140 Ok 33 24, 28, 28, 24, 28, 28, 24, 28, 28 17, 19, 17, 19, 17, 19 0, 2
141 Ko Erreur sur les combinaisons [0,3]
…
Tableau 1. Extraits des résultats de l’évaluation de la sortie (S) de l’additionneur
Les résultats obtenus par cette expérimentation sont les suivants : parmi les 64
schémas, 59 ont été évalués « corrects » et identifiés de façon « exacte » dans la base
d’apprentissage, 1 schéma évalué « correct » et identifié de façon rapproché (à une
distance de 5 d’un circuit de référence de niveau 2). 3 circuits ont été évalués
« incorrects », 1 schéma a été identifié de façon exacte, un autre correspondait à une
erreur de construction (Circuit 019) et le dernier n’a pas pu être identifié de façon
 Evaluation de l’apprenant à l’aide d’un algorithme de classification 7

exacte. Ce qui nous donne un taux d’évaluation avec identification « exacte » dans la
base d’apprentissage de 94%. Pour la sortie R+ le taux d’identification « exacte » est
à 92%.
Nous avons étendu notre expérimentation à deux autres exercices : le
soustracteur (64 productions pour 2 sorties) et le complément à 2 (16 productions
pour 4 sorties). Pour la sortie S1 du soustracteur, 44 schémas ont été évalué corrects
et identifiés de façon « exacte », 1 schéma évalué correct et identifié à une distance
de 5 d’un circuit de référence, soit un taux d’identification de 98% pour les circuits
corrects. Pour les circuits incorrects, 12 circuits ont été « commentés » pour un
feedback vers l’apprenant et 5 circuits ont été repérés uniquement comme
« incorrects ».
De façon générale, le taux d’identification des circuits corrects est très
satisfaisant et il est au alentour de 87%. Pour les circuits incorrects, nous arrivons à
poser des hypothèses sur l’origine des erreurs dans à peu près 60% des cas.

5. Conclusion et perspectives

Dans cet article, nous avons proposé un générateur automatique de schémas

électroniques. Ce générateur nous a permis de compléter notre base d’apprentissage
avec schémas électroniques pédagogiquement étiquetés. Nous avons ensuite repris
les productions des élèves pour l’exercice de l’additionneur pour une nouvelle
expérimentation. Les résultats obtenus ont confirmés une nette augmentation dans le
taux d’identification (pour les circuits corrects 95% au lieu de 66% précédemment).
Ensuite, nous avons étendu notre expérimentation à deux autres exercices. Si l’on
considère le fait que cet outil est proposé à l’enseignant comme une aide à la
correction des productions des élèves, les résultats sont alors très satisfaisants.
Finalement, nous signalons que l’avantage de cette méthode est que l’enseignant a la
possibilité d’enrichir la base d’apprentissage avec des productions, étiquetées
manuellement, qui n’ont pas été identifiées par le système, et donc accroître le taux
de reconnaissance.
Par la suite, nous envisageons améliorer notre générateur automatique en
implémentant la partie du niveau (n+1).

6. Bibliographie

[BLOOM 56] Bloom, B.S. Taxonomy of educational objectives: The classification of

educational goals. Handbook I, cognitive domain. Longman, New York., 1956.
[BRUILLARD 97] Bruillard, E. Les machines à enseigner (Chapitre 5). Edition Hermès,
Paris, 1997.
8 Environnements Informatiques pour l’Apprentissage Humain, Le Mans 2009

[BUCHE 05] Buche, C. Un système tutoriel intelligent et adaptatif pour l’apprentissage de

compétences en environnement virtuel de formation. Thèse de l’Université de Bretagne
Occidentale, 2005.
[BUNKE et ALLERMAN 83] Bunke, H., Allermann, G. Inexact graph matching for
structural pattern recognition. Pattern Recognition Letters 1, 1983, pp 245–253.
[BURCH 02] Burch, C. Logisim: A Graphical System for Logic Circuit Design and
Simulation. Journal of Educational and Resources in Computing, Vol. 2, No. 1, March
2002, Pages 5–16.
[CONTE et al. 04] Conte, D., Foggia, P., Sansone, C., Vento, M. Thirty years of graph
matching in pattern recognition. Int. Journal of Pattern Recognition and Artificial
Intelligence , 2004, vol 18(3) 265–298.
[DUDA 01] Duda R., Hart P., et Stork D. Pattern Classification. Wiley Interscience - 2e
édition, 2001.
[JORRO 00] Jorro, A. L'enseignant et l'évaluation : Des gestes évaluatifs en question. De
Boeck Université, 2000.
[LIEURY 96], Lieury A., Manuel de psychologie de l’éducation et de la formation. Dunod,
1996, pp 271-369.
[MCCLUSKEY 56] E J McCluskey E.J. Minimization of Boolean functions, Bell Syst. Tech.
Journal , 1956, vol 35, no 5, pp 1417-1444.
[NEUHAUS, RIESEN et BUNKE 06] Neuhaus, M., Riesen, K., Bunke, H. Fast suboptimal
algorithms for the computation of graph edit distance. In Ribeiro, C., Martins, S., eds.:
Proc.11.th int. Workshop on Structural and Syntactic Pattern Recognition. LNCS3059,
Springer, 2006, pp 163–172
[NICAUD et al. 06] Nicaud J.F., Bittar M., Chaachoua H., Inamdar P., Maffei L. Experiments
of Aplusix in four countries. In International Journal for Technology in Mathematics
Education, 2006.
[RIESEN et BUNKE 08] Riesen, K., Bunke, H. Approximate Graph Edit Distance
Computation by Means of Bipartite Graph Matching. Elsevier, 2008.
[TANANA et al. 08] Tanana M., Delestre N., Pécuchet JP., Bennouna M. : Évaluation du
savoir-faire en électronique numérique à l’aide d’un algorithme de classification,
Colloque International TICE 2008, 27-29 Octobre 2008, Paris- France.
[TURTON 96] Brian C. H. Turton, Extending Quine-McCluskey for Exclusive-Or Logic
Synthesis, IEEE Transaction on Education, 1996, vol. 39, n° 1
[VANLEHN et al. 05] Vanlehn, K., Lynch, C., Schulze, K., Shapiro, J. A., Shelby, R. H.,
Taylor, L., Treacy, D. J., Weinstein, A., and Wintersgill, M. C. The Andes physics
tutoring system: Five years of evaluations. In: G. I. McCalla and C.-K. Looi (Eds.),
Proceedings of the Artificial Intelligence in Education Conference. Amsterdam: IOS.
2005.