Vous êtes sur la page 1sur 837

2 2 édition édition

Algorithmes

e e

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

Antoine Cornuéjols - Laurent Miclet

Apprentissage

artificiel

Concepts et algorithmes

Préface de Jean-Paul Haton

à 14:22 Antoine Cornuéjols - Laurent Miclet Apprentissage artificiel Concepts et algorithmes Préface de Jean-Paul Haton

2 e édition

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

Code éditeur : G12471 • ISBN : 978-2-212-12471-2

Antoine Cornuéjols est

professeur à AgroParisTech.

Il enseigne l’apprentissage

artificiel dans plusieurs

grandes écoles et en Master.

Ses recherches portent

notamment sur

l’apprentissage en ligne,

l’apprentissage à

partir de flux de données

ainsi que sur des

applications en

bioinformatique et sciences

du vivant.

Laurent Miclet est

professeur à l’ENSSAT

(www.enssat.fr) de Lannion,

université de Rennes-I,

et responsable du projet

CORDIAL de l’IRISA

(www.irisa.fr).

Il enseigne l’apprentissage

artificiel et la

reconnaissance des formes

dans plusieurs grandes

écoles et en Master.

Ses recherches portent en

particulier sur

l’apprentissage pour le

dialogue homme-machine et

les technologies vocales.

Apprentissage

artificiel

Les programmes d’intelligence artificielle sont aujourd’hui capables de reconnaître des commandes vocales, d’analyser automatiquement des photos satellites, d’assister des experts pour prendre des décisions dans des environnements complexes et évolutifs (analyse de marchés financiers, diagnostics médi- caux…), de fouiller d’immenses bases de données hétérogènes, telles les innombrables pages du Web… Pour réaliser ces tâches, ils sont dotés de modules d’apprentissage leur permettant d’adapter leur comportement à des situations jamais rencontrées, ou d’extraire des lois à partir de bases de données d’exemples. Ce livre présente les concepts qui sous-tendent l’apprentissage artificiel, les algorithmes qui en découlent et certaines de leurs applications. Son objectif est de décrire un ensemble d’algo- rithmes utiles en tentant d’établir un cadre théorique pour l’en- semble des techniques regroupées sous ce terme « d’apprentis- sage artificiel ».

À qui s’adresse ce livre ?

• Ce livre s’adresse tant aux décideurs et aux ingénieurs qui souhaitent mettre au point des applications qu’aux étudiants de niveau Master 1 et 2 et en école d’ingénieurs, qui souhaitent un ouvrage de référence sur ce domaine clé de l’intelligence artificielle.

Sommaire

I. Les fondements de l’apprentissage • Première approche de l’induction • Environnement méthodologique • II. Apprentissage par exploration • Induction et relation d’ordre • Programmation logique inductive • Transfert de connaissance • Inférence grammaticale • Apprentissage par évolution • III. Apprentissage par optimisation • Modèles linéaires • Réseaux connexionnistes • Réseaux bayésiens • HMM (modèles de Markov cachés) • Inférence d’arbres • IV. Apprentissage par approximation et interpolation • Méthodes à noyaux • Apprentissage bayésien • Apprentissage par renforcement • V. Au-delà de l’apprentissage supervisé • Combinaisons d’experts • Classification non supervisée et fouille de données. Apprentissage semi-supervisé • Nouvelles tâches et nouvelles questions • Annexes et bibliographie.

de données. Apprentissage semi-supervisé • Nouvelles tâches et nouvelles questions • Annexes et bibliographie.

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

Apprentissage

artificiel

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

CHEZ LE MÊME ÉDITEUR

Dans la même collection

G. Dreyfus et al. Apprentissage statistique et réseaux de neurones.

Méthodologie et applications. N°12229, 3 e édition 2008, 464 pages avec CD-Rom.

P. N aïm , P.-H. Wuillemi N , P. l eray, O. P O urret , a . B ecker. Réseaux bayésiens .

N°11972, 3 e édition, 2007, 424 pages (collection Algorithmes).

G. f leury, P. l ac O mme et a . ta NG uy. Simulation à événements discrets .

Modèles déterministes et stochastiques – Exemples d’applications implémentés en Delphi et en C++.

N°11924, 2006, 444 pages avec CD-Rom.

J. ricHalet et al. La commande prédictive.

Mise en oeuvre et applications industrielles.

N°11553, 2004, 256 pages.

P. l ac O mme , c . P ri N s , m . s evaux Algorithmes de graphes .

N°11385, 2003, 368 pages, avec CD-Rom.

J. D ré O , a . P étr OW ski , P. s iarry, e . taillar D Métaheuristiques pour l’optimisation difficile .

Recuit simulé, recherche tabou, algorithmes évolutionnaires et algorithmes génétiques, colonies de fourmis…

N°11368, 2003, 368 pages.

y. c O llette , P. s iarry Optimisation multiobjectif .

N°11168, 2002, 316 pages.

C. Guéret, c. PriNs, m. sevaux. – Programmation linéaire.

65 problèmes d’optimisation modélisés et résolus avec Visual XPress.

N°9202, 2000, 365 pages, avec CD-ROM.

Autres ouvrages

i. HurBaiN, avec la contribution d’E. Dreyfus. – Mémento Unix /Linux N°11954, 2006, 14 pages.

c. Jacquet. – Mémento LaTeX

N°12244, 2007, 14 pages.

r. rimelé. – Mémento MySQL.

N°12720, 2 e édition 2010, 14 pages.

r. m. stallmaN et al. – Richard Stallman et la révolution du logiciel libre. Une biographie autorisée.

N°12609, 2010, 344 pages.

s. BOrDaGe, D. tHéveNON, l. DuPaquier, f. BrOusse. – Conduite de projet Web.

N°12665, 5 e édition, 2010, 432 pages.

S. JaBer. – Programmation GWT 2. Développer des applications Ajax avec le Google Web Toolkit. N°12569, 2010, 484 pages

2 e édition

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

Apprentissage

artificiel

Antoine Cornuéjols - Laurent Miclet

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

ÉDITIONS EYROLLES 61, bd Saint-Germain 75240 Paris Cedex 05 www.editions-eyrolles.com

Remerciements à Eric Bernauer pour la relecture de cet ouvrage.

à Eric Bernauer pour la relecture de cet ouvrage. Le code de la propriété intellectuelle du

Le code de la propriété intellectuelle du 1 er juillet 1992 interdit en effet expressément la photocopie à usage collectif sans autorisation des ayants droit. Or, cette pratique s’est généralisée notamment dans les établissements d’enseignement, provoquant une baisse brutale des achats de livres, au point que la possibilité même pour les auteurs de créer des œuvres nouvelles et de les faire éditer correctement est aujourd’hui menacée. En application de la loi du 11 mars 1957, il est interdit de reproduire intégralement ou partiellement le présent ouvrage, sur quelque support que ce soit, sans autorisation de l’éditeur ou du Centre Français d’Exploitation du Droit de Copie, 20, rue des Grands-Augustins, 75006 Paris. © Groupe Eyrolles, 2002, 2010, ISBN : 978-2-212-12471-2

i

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

Préface à la deuxième édition

Apprendre.

Apprendre par l’exemple, par l’environnement, par la lecture, par le professeur, par

L’apprentissage est multiforme et c’est une caractéristique de l’intelligence. On comprend la remarque, très opportunément mise en exergue par les auteurs, d’Alan Turing, un des pionniers de l’intelligence artificielle. Prétendre doter une machine de cette faculté propre à l’être humain, ou à tout le moins à l’animal supérieur, pouvait paraître une gageure à l’époque où cette remarque a été énoncée. Ce n’est plus le cas aujourd’hui et le vaste champ de l’apprentissage par une machine est un domaine de recherche en pleine expansion et dans lequel il y a encore beaucoup à faire !

L’apprentissage occupe une place privilégiée au sein de l’intelligence artificielle, et plus généra- lement de l’informatique. Cette place ne cessera de croître. Les succès des programmes incluant un certain niveau d’apprentissage automatique ou semi-automatique sont déjà nombreux. Il suffit de songer à la reconnaissance de la parole, la vision par ordinateur, le rejet de pourriels, la détec- tion de transactions frauduleuses, le diagnostic, les jeux, la prédiction et la prévision, la fouille de données, etc. Les progrès spectaculaires enregistrés sont dûs pour une bonne part aux efforts des chercheurs qui sont parvenus à une meilleure compréhension des processus d’apprentissage, qu’ils soient implantés sur une machine ou qu’ils existent dans le cortex d’un animal.

Le moment est donc opportun de faire le point sur les connaissances acquises et les appli- cations. La décision de proposer une profonde révision de la première édition de l’ouvrage de A. Cornuéjols et L. Miclet arrive ainsi à point nommé. Ces deux auteurs, aux compétences com- plémentaires, sont particulièrement bien indiqués pour couvrir le vaste champ pluridisciplinaire de l’apprentissage. La première édition, de très grande qualité, a connu un succès considérable et justifié, auprès d’un public varié : étudiants, enseignants-chercheurs, ingénieurs. Elle est devenue un ouvrage de référence pour la communauté francophone proposant la somme la plus complète d’idées, de concepts, d’algorithmes et d’applications sur le sujet.

Le même fil directeur original a été conservé pour cette seconde édition. L’accroissement des connaissances se traduit directement dans le nombre de pages et l’on ne peut que se féliciter qu’il existe encore en France des éditeurs acceptant de faire paraître un ouvrage scientifique original de plus de 800

Je ne doute pas du succès de cette édition dont je recommande chaudement la lecture à toute personne désirant faire le point sur l’apprentissage, un des plus grands défis lancé à la recherche en intelligence artificielle.

Jean-Paul Haton Nancy, 28 mars 2010

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

iii

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

The idea of a learning machine may appear paradoxical to some readers. A. M. Turing, 1950.

à Isabelle, Claire, Aurélie, Sébastien, Fanny et à Maura, Fabien, Marion

Présentation de la deuxième édition

La première édition de cet ouvrage, parue en septembre 2002, a reçu un très bon accueil, mon- trant l’intérêt d’un livre couvrant largement les aspects de l’apprentissage artificiel. Par ailleurs son organisation raisonnée autour de trois grandes parties : l’apprentissage par exploration, par optimisation, et par approximation et interpolation, l’uniformité des notations et un fil directeur tenu de bout en bout ont visiblement séduit à côté de l’offre des ouvrages existant en langue anglaise.

Au fil des années, nous avons reçu de nombreux courriels témoignant à la fois de la variété du public intéressé : étudiants, enseignant-chercheurs du domaine, spécialistes de domaines connexes, et grand public, et de l’étendue géographique des publics touchés : la zone francophone bien sûr, y compris le Canada et les pays du Maghreb, mais aussi des pays d’Europe centrale.

Plus rapidement qu’attendu, les presque 2000 exemplaires de la première édition ont été épui- sés. La question s’est alors posée du choix entre une simple ré-impression ou bien une mise à jour conduisant à une deuxième édition. L’expérience de la première édition aurait du nous rendre prudents, mais la mémoire humaine étant volatile et étant donnée la vitalité du domaine de l’apprentissage artificiel, il nous a paru pertinent de choisir la deuxième voie. Petit à petit cepen- dant, nous avons réalisé que non seulement les techniques et les résultats avaient progressé, mais que, plus largement, de nouvelles questions et de nouvelles approches étaient apparues depuis 2002. Il devenait difficile de se contenter de simplement adapter la première édition, de nou- veaux chapitres étaient nécessaires. Par ailleurs, une ré-organisation de certaines parties était également souhaitable pour tenir compte de nouvelles perspectives ou de l’accent porté à des ap- proches classiques mais remises au goût du jour, comme les méthodes linéaires. D’un ravalement de façade, nous sommes insensiblement passés à un chantier comprenant une ré-organisation des espaces et des cloisons et à l’élaboration d’extensions significatives. Comme pour tout chantier, les délais prévus ont été largement dépassés, puis dépassés encore, et à certains moments, notre éditeur pourtant conciliant, et nos familles pourtant très compréhensives, ont pu croire que la fiction de Dino Buzzati, « Le désert des tartares », se réalisait. Ce n’est donc finalement qu’en 2010 qu’apparaît cette deuxième édition.

Le fil directeur allant de l’exposition des fondements conceptuels et méthodologiques, puis pro- gressant depuis des apprentissages très guidés par l’existence d’une relation de généralité dans l’espace des hypothèses à des apprentissages s’appuyant sur des espaces de plus en plus démunis

iv

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

de structure a été maintenu. Nous avons cependant ajouté une partie inédite sur de nouvelles questions et de nouveaux types d’apprentissage qui dépassent les cadres classiques des appren- tissages supervisés, non supervisés et par renforcement. Ainsi, par exemple, les apprentissages d’ordonnancement, les apprentissages semi-supervisés, actifs, à partir de flux de données et en ligne, font l’objet de sections ou de chapitres nouveaux.

Par ailleurs, le développement considérable des méthodes à base de fonctions noyau nous a conduit à dédier tout un chapitre aux méthodes linéaires classiques, et un grand chapitre aux méthodes à noyaux. De même, les méthodes d’ensemble, boosting, bagging, etc. font maintenant l’objet d’un chapitre à part entière.

Finalement, tous les chapitres ont été mis à jour pour tenir compte des progrès réalisés. De nombreuses figures ont été refaites pour les rendre plus lisibles, et beaucoup d’autres ont été ajoutées. La typographie a évolué afin de mieux mettre en évidence les définitions, les théorèmes et les formules principales. L’index a été entièrement revu et largement augmenté afin de faciliter l’accès direct aux concepts. Au bout du compte, et malgré notre souci de rester concis, le nombre de pages est passé en huit ans de 630 à 830. Cela reflète la vitalité du domaine et l’accroissement des idées, concepts et méthodes utiles à connaître.

Nous espérons que cette deuxième édition séduira un public aussi large que pour la première édition. Bienvenue dans le nouvel édifice. Nous vous souhaitons une visite agréable, une ins- tallation heureuse et l’envie d’apporter de nouvelles idées, d’ouvrir de nouvelles fenêtres, et de dessiner de nouveaux horizons.

Antoine Cornuéjols et Laurent Miclet

Paris, Lannion, France Le 27 Mars 2010

Nous tenons à remercier particulièrement les personnes suivantes pour leur aide, leurs com- mentaires, leurs encouragements, et en général pour leurs contributions à la réalisation de cet ouvrage. Notre gratitude va aussi aux lecteurs critiques des versions préliminaires, ce qui inclut notablement une certaine proportion de nos étudiants. Merci à vous et aussi à ceux que nous avons pu oublier ici mais qui sont importants pour nous.

Abdel Belaïd, Sami Bengio, Younes Bennani, Christophe Bernard, Marc Bernard, Olivier Boëf- fard, Cédric Buche, Michel Cartier, Christophe Choisy, Delphine Cosandier, François Coste, François Denis, Gérard Douaire, Pierre Dupont, Béatrice Duval, Lou Fedon, Daniel Fredouille, Mirta Gordon, Colin de la Higuera, Ghazal Jaber, Yves Kodratoff, Israël-César Lerman, Gaëlle Loosli, Christine Martin, Tristan Mary-huard, Stan Matwin, Maurice Milgram, Engelbert Me- phu Nguifo, Tom Mitchell, Jacques Nicolas, Laurent Orseau, Yann Prudent, Arpad Rimmel, Céline Rouveirol, Michèle Sebag, Dominique Snyers, Franck Thollard, Fabien Torre, Stéphane Vandenmersch et Jean-Daniel Zucker.

Merci aussi à notre éditrice, Muriel Shan-Sei-Fan, et à Sophie Hincelin pour une relecture complète du manuscrit. Heureusement qu’il existe encore des éditeurs de cette qualité.

v

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

Préface

L’apprentissage artificiel s’intéresse à l’écriture de programmes d’ordinateur capables de s’amé- liorer automatiquement au fil du temps, soit sur la base de leur propre expérience, soit à partir de données antérieures fournies par d’autres programmes. Dans le domaine scientifique relativement jeune de l’informatique, l’apprentissage artificiel joue un rôle de plus en plus essentiel. Au début de son existence, dans les années 1950, l’informatique se résumait principalement à program- mer des machines en leur spécifiant ligne après ligne la séquence d’instructions que l’ordinateur aurait à suivre. Autour des années 1990, les logiciels étaient devenus si complexes qu’une alter- native s’imposait naturellement : développer des techniques pour que les programmes puissent s’entraîner sur des exemples. Le résultat est qu’il existe aujourd’hui de nombreux domaines d’ap- plication de l’informatique dans lesquels les méthodes de l’apprentissage artificiel sont employées pour entraîner les logiciels. Mieux, le code résultant dépasse de beaucoup en performance les réalisations les plus abouties de programmation manuelle « ligne après ligne ». C’est ainsi que tous les meilleurs logiciels commercialisés de reconnaissance de la parole sont fondés sur l’entraî- nement de leurs programmes à la reconnaissance des différents sons et mots. La plupart d’entre eux permettent même à l’utilisateur d’accoutumer le système aux caractéristiques de sa voix. D’autres exemples existent dans des domaines tels que la vision par ordinateur, le traitement automatique du texte et la commande de robot. L’apprentissage artificiel peut donc déjà revendiquer des succès dans un grand nombre de do- maines d’application. Il en est ainsi de logiciels de fouille de données utilisés à grande échelle pour découvrir la prescription la plus efficace pour un patient, à partir de l’analyse de fichiers médicaux antérieurs. D’autres applications vont de la prédiction de la demande en énergie, étant connu l’historique des consommations antérieures, à l’apprentissage de la reconnaissance de transactions frauduleuses par carte de crédit, par examen des transactions passées avérées frauduleuses. Alors que nous passons des cinquante premières années de l’informatique aux cinquante prochaines années, il semble évident que le rôle de l’apprentissage artificiel ne cessera de croître au centre de cette science. Pourquoi cette progression ? La réponse fondamentale est que nous possédons désormais la compréhension de plusieurs principes calculatoires qui guident tout processus d’apprentissage, qu’il soit implémenté sur une machine ou sur un humain. La discipline de l’apprentissage ar- tificiel possède désormais de riches fondements théoriques : on commence à savoir répondre à des questions comme : « Combien au mimimum d’exemples d’entraînement faut-il fournir à un programme d’apprentissage pour être certain qu’il apprenne avec une efficacité donnée ? » et « Quelles méthodes d’apprentissage sont les plus efficaces pour tel ou tel type de problème ? » Ces fondements proviennent de la théorie statistique de l’estimation, de la théorie de l’identifi- cation et de la commande optimale, de travaux pionniers sur la complexité de l’apprentissage de grammaires ou plus récents sur l’inférence bayésienne algorithmique. Cet ouvrage fournit au lecteur francophone l’introduction la plus complète à ce jour à l’ap- prentissage artificiel. Il traite de la théorie et des applications de cette discipline sous un grand nombre d’aspects, en couvrant des sujets comme les méthodes d’apprentissage bayésien, l’infé- rence grammaticale ou l’apprentissage par renforcement. C’est avec plaisir que je recommande au lecteur de découvrir ce livre, et à travers lui les idées et les méthodes de l’apprentissage artificiel.

Tom M. Mitchell

Pittsburgh, Pennsylvania, USA Le 29 Mai 2002

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

Table des matieres`

Avant-propos

 

xiii

Quelques applications de l’apprentissage

xiv

Quelques définitions de base

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

xiv

Deux champs industriels de l’apprentissage artificiels : la reconnaissance des formes et

la fouille de données

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

xv

. Les caractéristiques de l’apprentissage artificiel

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

xvii

Trois exemples d’apprentissage

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

xviii

Organisation et plan de l’ouvrage

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

xxi

Guide de lecture

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

xxiii

Notations

xxvii

I Les fondements de l’apprentissage

 

1

1 De l’apprentissage naturel à l’apprentissage artificiel

 

3

1 L’apprentissage artificiel

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

4

2 Deux exemples : apprendre à jouer, apprendre à lire

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6

3 Deux approches : la cybernétique et les sciences cognitives

 

10

4 Les concepts de base de l’apprentissage

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

14

5 L’induction comme un jeu entre espaces

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

22

6 Retour sur l’organisation de l’ouvrage

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

29

2 Première approche théorique de l’induction

 

37

1 Poser un problème d’apprentissage

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

40

2 Approches bayésiennes et approche directe pour décider

.

.

.

.

.

.

.

.

.

.

.

.

.

.

46

3 Le critère inductif

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

4 Analyse du principe de minimisation du risque empirique

.

.

.

.

.

.

.

.

.

.

.

.

.

60

5 Le lien entre le passé et le futur et le no-free-lunch theorem

.

.

.

.

.

.

.

.

.

.

.

.

73

6 Notes historiques et bibliographiques

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

78

viii

Table des matières

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

3

L’environnement méthodologique de l’apprentissage

 

81

1 L’espace des données d’apprentissage

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

85

2 L’espace des hypothèses d’apprentissage

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

101

3 Les protocoles d’apprentissage

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

112

4 L’évaluation de l’apprentissage

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

113

5 La comparaison des méthodes d’apprentissage

 

124

6 Autres problèmes pratiques

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

129

II

Apprentissage par exploration

 

135

4 Induction et relation d’ordre : l’espace des versions

 

137

 

1 Les concepts de base

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

140

2 La structuration de l’espace des hypothèses

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

144

3 La construction de l’espace des versions

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

152

4 La représentation des connaissances par un treillis de Galois

 

156

5 La programmation logique inductive

 

161

 

1 La programmation logique inductive : le cadre général

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

165

2 La logique des prédicats et les programmes logiques :

 

terminologie

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

171

3 La structuration de l’espace des hypothèses en logique des prédicats .

.

.

.

.

.

.

175

4 L’exploration de l’espace des hypothèses

 

182

5 Deux exemples de systèmes de PLI

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

186

6 La probabilisation de la PLI

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

190

7 Les domaines d’application de la PLI

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

191

8 Les chantiers de la PLI

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

193

6 Transfert de connaissances et apprentissage par analogie

 

199

 

1 L’apprentissage en présence de théorie

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

200

2 L’apprentissage par examen de preuve (EBL)

 

201

3 Abstraction et reformulation des connaissances

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

208

4 Changement de repère, raisonnement par analogie et RàPC

.

.

.

.

.

.

.

.

.

.

.

.

210

5 L’apprentissage par proportion analogique

 

213

6 Bilan

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

217

7 L’inférence grammaticale

 

219

 

1 Définitions et notations

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

225

2 Les protocoles de l’inférence : quelques résultats théoriques .

.

.

.

.

.

.

.

.

.

.

.

233

3 L’espace de recherche de l’inférence régulière

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

240

4 L’inférence régulière sans échantillon négatif

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

241

5 L’inférence régulière sous contrôle d’un échantillon négatif

 

246

6 L’inférence de grammaires algébriques

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

250

7 L’inférence d’automates probabilistes

 

257

8 Quelques approches complémentaires

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

260

Table des matières

ix

Ce document est la propriété exclusive de Olivier BERNHARD (olivier.simplelife@gmail.com) - 12 mai 2014 à 14:22

8

Apprentissage par évolution simulée

 

263

1 Trois espaces au lieu de deux

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

265

2 Un modèle formel simplifié de l’évolution

 

268

3 Les algorithmes génétiques

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

269

4 Les stratégies d’évolution

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

281

5 La programmation génétique

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

281

6 La coévolution

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

291

III

Apprentissage par optimisation

 

297

9 L’apprentissage de modèles linéaires

299

 

1 Introduction

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

300

2 Régression linéaire

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

301

3 Séparatrices linéaires

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

306

4 Modèles linéaires par morceaux et combinaisons de modèles locaux

 

.

.

.

.

.

.

317

5 La recherche des facteurs pertinents

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

320

10 L’apprentissage de réseaux connexionnistes

 

325

 

1 Les différents éléments d’un réseau connexionniste

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

328

2 L’architecture multicouche

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

330

3 L’algorithme d’apprentissage

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

335

4 Quelques résultats théoriques sur les réseaux connexionnistes

.

.

.

.

.

.

.

.

.

.

.

344

5 Comment choisir l’architecture d’un réseau ?

 

345

6 Les réseaux à architecture profonde

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

346

7 Réseaux et régime dynamique : le Reservoir Computing

.

.

.

.

.

.

.

.

.

.

.

.

.

.

348

11 L’apprentissage de réseaux bayésiens

 

353

 

1 Les modèles graphiques

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

355

2 Les réseaux d’inférence bayésiens

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

357

3 Les inférences dans les réseaux bayésiens

 

365

4 L’apprentissage des réseaux bayésiens

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

369

5 L’inférence de relations causales

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

378

6 Applications

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

379

7 Quelques logiciels

 

.

.

.

.

.

.

.

.

.

.

.

.