Dans La Boite Noire Des Algorithmes

DANS LA BOÎTE NOIRE DES ALGORITHMES
Comment nous nous sommes rendus calculables
Claire Richard
La Découverte | « Revue du Crieur »
2018/3 N° 11 | pages 68 à 85
ISSN 2428-4068
ISBN 9782348040726
DOI 10.3917/crieu.011.0068
Article disponible en ligne à l'adresse :
--------------------------------------------------------------------------------------------------------------------
https://www.cairn.info/revue-du-crieur-2018-3-page-68.htm
--------------------------------------------------------------------------------------------------------------------
Distribution électronique Cairn.info pour La Découverte.

© La Découverte. Tous droits réservés pour tous pays.
© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

La reproduction ou représentation de cet article, notamment par photocopie, n'est autorisée que dans les
limites des conditions générales d'utilisation du site ou, le cas échéant, des conditions générales de la
licence souscrite par votre établissement. Toute autre reproduction ou représentation, en tout ou partie,
sous quelque forme et de quelque manière que ce soit, est interdite sauf accord préalable et écrit de
l'éditeur, en dehors des cas prévus par la législation en vigueur en France. Il est précisé que son stockage
dans une base de données est également interdit.
Powered by TCPDF (www.tcpdf.org)

DANS LA BOÎTE NOIRE
DES ALGORITHMES

Comment nous
nous sommes
rendus calculables
LECRIEUR_11_INTERIEUR_0917_FINAL.indd 68 17/09/2018 15:20

PAR CLAIRE RICHARD
La tentation est grande, lorsque l’on souhaite comprendre l’influence

des algorithmes sur nos sociétés, d’élaborer une critique qui se
contenterait de pointer du doigt les géants du Net, responsables
de notre dérive vers un monde entièrement soumis à l’arbitraire
numérique, depuis le système judiciaire jusqu’aux secteurs de
l’éducation et de la santé en passant par les rencontres amoureuses.
Ou d’accuser les progrès incessants de la rationalité technique et
de la domination néolibérale sans se donner la peine d’entrer dans
les calculs. Car les algorithmes sont des objets complexes, que l’on
ne peut dissocier de leurs conditions de production et des volontés
politiques qui les prédéterminent. Interroger la culture algorithmique
dans laquelle nous baignons revient à mettre en perspective les
motivations, les idéologies et les biais inconscients d’une société
qui a su se rendre intégralement calculable.

2017 aura été « l’année où nous avons cessé firme un élu démocrate à la tête de la commis-
d’aimer les algorithmes ». Du moins, c’est ce sion d’enquête sur les interférences russes. Jadis
qu’affirmait en décembre un article du maga- loués pour leur capacité à mobiliser et informer
zine américain Wired, pourtant connu pour les foules, les algorithmes de Facebook sont
sa technophilie. Aux États-Unis, le débat sur désormais accusés d’enfermer les utilisateurs
le rôle joué par Facebook dans l’élection de dans les « bulles de filtre » partisanes, de favo-
Donald Trump en 2016 et son instrumenta- riser la montée des contenus extrêmes et de
lisation par des agences russes a entraîné une diffuser largement des fake news qui ébranlent
critique sans précédent des effets de ses algo- les fondements même de la sphère publique.
rithmes. « Si la campagne menée par les Russes En France, c’est avec l’éducation que les algo-
sur les réseaux sociaux a aussi bien marché, c’est en rithmes sont devenus un sujet de société. De
partie parce qu’ils ont compris que vos algorithmes tribunes en débats, d’actions menées par des
tendent à mettre en avant les contenus qui reposent lycéens en audits commandés par la ministre,
sur la peur ou la colère », a lancé à un avocat de la l’« affaire APB », du nom de la plateforme

70 — Dans la boîte noire des algorithmes
Admission Post-Bac, qui recourait à un algo- qu’elle est difficilement compréhensible. Et

rithme développé par l’Éducation nationale en ceci n’est pas réservé à la presse : « Il y a une cer-
vue d’affecter les étudiants dans les différents taine incompétence à entrer dans la technique, en
établissements universitaires, a posé pour la sciences humaines, qui fait que l’on dit beaucoup de
première fois des questions centrales. Est-il choses inexactes ou lointaines sur les algorithmes »,
acceptable de déléguer certaines opérations à reconnaît le sociologue Dominique Cardon,
des processus automatisés en ignorant tout de qui étudie les algorithmes du Web depuis
leur fonctionnement ? Que signifie « rendre plusieurs années.
public » un algorithme ? Comment le faire sous
une forme compréhensible par les non-spécia- LES ALGORITHMES SONT EN
listes ? Et comment élaborer une critique des
algorithmes qui prenne en compte leur spé-
PASSE DE DEVENIR DES « MYTHES
cificité technique sans pour autant oublier les MODERNES », DES ENTITÉS
volontés politiques qu’ils incarnent ? À LA FOIS INSAISISSABLES ET
Ces débats récents, qui portent autant sur TOUTES-PUISSANTES.
la « fabrique » des algorithmes ( quels critères
prennent-ils en compte et de quelle manière ? ) Or une critique qui cerne mal son objet a
que sur la place que nous voulons leur donner peu de chances d’être opérante. Elle produit des
dans la société ( que peuvent-ils arbitrer et dans généralités qui, bien que parfois réconfortantes,

quelle mesure ? ), sont appelés à se multiplier. ne permettent ni de comprendre ni de lutter
Médecine, information, culture, justice, éduca- contre les effets de pouvoir des algorithmes. Car
tion… les algorithmes interviennent dans un ce « pouvoir » ne se résume pas à la domination
nombre croissant de secteurs. Ils produisent de du réel par la logique calculatrice de la machine
nouvelles formes de connaissance et de nou- ou par l’imposition directe d’une logique capi-
veaux effets de pouvoir, qui sont encore trop taliste à des sujets dépossédés. Il se déploie
souvent mal compris. Ce n’est pas faute d’en autrement, via le renforcement de certains com-
parler : depuis quelques années, les dossiers sur portements, la reproduction ou l’imposition de
le « Le pouvoir des algorithmes » ou « Ces algo- certaines logiques qui peuvent intensifier les
rithmes qui nous gouvernent » se multiplient inégalités existantes tout en les naturalisant. Si
dans la presse. Mais ils demeurent souvent à l’on veut saisir comment opèrent ces effets de
un niveau de généralité qui rend la critique peu pouvoir, il faut entrer dans les calculs, ouvrir
opérante. Les algorithmes sont en passe de la « boîte noire », selon l’expression du juriste
devenir des « mythes modernes 1 », des entités à américain Frank Pasquale. Et comprendre,
la fois insaisissables et toutes-puissantes, dont au-delà de la dimension technique, « à quoi ils
l’influence sur nos vies est d’autant plus forte rêvent 2 », quels mondes ils dessinent, quelles

représentations ils propagent – afin d’éviter que observer la société et non intervenir dessus.
les écarts sociaux ne se creusent inlassablement Dans les années 1980, avec le tournant néoli-
et que les dominations à l’œuvre ne se perpé- béral, elle s’est progressivement transformée en
tuent aveuglément. outil visant à « conduire les conduites », fixer des
objectifs et modifier des comportements. Au
La « culture algorithmique » début des années 2000, de nouveaux dispositifs
Un algorithme, c’est une simple séquence de capture et de récolte des données, plus précis,
de commandes à effectuer afin d’obtenir un plus sophistiqués, ont fait exploser la quantité
résultat déterminé. On le compare souvent d’informations disponibles. Il est devenu pos-
à une recette de cuisine : en suivant à la lettre sible de recueillir très rapidement des quantités
toutes les étapes, on obtient le plat désiré. Le phénoménales de données sur des phénomènes
terme « algorithme » vient du mathématicien de plus en plus divers et de plus en plus fins,
perse al-Khwârizmî, qui a établi, au ixe siècle, moyennant un coût de stockage toujours plus
une classification des algorithmes existants. faible. Par ailleurs, l’augmentation continue
Les algorithmes sont en effet utilisés depuis de la puissance des ordinateurs a permis d’ex-
l’Antiquité : on en trouve des exemples gravés ploiter ce matériau comme jamais auparavant.
sur des tablettes d’argile babyloniennes. « Voici Car les données brutes ne disent rien : ce sont
à peu près soixante-dix ans que les informaticiens les algorithmes qui les font parler, y trouvent
s’intéressent aux algorithmes : la notion est l’un des du sens et leur confèrent de la valeur, y compris
quatre grands concepts de l’informatique. Mais financière. Le chercheur Tarleton Gillespie,

plus généralement, il y a au moins cinq mille ans qui a longtemps travaillé sur les algorithmes
que l’on travaille avec des algorithmes », explique des plateformes, décrit ce processus comme
Gilles Dowek, informaticien et chercheur à l’entrée dans une « culture algorithmique » : « En
l’Institut national de recherche en informatique adoptant les outils informatiques comme notre
et en automatique ( Inria ). moyen d’expression principal, et en numérisant
non plus uniquement les informations mathéma-
Le problème des algorithmes tel qu’il se tiques, mais toute l’information, nous soumettons
pose aujourd’hui est lié au vaste mouvement le discours et le savoir humain aux logiques pro-
de « mise en données » de la société. Celui-ci cédurales qui sous-tendent la computation 4. » Il
remonte à l’essor de la statistique, mais il a s’agit, poursuit-il, d’un changement épistémo-
récemment pris des dimensions inédites avec le logique majeur. « Le fait que nous nous tournions
big data 3. La statistique est longtemps restée un aujourd’hui vers les algorithmes pour identifier ce
outil des acteurs publics, qui l’utilisaient afin de que nous devons connaître a la même importance
mesurer la société et de dégager des régularités, que lorsque nous nous tournions vers les experts
des catégories, des tendances et des moyennes. accrédités, la méthode scientifique, le sens commun
Elle servait à décrire et mesurer, était faite pour ou la parole de Dieu. »

Le leurre de l’objectivité qui constitue cette circulation. Maintenant que c’est

Un des traits caractéristiques de cette fait, Zuckerberg aimerait prétendre que son logiciel
culture algorithmique, c’est son insistance sur n’est qu’un simple conduit par lequel transitent des
l’objectivité. Ceux qui fabriquent ou vendent vérités sociales et politiques. »
des algorithmes les présentent souvent comme
des outils plus « objectifs » ou plus « neutres » « Un algorithme, c’est une opinion
que les humains — lesquels seraient par nature formalisée dans du code »
sujets aux préjugés et aux sautes d’humeur. Madrigal souligne ici une dimension cen-
Les partisans de l’usage des algorithmes dans trale des algorithmes : en réalité, ce ne sont
l’exercice de la justice citent ainsi souvent une jamais des dispositifs neutres. Afin de répondre
étude israélienne qui montre que les juges ont à un problème – « Comment évaluer la pro-
tendance à se montrer plus cléments juste après babilité que cette personne paie son crédit ? »,
avoir mangé 5. Google, de son coté, continue « Comment déterminer la part d’une audience
d’insister sur l’objectivité de son algorithme et susceptible d’être intéressée par mon message
de ses résultats ( figurant dans son manifeste politique ? », « Comment trouver dans la base
« Les dix principes fondamentaux de Google de données des utilisateurs deux personnes
6
» ), bien que les directives européennes sur le susceptibles d’avoir une relation sexuelle ou
« droit à l’oubli » contraignent l’entreprise à amoureuse ? »… –, chaque algorithme procède
déréférencer de nombreux contenus ( en quatre à une multitude de petites décisions : priorisa-
ans, l’entreprise a reçu plus de six cent cinquante tion, classification, association, filtrage. Selon

mille demandes de déréférencement ). Quant à les données enregistrées, la façon de les caté-
Mark Zuckerberg, il persiste à défendre la neu- goriser, le choix des techniques statistiques ou
tralité de Facebook : « Trump dit que Facebook est les options de visualisation, chaque algorithme
contre lui. Les progressistes [ liberals, en anglais ] traduit une certaine conception du monde et
disent que nous avons aidé Trump. Chaque camp crée des environnements qui favorisent cer-
est furieux de voir des idées et des contenus qui lui taines actions aux dépens d’autres. « Un algo-
déplaisent. Voilà ce qui se passe quand vous gérez rithme, c’est une opinion formalisée dans du code »,
une plateforme ouverte à toutes les idées 7. » Ce à résume l’Américaine Cathy O’Neil, ancienne
quoi le journaliste américain Alexis Madrigal data scientist ayant travaillé dans la finance et
a répondu, dans The Atlantic : « Les critiques de l’e-commerce avant de devenir l’une de leurs
Facebook les plus élaborées ne portent ni sur des idées plus acerbes critiques.
ni sur des contenus potentiellement déplaisants,
mais sur les nouvelles forces structurelles que Face- L’évolution des modes de classement de
book a créées. L’information circule différemment l’information sur Internet l’illustre bien. Domi-
depuis que Facebook existe, et la raison d’être même nique Cardon montre comment des généra-
de l’entreprise est de capturer l’attention humaine tions successives de sites ont adopté des modes

« LE FUTUR DE L’INTERNAUTE EST
PRÉDIT PAR LE PASSÉ DE CEUX QUI
LUI RESSEMBLENT. »
de classement spécifiques, reflétant des concep- les capacités de calcul disponibles permettent
tions différentes de ce qui importe. Les mesures de tester plusieurs milliers d’hypothèses en
d’audience ( les clics ) mesurent la popularité des même temps sur un grand nombre de données
sites. Les algorithmes comme PageRank, celui et de sélectionner automatiquement celles qui
de Google, mesurent l’autorité des sites dans correspondent le mieux à une situation. « Pour
la communauté en fonction des liens qu’ils cette raison, il est vain de réclamer que soit levé le
s’échangent : plus il y a de liens hypertextes “ secret ” des algorithmes et plus utile de connaître
pointant vers un site, plus celui-ci est haut dans les flux de données qui “ entrent ” dans la compo-
le classement. Les métriques de calcul du Web sition du calcul. Ceux qui les fabriquent ne savent
social favorisent la réputation : les internautes se pas eux-mêmes expliquer pourquoi le calculateur a,
mesurent eux-mêmes au moyen d’une multi- dans ce contexte, retenu telle hypothèse plutôt que
tude de compteurs dont le « like » de Facebook telle autre », écrit encore Cardon.
est l’emblème. Enfin, les calculs de classement
de l’information les plus récents cherchent à La critique d’un algorithme est

prédire et orienter les comportements des inter- incomplète sans celle de ses données
nautes à partir des traces qu’ils laissent. Avec « L’algorithme est une moulinette : ce que l’on
des techniques d’apprentissage automatique a en sortie dépend de ce qu’on lui donne à l’en-
( machine learning ), l’algorithme apprend en trée. Même avec les meilleurs algorithmes, si vous
comparant ces profils avec ceux d’autres inter- avez des données incomplètes ou corrompues, qui
nautes ayant effectué des actions similaires. ne sont pas à jour ou qui ne sont pas représenta-
« De façon probabiliste, il soupçonne qu’une per- tives du sujet… vos résultats seront nécessairement
sonne pourrait faire telle ou telle chose qu’elle n’a faussés », explique Nozha Boujemaa, directrice
pas encore faite, parce que celles qui lui ressemblent du centre de recherche de l’Inria Saclay et en
l’ont, elles, déjà faite. Le futur de l’internaute est charge du programme d’audit des algorithmes
prédit par le passé de ceux qui lui ressemblent. » TransAlgo. C’est pourquoi de plus en plus de
chercheurs préfèrent parler de « systèmes algo-
Le modèle du premier PageRank, tra- rithmiques ». Car « l’algorithme n’a pas de sens
duisant une théorie dans du code, s’efface sans les données qu’il calcule. Et les biais sont, pro-
derrière une multitude de modèles individua- portionnellement, souvent plus dans les données
lisés, statistiques et personnalisés. Aujourd’hui, que dans les algorithmes ».

C’est ce qui ressort, par exemple, des note aussi O’Neil, reflète un autre biais social :
études critiques menées sur le logiciel amé- elle omet la criminalité « en col blanc » dans sa
ricain PredPol, qui dit « prédire où et quand carte du crime.
des crimes sont susceptibles d’être commis ». Or,
explique le sociologue Bilel Benbouzid 8, Pre- Les biais algorithmiques
dpol calcule les risques à partir des statistiques Predpol illustre ce que la critique appelle
issues des dépôts de plainte, qui diffèrent les « biais algorithmiques ». Le journaliste Surya
grandement selon les territoires. « On sait très Mattu, qui enquête sur les biais des machines
bien que certaines populations, notamment dans pour le site d’investigation américain ProPu-
certains quartiers, ont tendance à moins porter blica, les définit comme « un ensemble de règles
plainte. La police va donc être plus présente dans implémentées dans un input [ données entrantes ]
les zones où l’on porte le plus plainte, au détri- et qui produisent, en output [ données sortantes ],
ment de celles où les habitants ont plus de réticences des conséquences différentes pour tel ou tel groupe
à aller voir la police. Ce que l’on est en train de de personnes 9 ». Julia Angwin, Jeff Larson,
créer, c’est une offre de sécurité minimale, avec une Lauren Kirchner et Surya Mattu ont révélé
police protégeant ceux qui portent le plus plainte. » l’un des exemples de biais les plus discutés de
Cathy O’Neil, dans son livre Weapons of Math ces dernières années : celui du logiciel Compas
Destruction ( Armes de destruction math-ives ), ( Correctional Offender Management Profiling
souligne aussi l’importance du paramétrage du for Alternative Sanctions ) développé par l’en-
logiciel : les policiers peuvent choisir de faire treprise privée Northpointe Inc et utilisé par

figurer seulement les crimes de « catégorie un » certains tribunaux afin d’estimer la probabi-
( dont les homicides, les incendies volontaires et lité de récidive d’un prévenu. Au terme de leur
les agressions ) ou d’inclure les crimes de « caté- enquête, les journalistes dressaient un constat
gorie deux » : vagabondage, mendicité agressive, accablant : Compas est très imprécis et biaisé.
vente et consommation de petites quantités de Ce qu’ils résumaient ainsi : « Un peu partout
stupéfiants – « prévalents dans les quartiers dés- dans le pays, un logiciel est utilisé pour prédire les
hérités ». Si la police sélectionne cette deuxième futurs criminels. Et il est biaisé contre les Noirs 10. »
option, le logiciel « prédira » plus de crimes dans Northpointe garde secrets les détails de son
ces quartiers moins favorisés. Quand elle ira y algorithme. Les journalistes ont contourné
patrouiller, elle sera plus susceptible d’y relever l’obstacle en exploitant d’autres données, acces-
de nouveaux crimes de catégorie deux, courants sibles celles-ci, relatives au parcours de plus de
mais faisant rarement l’objet d’une plainte. dix mille prévenus en Floride. En comparant sur
Cela augmentera les statistiques de criminalité deux ans le taux de récidive estimé par Compas
de ces quartiers, créant une « boucle récursive » avec le taux de récidive réel, l’équipe de ProPu-
nocive qui risque de renforcer la présence poli- blica a découvert que l’estimation proposée par
cière dans ces mêmes quartiers. Cette sélection, le logiciel ne correspondait à la réalité que dans

20 % des cas, parmi les prévenus noirs comme recrutement, domaine de plus en plus large-
parmi les blancs. Compas, en revanche, tend à ment automatisé. Un algorithme performant
sous-estimer la probabilité de récidive violente apprend à trier différents profils à partir de choix
des Blancs et à surestimer celle des Noirs. Le opérés par des recruteurs humains, et automa-
logiciel ne prend pourtant pas explicitement la tise ensuite le processus. Si les humains tendent
« race » en compte dans les calculs. Il exploite des à recruter moins de femmes, par exemple, l’al-
informations se trouvant dans le dossier des pré- gorithme reproduira implicitement cette ten-
venus, ainsi qu’un questionnaire qu’ils doivent dance. « Même si la donnée “ genre ” ne lui est pas
remplir en prison. Les questions portent sur fournie, il peut exister des biais liés au genre dans
leurs antécédents, leurs relations sociales, leurs des variables secondaires. L’algorithme va naturel-
opinions. Par exemple : « L’un de vos parents lement les détecter, les apprendre et les recracher. Il
a-t-il déjà été en prison ? », « Combien de vos fait son travail en automatisant un processus biaisé,
amis et connaissances consomment-ils des dro- tout en lui conférant une apparence d’objectivité. »
gues illégales ? » ou encore « Vous battiez-vous
souvent à l’école ? ». Or, selon les critiques de LES ALGORITHMES N’ONT INVENTÉ NI
Compas, ces questions portent sur des variables
qui sont corrélées à la race, dans un contexte où LES PRATIQUES D’EXPLOITATION DES
le système judiciaire américain est structurelle- PAUVRES NI LES DISCRIMINATIONS
ment biaisé en défaveur des Noirs 11 : « Si vous
considérez que le nombre de condamnations dont
RACIALES. MAIS ILS PEUVENT
LES REPRODUIRE OU LES INTENSIFIER.

une personne a fait l’objet est une donnée neutre,
vous vous trompez. On sait que le système de justice
criminelle américain fait preuve de biais systéma- En 2013, la chercheuse en informatique
tiques » estime ainsi Ifeoma Ajunwa, professeure Latanya Sweeney, professeure à Harvard, a
de droit au Berkman Center à Harvard. découvert que lorsque l’on cherchait sur Google
un nom à consonance africaine-américaine, on
Les algorithmes n’ont inventé ni les pra- avait plus de chance de se voir proposer des ser-
tiques d’exploitation des pauvres ni les discri- vices de vérification de casier judiciaire que si l’on
minations raciales. Cependant, ils peuvent les cherchait un nom associé à un individu blanc.
reproduire ou les intensifier. Les discrimina- Ces résultats, largement diffusés, ne prouvaient
tions algorithmiques émergent ainsi souvent néanmoins pas que Google était raciste, mais
sans intention de départ, explique Camille que son algorithme avait su s’adapter à ce qu’il
Roth, mathématicien et sociologue à la tête avait perçu du comportement de certains inter-
d’un projet de recherche étudiant l’effet des nautes — qui cliquaient plus souvent sur des
algorithmes sur la diversité informationnelle. contenus liés à la justice pénale en lien avec des
Il prend l’exemple d’un algorithme d’aide au noms africains-américains. « Pour le dire encore

autrement : Google devenait raciste parce que ses Les algorithmes sont aujourd’hui des
utilisateurs racistes l’entraînaient à l’être 12 », objets mathématiques d’une grande complexité.
commentait sur son blog la chercheuse amé- Les algorithmes font appel à un nombre gigan-
ricaine en culture numérique danah boyd, tesque de variables ( plus de cent mille pour celui
ancienne spécialiste des usages numériques des de Facebook ) dont la pondération peut varier
ados qui s’intéresse désormais aux implications en temps réel. « L’algorithme » lui-même est
sociales de l’âge des données. Très engagée souvent composé d’un ensemble d’algorithmes
dans la critique de l’utilisation aveugle des effectuant chacun des tâches précises. Surtout,
algorithmes, boyd a ainsi décrit en 2016 l’im- un nombre croissant d’entre eux utilise des
pact des « scheduling software », logiciels utilisés modèles d’intelligence artificielle générative
afin de composer les emplois du temps des dont le fonctionnement précis est incompris
salariés d’une entreprise. Ceux-ci sont conçus même des chercheurs qui les ont créés. Ainsi,
par des programmeurs qui ont pour mission de en radiologie, les algorithmes sont en train de
maximiser l’efficacité des forces de vente sur un devenir plus performants que les radiologues
maximum de temps de vente possible. Leurs dans la détection des fractures – sans que per-
calculs créent des situations intenables pour sonne ne puisse précisément expliquer pourquoi.
certains employés, dont le bien-être n’est pas
pris en compte dans la conception du logiciel. À ces difficultés techniques se superposent
Les emplois du temps deviennent chaotiques, des obstacles légaux. La plupart des algorithmes
certains travailleurs enchaînent les services sans privés sont protégés par le secret commercial.

dormir et voient leur vie familiale affectée. « Le Cette opacité peut permettre des conduites
problème, ici, n’est pas l’algorithme : c’est la façon trompeuses ( comme celle du « dynamic pri-
dont il est déployé, les objectifs de maximisation cing », qui consiste à ajuster les prix d’un pro-
qu’il se fixe, et les acteurs qui ont le pouvoir de faire duit en fonction du profil du consommateur, ce
changer ça 13. » dont on accuse régulièrement les compagnies
d’aviation en ligne ), mais elle crée surtout une
À l’épreuve des boîtes noires « asymétrie informationnelle » lourde de consé-
Au vu de la complexité des calculs et des quences. Sans accès à ce qui se passe dans les
variables mises en œuvre, on ne peut déjouer les machines, il est impossible d’évaluer si un algo-
effets toxiques de ces systèmes algorithmiques rithme est équitable, juste, prédateur ou loyal.
sans savoir ce qu’il y a dedans. Et c’est là que Les décisions des machines deviennent alors
le bât blesse. Ces algorithmes sont protégés du particulièrement difficiles à contester. Ce qui,
regard public par au moins trois facteurs : la pointe O’Neil, risque de défavoriser les plus
complexité technique, les pratiques de secret pauvres car « de façon générale, ce sont des gens qui
qui les entourent et le secret commercial. s’occupent des riches et des machines qui s’occupent
des pauvres ».

KEY Words blocked by Google Words blocked by Google and Bing Words blocked by Bing Not Blocked
kiss abortion loves makeout

intercourse copulate loved lover aids naked libido
lesbian love lust
analing jissom fingering arouse nipple
orgies
hump banging orgasm shag bi ovary
oral jizz horny nude passion
hugs boner
cunt humping breast
hugg womb orgy
penis
boob
ass blowjob queer
wore anal butt
syphillis asses incest porn
cock pervert
virgin handjob homosexual
masturbate butt butt’s
slut cum
homos cocks
pussy chlamydia
homo vd raping
condom
ho vagina titty dicks fuck
condoms
titties tit erotic fucked pregnant
hiv gonorrhea tits cuddle genital
hug fucks fucker
hump prude
screw fucking dick
std stud gay erection prudes prostitute
seduce rape erectile dyke
gays sex rapist dildo prostate
foreplay prudish pubic
Diagramme réalisé par Diakopoulos montrant les termes censurés par les autosuggestions de Bing et Google
L’approche par rétro-ingénierie inputs et ces outputs pour faire de la rétro-ingé-

Afin de déjouer l’opacité, chercheurs, nierie sur ce qui se passe à l’intérieur », écrit-il.
journalistes, activistes… doivent inventer de Cela consiste, en pratique, à « faire jouer » l’al-

nouvelles approches – procéder par ruses et gorithme : on lui fournit un grand nombre de
tactiques, utiliser des calculs ou des méthodes données différentes en entrée et on regarde le
propres aux sciences humaines. résultat, de manière à construire un modèle
de son fonctionnement. Ainsi, en entrant un
L’une de ces tactiques est celle de la grand nombre de termes dans les moteurs de
« rétro-ingénierie ». C’est une méthode scienti- recherche de Google et Bing, Diakopoulos a
fique classique qui consiste à étudier un objet de pu déduire certains des critères appliqués pour
façon à comprendre son fonctionnement ou son censurer ce qui apparaît dans les suggestions
mode de fabrication. Nick Diakopoulos est pro- d’autocomplétion.
fesseur à l’université de Northwestern. Il y dirige
le Computational Journalism Lab ( « Labo de L’association française AlgoTransparency
journalisme computationnel » ). C’est l’un des a adopté une approche similaire afin d’enquêter
plus fervents défenseurs de cette approche. « Les sur les biais de l’algorithme de recommandation
algorithmes ont toujours nécessairement un input et de YouTube. Elle a ainsi montré qu’il n’avait pas
un output : la boîte noire comporte donc en réalité recommandé également les vidéos de campagne
deux petites ouvertures. Nous pouvons utiliser ces des candidats aux élections présidentielles

françaises de 2017. YouTube a reconnu l’exac- réduire à une configuration algorithmique. J’ai
titude de leurs résultats. Puis ajouté que les tes- envie de répondre : “ Vous pensez que cette personne
teurs d’AlgoTransparency avaient mené cette pense comme un ordinateur, parce que vous essayez
expérience sur un ordinateur vierge de tout his- de deviner ce qu’elle pense à travers un ordinateur. ”
torique de navigation sur YouTube – ce qui ne Mais il est impossible de comprendre la complexité
correspond à aucun comportement réel. ou la richesse de ce monde si vous le regardez à tra-
vers un écran. »
C’est une grande limite de la rétro-ingé-
nierie. En fonction des besoins de l’expérience, L’algorithme dans ses pratiques
celle-ci crée des comportements souvent très C’est pourquoi de plus en plus de cher-
différents des conditions réelles d’exercice des cheurs approchent les algorithmes comme des
algorithmes. Afin de comprendre ce que fait objets sociaux, produits par des acteurs, pris
effectivement un algorithme, il faudrait pou- dans des faisceaux de pratiques. Cette approche
voir le tester sur des données personnelles propre aux sciences humaines permet de « défé-
fournies par les entreprises. Le programme tichiser » l’algorithme et d’éclairer autrement
NosSystèmes, de la Fondation internet nou- son fonctionnement. Quand il a voulu étu-
velle génération ( Fing ), souhaitait étudier par dier PageRank, Dominique Cardon n’a même
rétro-ingénierie divers algorithmes. Il s’est vite pas cherché à contacter Google. « Je savais
heurté à des obstacles : « Nous avons eu beaucoup qu’ils ne me donneraient rien. » Il a abordé l’al-
de mal à trouver des entreprises prêtes à collaborer gorithme par la bande, en lisant la littérature

avec nous », admet Hubert Guillaud, journa- scientifique, mais surtout en enquêtant dans le
liste spécialisé dans les questions numériques et « monde social » produit par l’algorithme : celui
cofondateur du projet Fing. du Search Engine Optimization, le SEO, une
énorme industrie qui propose des conseils et
Si la rétro-ingénierie peut être utile pour procédures visant à être mieux classé dans les
montrer l’existence de biais, elle peine à les résultats de recherche de PageRank. « Il existe
expliquer. Selon certains chercheurs, c’est parce tout un savoir dérivé chez ces “ experts de l’algo-
qu’elle ne tient pas compte de la part humaine rithme ”, qui provient d’une connaissance locale,
des algorithmes : les personnes qui les font. mais aussi de rétro-ingénierie, d’expériences… »
« Avec la rétro-ingénierie, on s’imagine que l’on va Afin de comprendre les mécanismes du réfé-
pouvoir comprendre ce que pensent les ingénieurs » rencement, Cardon a « beaucoup étudié la guerre
estime Nick Seaver, qui applique une approche entre Google et le SEO », ce jeu du chat et de la
ethnographique aux algorithmes. « Et ensuite, souris entre une industrie qui cherche à main-
dans le cas des algorithmes de recommandation tenir sa position non-interventionniste officielle
culturelle [ sur lesquels il travaille, nldr ], on va et une autre qui cherche à tricher. En assem-
les accuser de ne pas comprendre la culture, de tout blant ces connaissances dérivées, le sociologue

79 — DANS LA BOÎTE NOIRE DES ALGORITHMES
a pu longuement décrire le fonctionnement de Marsan remettent largement en question

de l’algorithme dans son travail Le Bazar et l’efficacité de la dimension « prédictive » du
les Algorithmes. logiciel : celui-ci ne fait guère mieux que les tra-
ditionnelles méthodes de « hotspot » qui pointent
Quand il a voulu étudier PredPol, le logiciel les zones de concentration des crimes et des
de police évoqué plus haut, le sociologue Bilel délits. Les concepteurs de PredPol, souligne
Benbouzid s’est lui aussi heurté à la difficulté de Benbouzid, sont conscients de ces limites, mais
son objet. « La lecture des articles, très complexes, les évoquent rarement publiquement car ils sont
ne me suffisait pas pour comprendre l’algorithme. très proches de l’entreprise, laquelle pratique un
Les chercheurs qui avaient développé PredPol ne marketing agressif et efficace. De fait, PredPol
voulaient pas me parler car ils étaient très proches est utilisé par plusieurs polices municipales,
de l’entreprise… Mais j’ai eu une chance immense : dont celle de Los Angeles. Afin de comprendre
il se trouve que l’algorithme de PredPol a été déve- quel rôle il joue auprès des policiers, Benbouzid
loppé par un sismologue français. » Les créateurs a enquêté auprès d’eux. Et découvert que le logi-
de PredPol ont en effet utilisé un modèle utilisé ciel servait surtout d’« outil de management » :
en sismologie afin de prédire les répliques de « Légalement, il faut une suspicion raisonnable
séisme pour modéliser la contagion du crime. pour contrôler une personne et le “ profilage racial ”
Ce choix, explique Benbouzid, est en lui-même est contrôlé par la loi… Les policiers se sont aperçus
significatif : il implique de penser la contagion que s’ils entraient réellement dans une logique pré-
du crime comme un phénomène physique dont dictive, ils allaient au-devant de nombreux pro-

la modélisation dépend de la structure spatiale blèmes. En pratique, le logiciel sert surtout à gérer le
propre aux éléments qui le constituent. « Le dosage de la police au quotidien, à envoyer les poli-
déterminisme de l’algorithme de PredPol est la ciers au bon endroit au bon moment. » D’après lui,
négation ( assumée ) de tout ce qui ne peut être décrit « on est à mille lieues de Minority Report : PredPol
physiquement 14. » Cherchant à approfondir, le est surtout un outil de gestion ».
sociologue a contacté un des sismologues qui
avait participé au développement du modèle De la même façon, la sociologue Angèle
de PredPol, David Marsan. Celui-ci a accepté Christin, professeure à Princeton, étudie en
de tester son programme sur les données de la ethnographe l’usage des algorithmes de justice,
criminalité de Chicago, ouvertes au public et et notamment des scores de Compas dans trois
qui ont servi à entraîner PredPol. Les calculs tribunaux du sud des États-Unis. Ses résultats
« ON EST À MILLE LIEUES DE MINORITY REPORT :

PREDPOL EST SURTOUT UN OUTIL DE GESTION. »

préliminaires permettent de relativiser l’impact qui habitent les programmeurs, souvent sincè-
de ces scores : ils montrent qu’en règle générale, rement passionnés par l’idée de faire découvrir
juges et procureurs font très peu confiance à ces de la nouvelle musique aux internautes, et les
outils. S’ils sont effectivement versés au dossier, ingénieurs, qui comparent leur tâche de créa-
ils sont peu mobilisés, rarement mentionnés et tion d’un espace musical personnalisé par un
servent surtout dans la négociation des peines algorithme à un travail de « plombier », de « fer-
avec les avocats. mier » ou encore de « jardinier ».
Ces approches d’enquête propres aux L’approche est aussi passionnante que
sciences humaines remettent en perspective le vertigineuse. Car dans cet assemblage diffus et
rôle que jouent réellement certains algorithmes, hétérogène, où doit porter la critique ? À tant
en les envisageant comme des objets, pris dans déplier l’algorithme, ne risque-t-on pas de le dis-
un tissu de pratiques sociales et humaines, et soudre dans un réseau d’acteurs et de pratiques ?
constamment négociés et modifiés. « Le sys- « Je comprends cette inquiétude, et je la partage
tème algorithmique est composé de l’algorithme, ses comme beaucoup de gens dans le monde des sciences
données et des gens qui travaillent avec. Je pense sociales », répond Seaver. « Nous avons besoin que
que distinguer l’algorithme de ses concepteurs n’a l’algorithme soit un objet concret, pour que nous
pas beaucoup de sens, car ceux-ci peuvent le modi- puissions agir dessus. Et cela peut être utile dans cer-
fier quand ils veulent », affirme Nick Seaver, qui tains contextes, comme celui de la régulation. »
propose de définir les algorithmes comme des

« systèmes sociotechniques diffus et hétérogènes, « Transparence »,
plutôt que des procédures fixes et rigides ». Lui a « équité », « redevabilité »…
mené une longue enquête ethnographique sur des termes en chantier
des algorithmes de recommandation musicale. Conséquence de cette effervescence cri-
Pendant plusieurs années, il a assisté aux confé- tique, les appels à la régulation et à la créa-
rences annuelles du secteur et conduit de nom- tion d’algorithmes « neutres », « équitables »,
breux entretiens avec des sommités de ce monde, « transparents », « redevables », « explicables »
dans leur bureau, dans des cafés ou entre deux se multiplient.
portes. Ses recherches font émerger une vision
beaucoup plus nuancée de l’algorithme, dans En France, la loi pour une République
laquelle celui-ci recouvre une structure de pro- numérique de 2016 instaure l’ouverture des
duction si vaste et distribuée que personne ne données et algorithmes publics, ainsi que l’obli-
dit « travailler sur l’algorithme » et que certains gation de mentionner explicitement l’utilisa-
ingénieurs reconnaissent ne pas toujours com- tion d’un traitement algorithmique dans une
prendre ce qui se passe dans leur code. Ses entre- décision administrative. Elle impose également
tiens témoignent également des représentations le principe de « loyauté des plateformes », défini

comme la « transparence de l’information pour les 63 SCOLARITÉ

64 ========
consommateurs et la régulation des avis en ligne ». 65 g_po_cod profil
66 i_ne_cod niveau d'étude
Afin d’appliquer ces principes, elle prévoit la 67
68
création d’un projet d’audit des algorithmes 69
70
g_cn_aut_etb
g_cn_aut_etb_com
établissement
ville établissement
71 g_dp_cod_aut_etb département établissement
intitulé TransAlgo, dirigé par Nozha Boujemaa, 72 g_py_cod_aut_etb pays établissement
73
et confie à la Cnil ( Commission nationale de 74 g_cn_aut_etb_for Intitulé de la formation
75
l’informatique et des libertés ) une mission 76
77 i_sa_typ_bul fréquence des bulletins scolaires
de réflexion sur les enjeux éthiques des algo- 78
79 g_cn_det_sco détail scolarité
rithmes. Sur le papier, c’est limpide. Dans la
pratique, l’application de ces lignes directrices Un internaute décrypte certaines variables du code-source d’APB
ouvre un chantier qui s’annonce long et difficile.
Du côté de l’État, c’est la mission Etalab, Le récent exemple de Parcoursup, l’algo-

déjà en charge de la politique de partage et rithme qui remplace APB pour l’orientation
d’ouverture des données publiques, qui doit dans le supérieur, illustre bien ces difficultés.
coordonner l’ouverture des algorithmes publics. Échaudée par l’affaire APB, l’administration
Cette exigence a beau être inscrite dans la loi, a rapidement rendu public le code de Par-
reste à définir ce qu’elle implique en pratique, coursup. Mais la mise en place de l’affecta-
explique Simon Chignard, data editor à Etalab. tion des élèves a révélé que c’était largement
L’État peut-il se contenter de livrer le code insuffisant. Car Parcoursup délègue désormais

source, comme il l’avait initialement fait dans le aux établissements supérieurs le soin de sélec-
cas d’APB en envoyant aux lycéens qui l’avaient tionner leurs élèves. Cela implique la lecture et
réclamé le code sur papier dans une enveloppe ? le tri de milliers de dossiers – ce que les facs,
Doit-il expliquer le modèle qui a présidé à la en chronique manque de personnel, ne peuvent
création de l’algorithme ( comme le ministère déléguer à des humains. Beaucoup d’établis-
de l’Éducation l’avait fait pour APB dans une sements ont donc mis en place leurs propres
note ) ? Fournir un jeu de données afin de le algorithmes de tri locaux – dont les critères,
tester ou encore des mécanismes de récupéra- eux, sont confidentiels, protégés par le « secret
tion des données ? Etalab y réfléchit. La mis- des délibérations » de règle dans les universités.
sion est aussi chargée de définir à quoi devront C’est pourtant à ce niveau que des biais peuvent
ressembler les futurs algorithmes publics si on survenir. Certains algorithmes locaux semblent
les veut « responsables ». La réflexion en est à ainsi prendre en compte la moyenne au bac du
ses débuts. « On essaie de construire un système de lycée d’origine, ce qui renforcerait les difficultés
poids et de contrepoids. Ces algorithmes sont une d’accès au supérieur des élèves des zones défa-
opportunité pour l’action publique, si on peut les vorisées. Par ailleurs, la « transparence » de Par-
rendre responsables. » coursup se révèle peu efficace et anxiogène.

104 CURSOR class_aleatoire_autres_cddts IS

105 -- les candidats non classés par la requête ci-dessus : les autre bac que EEE
106
107 SELECT C.g_cn_cod,
108 DECODE(l_six_voe, 1, six_voeu_L1(c.g_cn_cod, g_aa_cod_bac_int, g_cn_flg_int_aca,o_g_tg_cod), 0),
109 a_ve_ord_vg_rel, -– Ordre du voeu avec voeux groupés relatifs licence
110 a_ve_ord_aff, –- Ordre du voeu avec Voeux groupé relatif licence et tous les autres voeux
111 a_vg_ord, -- Ordre du sous-voeu dans le voeu groupé
112 DBMS RANDOM.value(1999999),
113 i.i_ep_cod,
114 i.i_is_dip_val -- Pour ceux-ci on prend en plus en compte la validité du diplôme
115 FROM g_can c, i_ins i, a_rec r, a_voe v
116 WHERE i.g_ti_cod=o_g_ti_cod
117 AND i.g_gf_cod=o_c_gp_cod
118 AND i_ep_cod IN (2, 3) -- Pointés recu (complet ou incomplet)
119 AND i.g_cn_cod=c.g_cn_cod
120 --TODO2016 => Traiter les groupes néo-réeo ensemble différement (voir Correction_classements_neo-reo.sql dans exploit/admission
121 AND c.g_ic_cod > 0
122 AND i.i_is_val=1
123 --non encore classé
124 AND NOT EXISTS (SELECT 1 FROM c_can_grp
125 WHERE i.g_cn_cod=g_cn_cod
126 AND i.g_gf_cod=c_gp_cod
127 AND i_ip_cod IN (4, 5)) -- Permet de récupérer les AC
128 AND i.g_ti_cod=r.g_ti_cod
129 AND c.g_cn_cod=v.g_cn_cod
130 AND r.g_ta_cod=v.g_ta_cod
131 UNION
132 -- les candidats qui n ont au final pas classé la formation dans leur liste ordonnée. Ils sont classé, mais en dernier.
dans leur liste ordonnée. Ils sont classé, mais en dernier.
133 SELECT c.g_cn_cod,
Le code-source de l’algorithme APB, tel que fourni initialement

par l’Éducation nationale

Là où APB hiérarchisait les propositions faites affichée de Parcoursup est donc loin de suffire
aux candidats, Parcoursup montre au candidat à donner le sentiment d’une procédure d’affec-
sa position sur les listes de sélection dressés tation équitable. L’algorithme intègre pourtant
par tous les établissements demandés, classe- des dispositifs visant à réduire les inégalités :
ments qui évoluent « au fil de l’eau » selon les quotas de boursiers, moindre nombre d’étu-
désistements des uns et des autres. Lent et diants hors académie afin d’éviter que certains
stressant, ce processus confronte aussi les étu- établissements ne drainent tous les élèves aux
diants à une violence nouvelle : celle de se voir dépens d’autres… Si Parcoursup concentre les
classés et hiérarchisés, en compétition avec leur critiques, c’est au fond parce qu’il cristallise des
classe d’âge, par des établissements qui ne s’af- questions bien plus larges : le débat sur la sélec-
fichent pourtant pas comme sélectifs. « Dans la tion dans le supérieur, le manque de moyens des
procédure elle-même, son autorité et sa technicité, universités, les inégalités scolaires et l’absence
il manque un respect fondamental de la liberté et d’une politique ambitieuse visant à les réduire.
du potentiel de chacun, qui se trouve ici réduit à Or la réponse à ces questions n’est pas tech-
son passé scolaire », estimait la sociologue Cécile nique, mais politique.
Van de Velde dans Le Monde 15. La transparence

Un peu partout, les appels à la « trans- se prennent des décisions injustes – alors que nous ne
parence » des algorithmes, à la création d’al- savons même pas comment définir la fairness ( la
gorithmes « équitables » ( fair ), « ouverts » ou justice, l’équité ). Est-il plus équitable de donner
« justes »… se heurtent dans la pratique à un les mêmes opportunités à tout le monde ou de
chantier définitionnel énorme. « Quand on lutter contre l’inégalité ? Vaut-il mieux que tout le
parle d’algorithmes responsables, c’est par rapport monde puisse avoir accès aux contenus partagés par
à quoi ? Ça dépend des cas d’usage, du référentiel ses amis ou bien censurer les discours de haine ? Et
que l’on prend. On peut définir la responsabilité qui doit prendre cette décision ? Nous avons devant
par rapport au respect des règles légales et éthiques. nous un dur travail de définition, bien différent de
Mais celles-ci sont très subjectives et dépendent celui qu’il faudra fournir pour comprendre ensuite
des règles d’une communauté », explique Nozha par quels processus algorithmiques incarner ces
Boujemaa. Créé en vue de fournir au législateur valeurs “ dans ” ces termes. Si nous arrivons à les
des outils d’évaluation de situations données, définir, nous pourrons accomplir beaucoup plus. »
TransAlgo réunit des juristes, des informa-
ticiens, des sociologues… qui ont chacun L’IDÉE N’EST DONC PAS
des conceptions différentes des termes clé
du débat : « discrimination », « loyauté », « neu- D’ÉLIMINER LES BIAIS, MAIS DE
tralité », « transparence », « redevabilité », « res- LES EXPLICITER. ET C’EST UNE
ponsabilité », « éthique »… « On ne peut avoir
QUESTION ÉTHIQUE AVANT D’ÊTRE
d’algorithme neutre sans une notion normative
UNE QUESTION TECHNIQUE.

de la neutralité, relative à un monde donné »,
explique Camille Roth. « Prenons l’exemple du
changement climatique. Dans le monde du jour- La question est d’autant plus urgente que
nalisme, le critère de neutralité va être de présenter l’arrivée de l’intelligence artificielle la pose à
à parts égales les “ pro ” et les “ anti ”, sans se pré- nouveaux frais. En France, la Cerna, une com-
occuper de la représentativité de ces opinions dans mission de réflexion sur l’éthique de la recherche
la population. Un journaliste neutre qui ne prend en sciences et technologies du numérique, com-
pas parti présentera les deux aspects du débat, là mence à y réfléchir. L’un de ses membres, Gilles
où un scientifique dira : 95 % de la communauté Dowek, explique : « Pour les algorithmes classiques
scientifique pense que le réchauffement climatique ou peu adaptatifs, nous parlons d’“ éthique par
est d’origine anthropique, ce n’est pas un débat. » design ” : on vérifie au moment de la conception que
L’horizon n’est donc pas d’éliminer les biais, ce l’algorithme est cohérent avec un certain nombre
qui est impossible, mais de les expliciter. Et là, de valeurs. Les algorithmes d’intelligence arti-
le chantier est éthique, non technique. Ainsi, ficielle sont évolutifs : ce n’est pas parce qu’ils res-
écrit danah boyd : « Nous pensons qu’en rendant le pectent certaines valeurs à un moment donné qu’ils
processus transparent, nous pourrons voir comment respecteront les mêmes valeurs dans le futur.

« NOUS SOMMES DANS LA MACHINE. ON NE PEUT

PAS FAIRE COMME SI ON ÉTAIT INDÉPENDANTS
FACE À DES MÉCHANTS QUI NOUS CALCULENT. »
Se pose alors la question de l’évolution de l’algo- Nous sommes dans la machine. On ne peut pas faire
rithme dans le temps et de la revalidation de la comme si on était indépendants face à des méchants
cohérence de l’algorithme avec ces valeurs. » Selon qui nous calculent. »
Dowek, il faudra alors inventer « de nouveaux
algorithmes d’apprentissages, capables non seu- Dominique Cardon a montré combien
lement d’apprendre quelles réponses ils doivent l’essor des algorithmes personnalisés répond
donner, mais aussi d’apprendre quelles justifications à un désir social d’individuation très profond :
donner », ou imaginer de réviser régulièrement c’est parce que les individus ne voulaient plus
les systèmes automatiques afin de vérifier qu’ils être calculés par des moyennes, des statistiques,
n’ont pas développé de biais problématiques. mais exprimer leur singularité, leur individua-
Dans le domaine de la recherche en intelligence lité, que les algorithmes de personnalisation
artificielle, ces questions éthiques sont encore ont rencontré pareil succès. Les plateformes se
peu présentes – malgré l’existence de certaines justifient d’ailleurs en arguant qu’elles ne font

communautés qui alertent les chercheurs et le que répondre aux comportements des utilisa-
grand public sur ces problématiques, comme teurs. S’ils sont aventureux, elles proposeront
FAT ML, Fairness Accuracy Transparency in des contenus aventureux ; s’ils sont plus casa-
Machine Learning. niers, elles s’adapteront en conséquence. Ce
mode de gouvernance implique une certaine
S’attaquer aux « plis idée de l’humain, un profond béhaviorisme
qui nous rendent calculables » ( comportementalisme ). De plus en plus, les
Cette réflexion sur un monde algorithmique plateformes réduisent les usagers à leurs traces,
équitable ne pourra pas être conduite sans inter- aux dépens de ce qu’ils disent d’eux-mêmes et
roger aussi les idéologies qui ont favorisé l’essor de leurs goûts. Des plateformes comme You-
des calculs. Car les algorithmes fonctionnent de Tube ou Netflix donnent aujourd’hui beaucoup
pair avec la société, ils sont « assemblés à nous », moins d’importance à ce qu’une personne utili-
souligne Dominique Cardon. « Il y a une coagen- satrice déclare « aimer » ( sa liste de films à voir
tivité de nos comportements et du calcul et une cofa- plus tard, les « likes » qu’elle a déposés sous une
brication complète, notamment par l’intégration vidéo ) qu’au temps qu’elle passe effectivement
des comportements des utilisateurs dans le calcul. à regarder une vidéo ( ce que YouTube appelle

« Watch Time », d’autres plateformes « Dwell

Time » ). Ainsi, dit Cardon : « L’idée de ces plate-
formes, c’est qu’il ne faut pas faire confiance à ce
que les gens disent. Le déclaratif, c’est important
pour la subjectivité, les projets, les désirs… Mais les
gens ne sont pas conformes à leurs désirs. La réalité,
c’est : est-ce qu’ils ont marché, combien de temps ils
ont dormi, est-ce qu’ils ont vraiment lu ce livre ou
ont-ils sauté des chapitres ? » Sans une remise en
cause de ce béhaviorisme et de cet utilitarisme,
la critique des algorithmes ne sera pas complète.
Car, selon la belle expression de Dominique
Cardon : « Les calculs ne fonctionnent que dans une
société qui a pris des plis pour se rendre calculable. »
1. L’expression est de Malte Ziewitz, 8. J. Hourdeaux, « Police prédictive : deux 1er novembre 2015,
chercheur en sciences de l’information chercheurs démontent l’algorithme », <www.nouvelobs.com/rue89/rue89-

à l’université Cornell. Mediapart, 13 septembre 2016. les-activistes/20151101.RUE1136/
2. D. Cardon, À quoi rêvent les algorithmes, 9. M.-A. Autet, « Questionner google-est-devenu-raciste-parce-que-
Seuil, Paris, 2015. la toute-puissance des algorithmes : ses-utilisateurs-le-sont.html>.
3. Ibid. rencontre avec Surya Mattu », 13. d. boyd, « Transparency ≠
4. T. Gillespie, « The relevance of <www.rsln.fr >, 15 décembre 2016. Accountability », Points, 29 mai 2016,
algorithms », Culture Digitally, 26 10. J. Angwin, J. Larson, S. Mattu et <https://points.datasociety.net/
novembre 2012, <http://culturedigitally. L. Kirchner, « Machine bias », ProPublica, transparency-accountability-
org>. 23 mai 2016, <www.propublica.org/ 3c04e4804504>.
5. « I think it’s time we broke for lunch », article/machine-bias-risk-assessments- 14. B. Benbouzid a raconté cette enquête
The Economist, 14 avril 2011. in-criminal-sentencing>. dans un article publié le 13 septembre
6. Où l’on peut lire : « Nos utilisateurs 11. Voir notamment M. Alexander, 2016 sur <www.laviedesidees.fr/A-qui-
comptent sur notre objectivité et aucun The New Jim Crow, The New Press, profite-le-crime.html>.
objectif ne pourrait justifier de trahir New York, 2010 ( trad. fr. : La Couleur 15. Cécile Van de Velde, « Parcoursup
cette confiance. » de la justice. Incarcération de masse et laisse explicitement un “ système ”
7. Post de Mark Zuckerberg sur nouvelle ségrégation raciale aux États-Unis, administrer, classer, ordonner les rêves
Facebook, 27 septembre 2017, Syllepse, Paris, 2017 ). d’une génération », lemonde.fr,
<https://m.facebook.com/ 12. D. Boyd, « Google est devenu raciste 30 mai 2018.
story.php ?story_fbid= parce que ses utilisateurs le sont »,
10104067130714241&id=4>. traduit par Claire Richard, Rue89,

Dans La Boite Noire Des Algorithmes

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Dans La Boite Noire Des Algorithmes

Transféré par

Droits d'auteur :

Formats disponibles

DANS LA BOÎTE NOIRE DES ALGORITHMES

Comment nous nous sommes rendus calculables

La Découverte | « Revue du Crieur »

Distribution électronique Cairn.info pour La Découverte.

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

Powered by TCPDF (www.tcpdf.org)

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 68 17/09/2018 15:20

La tentation est grande, lorsque l’on souhaite comprendre l’influence

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 69 17/09/2018 15:20

Admission Post-Bac, qui recourait à un algo- qu’elle est difficilement compréhensible. Et

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 70 17/09/2018 15:20

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 71 17/09/2018 15:20

Le leurre de l’objectivité qui constitue cette circulation. Maintenant que c’est

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 72 17/09/2018 15:20

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 73 17/09/2018 15:20

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 74 17/09/2018 15:20

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 75 17/09/2018 15:20

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 76 17/09/2018 15:20

kiss abortion loves makeout

L’approche par rétro-ingénierie inputs et ces outputs pour faire de la rétro-ingé-

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 77 17/09/2018 15:20

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 78 17/09/2018 15:20

a pu longuement décrire le fonctionnement de Marsan remettent largement en question

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

« ON EST À MILLE LIEUES DE MINORITY REPORT :

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 79 17/09/2018 15:20

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 80 17/09/2018 15:20

comme la « transparence de l’information pour les 63 SCOLARITÉ

Du côté de l’État, c’est la mission Etalab, Le récent exemple de Parcoursup, l’algo-

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 81 17/09/2018 15:20

104 CURSOR class_aleatoire_autres_cddts IS

Le code-source de l’algorithme APB, tel que fourni initialement

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 82 17/09/2018 15:20

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 83 17/09/2018 15:20

« NOUS SOMMES DANS LA MACHINE. ON NE PEUT

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 84 17/09/2018 15:20

« Watch Time », d’autres plateformes « Dwell

© La Découverte | Téléchargé le 07/02/2022 sur www.cairn.info (IP: 109.0.235.234)

LECRIEUR_11_INTERIEUR_0917_FINAL.indd 85 17/09/2018 15:20

Vous aimerez peut-être aussi