Toit Creep Hal

Machine Translated by Google
Une évaluation multilingue du discours de haine en ligne

Détection
Michele Corazza, Stefano Menini, Elena Cabrio, Sara Tonelli, Serena Villata
Pour citer cette version :
Michele Corazza, Stefano Menini, Elena Cabrio, Sara Tonelli, Serena Villata. Une évaluation multilingue
pour la détection des discours de haine en ligne. ACM Transactions on Internet Technology, Association
for Computing Machinery, 2020, 20 (2), pp.1-22. ff10.1145/3377323ff. ffhal-02972184ff
Identifiant HALÿ: hal-02972184
https://hal.archives-ouvertes.fr/hal-02972184
Soumis le 20 octobre 2020
HAL est une archive pluridisciplinaire en libre L'archive ouverte pluridisciplinaire HAL, est
accès pour le dépôt et la diffusion de documents de destinée au dépôt et à la diffusion de documents
recherche scientifique, qu'ils soient publiés ou non. scientifiques de niveau recherche, publiés ou non,
Les documents peuvent provenir d'établissements des établissements d'enseignement et de recherche
d'enseignement et de recherche en France ou à français ou étrangers, des laboratoires publics ou
l'étranger, ou de centres de recherche publics ou privés.
privés.
Une évaluation multilingue pour la haine en ligne

Détection de la parole
Michele Corazza, Université de Bologne, Bologne, Italie

Stefano Menini, Fondazione Bruno Kessler, Trente, Italie
Elena Cabrio, Université Côte d'Azur, Inria, CNRS, I3S, France
Sara Tonelli, Fondazione Bruno Kessler, Trente, Italie
Serena Villata, Université Côte d'Azur, Inria, CNRS, I3S, France
Résumé
La popularité croissante des plateformes de médias sociaux comme Twitter et
Facebook a entraîné une augmentation de la présence de discours haineux et agressifs
sur ces plateformes. Malgré le nombre d'approches récemment proposées dans le
domaine de recherche du traitement automatique du langage naturel pour détecter ces
formes de langage abusif, la question de l'identification des discours de haine à grande
échelle reste un problème non résolu. Dans cet article, nous proposons une architecture
neuronale robuste dont les performances sont satisfaisantes dans différentes langues,
à savoir l'anglais, l'italien et l'allemand. Nous abordons une analyse approfondie des
résultats expérimentaux obtenus sur les trois langages pour mieux comprendre la
contribution des différents composants employés dans le système, tant du point de vue
de l'architecture (c'est-à-dire, mémoire à long court terme, unité récurrente fermée, et
mémoire à long terme bidirectionnelle) et du point de vue de la sélection de
fonctionnalités (c'est-à-dire, les ngrams, les fonctionnalités spécifiques aux réseaux
sociaux, le lexique des émotions, les émojis, les incorporations de mots). Pour répondre
à une telle analyse approfondie, nous utilisons trois ensembles de données disponibles
gratuitement pour la détection des discours de haine sur les réseaux sociaux en anglais, italien et allemand.
1. Introduction
L'utilisation de plateformes de médias sociaux telles que Twitter, Facebook et Instagram a
considérablement augmenté le nombre d'interactions sociales en ligne, connectant des milliards
d'utilisateurs, favorisant l'échange d'opinions et donnant de la visibilité à des idées qui seraient
autrement ignorées par les médias traditionnels. Cependant, cela a également conduit à une
augmentation des attaques ciblant des groupes spécifiques d'utilisateurs en fonction de leur
religion, de leur origine ethnique ou de leur statut social, et les individus ont souvent du mal à
faire face aux conséquences de ces infractions.
Ce problème affecte non seulement les victimes d'abus en ligne, mais également les
parties prenantes telles que les gouvernements et les plateformes de médias sociaux. Par
exemple, Facebook, Twitter, YouTube et Microsoft ont récemment signé un code de conduite1,
1http://ec.europa.eu/justice/fundamental-rights/files/hate_speech_code_of_
1
proposé par l'Union européenne, s'engageant à examiner la majorité des notifications valables
pour la suppression de discours de haine illégaux en moins de 24 heures.
Au sein de la communauté du traitement du langage naturel (NLP), plusieurs efforts ont été
déployés pour résoudre le problème de la détection des discours de haine en ligne, car l'analyse
informatique du langage peut être utilisée pour identifier rapidement les infractions et faciliter la
suppression des messages abusifs. Plusieurs ateliers [61, 27] et campagnes d'évaluation [26, 12,
66, 7, 68] ont été récemment organisés pour discuter des approches existantes en matière de
détection des discours de haine, proposer des tâches partagées et favoriser le développement de
référentiels pour l'évaluation du système. Celles-ci ont conduit à la création d'un certain nombre
d'ensembles de données pour la détection des discours de haine dans différentes langues, qui ont
été partagés au sein de la communauté de recherche du PNL. Les progrès récents dans les
approches d'apprentissage en profondeur de la classification de textes ont ensuite été appliqués
également pour faire face à cette tâche, obtenant pour certaines langues des résultats de pointe [17, 29, 31].
Ces systèmes sont généralement conçus pour traiter les textes des médias sociaux en appliquant
un prétraitement, en utilisant des intégrations spécifiques à un domaine, en ajoutant des
fonctionnalités textuelles, etc. Compte tenu du nombre de configurations et de ressources externes
qui ont été utilisées par les systèmes pour la détection des discours de haine, il est assez difficile
de comprendre ce qui rend un classificateur robuste pour la tâche, et d'identifier des
recommandations sur la façon de pré-traiter les données, quel type d'incorporations devraient être
utilisées, etc. C'est en effet la principale contribution du présent articleÿ: après avoir identifié un
architecture d'apprentissage profond plutôt stable et performante dans différentes langues, nous
évaluons les dotations de plusieurs composants habituellement utilisés dans la tâche, à savoir le
type d'intégrations, l'utilisation de fonctionnalités supplémentaires (basées sur le texte ou basées
sur les émotions) , le rôle de la normalisation des hashtags et celui des emojis. Nous effectuons
notre évaluation comparative sur l'anglais, l'italien et l'allemand, en nous concentrant sur des
ensembles de données Twitter librement disponibles pour la détection des discours de haine. Notre
objectif est d'identifier un ensemble de recommandations pour développer des systèmes de
détection des discours de haine, allant éventuellement au-delà des différences spécifiques à la langue.
L'article est organisé comme suit : dans la section 2, nous présentons les travaux antérieurs
liés à la détection des discours de haine. Dans la section 3, nous décrivons l'architecture neuronale
adoptée dans nos expériences, tandis que dans la section 4, nous présentons à la fois les
ensembles de données utilisés pour former et tester notre classifieur, et les ressources externes
alimentées au système. Dans la section 5, la configuration expérimentale est présentée, avec des
détails sur l'étape de prétraitement et la sélection des hyperparamètres. Enfin, la section 6 rend
compte des résultats de l'évaluation et discute des suggestions pour le développement de systèmes
robustes de détection des discours de haine. Dans la section 7, nous résumons nos conclusions.
REMARQUE : Ce document contient des exemples de langage qui peuvent être offensants
à certains lecteurs. Ils ne représentent pas les opinions des auteurs.
conduite_fr.pdf
2
2 Travaux connexes
2.1 Détection du discours de haine sur les données en anglais
Compte tenu de l'augmentation bien connue de la présence de discours toxiques et abusifs sur les
plateformes de médias sociaux comme Twitter et Facebook, un nombre croissant d'approches ont
été proposées pour détecter ce type de messages en anglais. Les systèmes automatisés pour la
détection du langage abusif vont des modèles d'apprentissage automatique supervisés construits
à l'aide d'une combinaison de caractéristiques conçues manuellement telles que les n-grammes
[67], les caractéristiques syntaxiques [47] et les caractéristiques linguistiques [23], aux réseaux de
neurones plus récents. qui prennent des séquences de mots ou de caractères à partir de
commentaires et apprennent des modèles abusifs sans avoir besoin d'une ingénierie de fonctionnalités explicite.
La tendance récente à utiliser des approches basées sur les réseaux de neurones a été
particulièrement évidente pour l'anglais, puisque plusieurs ensembles de données de formation
sont disponibles pour cette langue, permettant des approches plus gourmandes en données. En
effet, les organisateurs de la tâche Semeval 2019 sur l'identification du langage offensant [68]
rapportent que 70% des participants adoptent une approche d'apprentissage en profondeur.
Cependant, des systèmes de classification plus simples utilisant la régression logistique ont
également été appliqués avec succès à la tâche [62, 22]. Parmi les approches basées sur les
réseaux de neurones, différents algorithmes ont été présentés, tels que le réseau de neurones
convolutifs utilisant des intégrations word2vec pré-entraînées [69], bi-LSTM avec mécanisme
d'attention [1] et le réseau bidirectionnel Gated Recurrent Unit [40]. Plus récemment, la combinaison
de différents newtorks neuronaux, capturant à la fois le contenu du message et les métadonnées
du compte Twitter, a également été proposée [29]. Dans une étude comparative de divers modèles
d'apprentissage sur l'ensemble de données Hate and Abusive Speech on Twitter construit par
Founta et al. [30], Lee et al. [40] montrent que, dans la classification des tweets comme
«ÿnormauxÿ», «ÿspamÿ», «ÿhaineuxÿ» et «ÿabusifsÿ», un réseau bidirectionnel Gated Recurrent
Unit formé sur des caractéristiques au niveau du mot est le modèle le plus précis. Au lieu de cela,
dans la tâche binaire de détection du langage offensant, Liu et al. [41] réalisent les meilleures
performances au Semeval 2019 en affinant une représentation d'encodeur bidirectionnel à partir
d'un transformateur [24].
Dans cet article, nous proposons un classificateur neuronal robuste pour la tâche de
classification binaire du discours de haine qui fonctionne bien dans différentes langues (anglais,
italien et allemand), et nous étudions l'impact de chaque caractéristique et composante sur les
résultats dans ces langues. Notre architecture neuronale récurrente partage certains éléments
avec les approches ci-dessus, à savoir l'utilisation d'une mémoire à long court terme et d'une unité
récurrente fermée. Des intégrations, des fonctionnalités textuelles et spécifiques aux réseaux
sociaux sont utilisées. Comme dans [38], nous n'utilisons pas de métadonnées liées aux comptes
de médias sociaux. Les résultats obtenus sont comparés de manière plus détaillée dans la section
6.
2.2 Détection du discours de haine sur des langues autres que En

Glisse
Alors que la plupart des approches de détection des discours de haine ont été proposées pour
l'anglais, d'autres systèmes ont été développés pour faire face à la tâche en allemand,
3
Italien et espagnol, grâce aux récentes tâches partagées. La tâche partagée GermEval 2018
sur l'identification du langage offensant2 traite de la détection des commentaires offensifs à
partir d'un ensemble de tweets allemands. Les tweets doivent être classés dans les deux
classes infraction et autre, où la classe d'infraction couvre le langage abusif, les insultes, ainsi
que les déclarations profanatrices. Différents classificateurs sont utilisés par les participants,
allant de l'apprentissage supervisé traditionnel basé sur les fonctionnalités (c'est-à-dire les SVM
pour le système le plus performant TUWienKBS [48]) aux méthodes d'apprentissage en
profondeur plus récentes. La plupart des systèmes les plus performants dans les deux tâches
partagées ont utilisé l'apprentissage en profondeur (par exemple, spMMMP [60], uhhLT [63],
SaarOffDe [25], Inri aFBK [19]). Par exemple, SaarOffDe utilise des réseaux de neurones
récurrents et des réseaux de neurones convolutifs qui ont produit les meilleurs scores, tandis
que d'autres systèmes (par exemple, spMMMP, uhhLT) utilisent l'apprentissage par transfert.
L'utilisation de la classification d'ensemble semble souvent améliorer les approches de
classification (par exemple, Potsdam [54], RuG [5], SaarOffDe, TUWienKBS, UdSW [64]). En
ce qui concerne les fonctionnalités, plusieurs systèmes incluent une combinaison d'incorporations
de mots, de n-grammes de caractères et de certaines formes de lexique (spécifique à une
tâche). Les systèmes HaUA et UdSW rapportent que des scores de performance élevés peuvent
être obtenus avec un classificateur reposant uniquement sur un lexique.
En 2018, la première tâche de détection du discours haineux (HaSpeeDe) pour l'italien a
été organisée à EVALITA-20183 . La tâche consiste à annoter automatiquement les messages
de Twitter et Facebook, avec une valeur booléenne indiquant la présence (ou non) de discours
de haine. Semblable aux soumissions de Germeval 2018, dans ce cas également, les systèmes
participants adoptent un large éventail d'approches, y compris bi LSTM [39], SVM [53],
classificateurs d'ensemble [52, 4], RNN [28], CNN et GRU [60 ]. Les auteurs du système le plus
performant, ItaliaNLP [17], expérimentent trois modèles de classification différents : un basé sur
SVM linéaire, un autre basé sur un BiLSTM à 1 couche et un nouveau basé sur un BiLSTM à 2
couches qui exploite l'apprentissage multi-tâches avec des données supplémentaires de la
tâche SENTIPOLC de 20164 .
Concernant l'espagnol, l'édition 2018 d'IberEval5 a proposé la tâche de détection

d'agressivité [13] appliquée à l'espagnol mexicain, visant à fournir une classification des tweets
agressifs / non agressifs. Divers systèmes sont proposés, exploitant des fonctionnalités basées
sur le contenu (sac de mots, n-grammes de mots, vecteurs de termes, mots du dictionnaire,
mots d'argot) et stylistiques (fréquences, ponctuation, POS, éléments spécifiques à Twitter). La
plupart des systèmes reposent sur des réseaux de neurones (CNN, LSTM et autres). L'équipe
la mieux classée était INGEOTEC [32] : le système est basé sur MicroT, une approche de
classification de texte soutenue par un modèle basé sur le lexique qui prend en compte la
présence de mots agressifs et affectifs, et un modèle basé sur la représentation Fasttext de les
textes. Plus récemment, une tâche de détection des discours de haine contre les immigrés et
les femmes sur Twitter a été organisée au Semeval 2019 [7], fournissant un anglais et
2https://www.oeaw.ac.at/fileadmin/subsites/academiaecorpora/PDF/
GermEval2018_ Proceedings.pdf 3http://www.evalita.it/2018 4http://www.di.unito.it/
~tutreeb/ sentipolc-evalita16/index.html 5https://sites.google.com/view/ibereval-2018
4
si xn
xe xi RNN toi x1
siÿ1
...
Figure 1 : L'architecture neuronale modulaire
Ensemble de données espagnol annoté selon les mêmes directives. Alors que pour les deux
langages, un certain nombre d'approches de réseaux de neurones ont été proposées, les meilleurs
systèmes de détection de contenu haineux reposent toujours sur les SVM et les fonctionnalités
basées sur l'intégration [37, 50, 2].
En examinant les descriptions des systèmes participant aux tâches ci-dessus, ainsi que les
classificateurs de détection des discours de haine les plus récents pour l'anglais, nous observons
que les approches d'apprentissage en profondeur partagent généralement un certain nombre de
caractéristiques, telles que les incorporations de mots, l'utilisation de l'émotion ou lexique des
sentiments, ainsi que des étapes de prétraitement spécifiques. Beaucoup exploitent également
d'autres fonctionnalités liées aux tweets (par exemple, la longueur des messages, les signes de
ponctuation, etc.). Néanmoins, l'accent est généralement mis sur l'architecture, et aucune idée n'est
donnée sur le rôle joué par les variantes des fonctionnalités ci-dessus et par la stratégie de
prétraitement sélectionnée. En outre, aucune tentative de comprendre les différences entre les différentes langues n'a été faite.
Ceci motive les expériences présentées dans le reste de cet article.
3 Cadre de classement
Étant donné que notre objectif est de comparer l'effet de diverses fonctionnalités, incorporations de
mots et techniques de prétraitement sur la détection des discours de haine, nous utilisons une
architecture neuronale modulaire pour la classification binaire capable de prendre en charge les
fonctionnalités au niveau des mots et des messages. Les composants sont choisis pour prendre en
charge le traitement du langage spécifique aux médias sociaux. L'architecture neuronale et les
fonctionnalités sont détaillées dans les sous-sections suivantes.
3.1 Architecture neuronale modulaire

Nous utilisons une architecture neuronale modulaire (voir Figure 1) dans Keras [15].
L'architecture qui constitue la base de tous les différents modèles utilise une seule couche
cachée feed-forward de 100 neurones, avec une activation ReLu et une seule sortie avec
une activation sigmoïde. La perte utilisée pour former le modèle est l'entropie croisée
binaire. Nous avons choisi cette architecture particulière parce que nous l'avons utilisée
pour participer à deux tâches partagées pour la détection des discours de haine, EVALITA
HaSpeeDe 2018 [18] pour l'italien et Germeval 2018 [19] pour l'allemand, et cela s'est avéré être
5
efficace et robuste pour les deux langues, également sur différentes plateformes de
médias sociaux [20]. En particulier, dans nos soumissions originales, la même architecture
était classée quatrième dans la sous-tâche Twitter EVALITA (ÿ1,56 F1 par rapport à la
première classée) et septième dans la tâche de classification à gros grains Germeval
(ÿ2,52 F1 par rapport à la mieux classée).
L'architecture est conçue pour prendre en charge les fonctionnalités au niveau des mots (c'est-
à-dire les intégrations) et au niveau des tweets. En particulier, nous utilisons une couche récurrente
pour apprendre un codage (xn sur la figure) dérivé des plongements de mots, obtenu en sortie de
la couche récurrente au dernier pas de temps. Cet encodage est ensuite concaténé avec les
autres fonctionnalités sélectionnées, obtenant un vecteur de fonctionnalités au niveau du tweet.
Étant donné que les modèles dérivés de l'utilisation de différentes fonctionnalités sont
différents à la fois en termes de nombre de paramètres et en termes de couches, nous avons
décidé de garder la taille de la couche cachée fixe. Cela nous permet de comparer différentes
fonctionnalités, car la représentation latente apprise par la couche cachée qui est finalement
utilisée pour classer les tweets a la même taille quel que soit le nombre et le type de fonctionnalités.
Plus formellement, étant donné une entrée représentée par l'ensemble des caractéristiques X = {xj |
xj ÿ Xm}, où XM est l'ensemble de toutes les caractéristiques prises en charge par un modèle M (voir
Section 3.2) et s est la somme des dimensions de toutes les caractéristiques, nous calculons une fonctionÿ:
M(X) = s(WoH(X) + bo) Wo ÿ R 1×100

H(X) ÿ R 100
bo ÿ R 1
n
s(X) = (ÿ(x1), . . . , ÿ(xn)) x ÿ R
1
ÿ(x) =
1 + eÿx où
Wo et bo sont les poids appris pour la couche de sortie et ÿ(x) est la fonction d'activation
sigmoïde (notez que dans tous les modèles nous avons utilisé n = 1 car nous n'avons
qu'un binaire sortie), etÿ:
100×s s 100
H(X) = g(WhC(X) + bh) Wh ÿ R C(X) ÿ R bh ÿ R
n
g(X) = (f(x1), . . . , f(xn)) x ÿ R f(x) =
max(0, x) x ÿ R
où H(X) représente l'application d'une couche cachée de taille 100 et des poids appris Wh
et bh et g(x) est la fonction d'activation ReLU. En outre:
C(X) = M R(xi)
xiÿX
où L désigne la concaténation de tous les vecteurs le long de leurs axes. Par exemple, si
nous avons un ensemble de vecteurs X = [x1, x2, x3], alors :
a+b+c xi b c
M ÿR x1 ÿ R un
, x2 ÿ R , x3 ÿ R
xiÿX
Pour terminer:
si x est une fonctionnalité de niveau tweet
R(x) = (x RNN(x) si x est une caractéristique au niveau du mot
6
où RNN est la fonction renvoyant la sortie par une couche récurrente au dernier pas de temps.
3.2 Caractéristiques
Dans nos expérimentations, nous utilisons les fonctionnalités suivantes, dans le but d'évaluer leur
impact sur un modèle de détection des discours de haine :
• Embeddings de mots (xe dans la Figure 1) : plusieurs embeddings de mots provenant de

diverses sources ont été testés (pour une description complète des différents embeddings,
voir la section 4.2). Nous évaluons en particulier la contribution des word embeddings
extraits des données des médias sociaux, appartenant donc au domaine spécifique de notre
tâche de classification, par rapport aux performances obtenues à l'aide d'espaces de
embedding génériques, comme Fasttext [11], qui sont largement utilisés dans différents
NLP. tâches en raison de leur bon
couverture.
• Embeddings d'emoji : les emojis sont un élément particulier des textes des médias sociaux.
Ils sont souvent utilisés pour souligner ou inverser le sens littéral d'un court message, par
exemple dans des tweets ironiques ou sarcastiques [36]. Il est donc très important pour la
détection des discours de haine de comprendre quelle est la meilleure façon de les
représenter et de les inclure dans l'espace d'intégration. Nous comparons différentes façons
d'intégrer des informations d'emoji dans notre classificateurÿ: i) nous utilisons des espaces
d'intégration créés à partir de données de médias sociaux, où chaque emoji est également
représenté par un mot incorporé, ou ii) dans le cas d'espaces d'intégration génériques, où
les émojis ne sont pas présent, nous incluons les emoji em beddings à travers l'alignement
des différents espaces suivant l'approche présentée dans [58], ou iii) afin de faire face à la
faible couverture des emojis, ils sont remplacés par leur description en clair comme suggéré
dans [56 ].
• Ngrams : les unigrammes (x1 dans la Figure 1) et les bigrammes dérivés des tweets sont
également inclus en tant que fonctionnalités. Nous symbolisons et lemmatisons d'abord les
tweets en utilisant Spacy [35], puis normalisons le vecteur d'occurrence ngram au niveau du
tweet en utilisant tf-idf. Notre intuition est que ces caractéristiques devraient capturer les
similitudes lexicales entre les données d'apprentissage et de test, elles devraient donc être
prédictives lorsque l'apprentissage et l'ensemble de test traitent du même type de fenses.
Les ngrams de niveau supérieur ne sont pas pris en compte, car nous nous attendons à ce
qu'ils soient très rares, en particulier dans les médias sociaux, où les tweets ne suivent pas
les conventions d'écriture standard.
• Fonctionnalités spécifiques aux réseaux sociauxÿ: la limite de caractères imposée par

certaines plateformes de médias sociaux comme Twitter affecte le style dans lequel les
messages sont écritsÿ: les mots fonctionnels ont tendance à être ignorés, les textes sont
très concis tandis que la ponctuation et les mots en majuscules sont utilisés pour transmettre
des messages efficaces malgré leur brièveté. Ainsi, tous ces indicateurs linguistiques
peuvent être utilisés pour identifier la présence de messages haineux. Nous considérons
notamment le nombre de hashtags et de mentions, le nombre de points d'exclamation et
d'interrogation, le nombre d'emojis, le nombre de mots qui sont écrits
sept
en majuscule au niveau du tweet. Ces caractéristiques sont ensuite normalisées en

soustrayant leur moyenne et en les divisant par leur écart type.
• Lexique des émotions : plusieurs lexiques des émotions ont été (manuellement ou
automatiquement) créés et utilisés dans des tâches de classification pour représenter le
contenu émotionnel d'un message [45, 44, 9, 59]. Bien que l'importance des informations
sur les émotions pour la détection des discours de haine puisse sembler évidente [3], il est
également vrai qu'un espace d'intégration suffisamment grand et représentatif du domaine
peut rendre superflues des caractéristiques émotionnelles supplémentaires. Nous évaluons
donc la contribution de l'information émotionnelle à l'aide de deux lexiques multilingues
librement disponibles sur les émotions, à savoir EmoLex et Hurtlex. Emolex [45, 44] est une
longue liste de mots anglais et leurs associations avec huit émotions de base (colère, peur,
anticipation, confiance, surprise, tristesse, joie et dégoût) et deux sentiments (négatif et
positif), annotés manuellement avec Turc Mécanique d'Amazonie. Les créateurs du lexique
ont en outre mis à disposition une version multilingue de la ressource, qui a été créée en
traduisant chaque mot avec Google translate en 2017. Nous utilisons donc les traductions
allemande et italienne ainsi que la traduction anglaise. À l'aide d'EmoLex, nous extrayons
deux caractéristiques liées aux sentiments et huit caractéristiques liées aux émotions pour
chaque tweet en additionnant tous les scores de sentiment et d'émotion attribués aux mots
dans un tweet et en les normalisant à l'aide de tf-idf. La deuxième ressource, à savoir Hurtlex
[9], est un lexique multilingue de mots haineux créé à partir du lexique italien de la haine
développé par le linguiste Tullio De Mauro, organisé en 17 catégories. Il a été étendu grâce
au lien vers les ressources lexicales informatiques basées sur les synsets disponibles telles
que MultiWordNet [51] et Babelnet [46], et a évolué dans une perspective multilingue par
traduction semi-automatique et notation experte. Comme Hurtlex peut contenir plusieurs fois
le même mot avec différentes balises Part-of-Speech, nous avons effectué une opération
d'union sur les catégories afin de représenter toutes les catégories auxquelles un mot peut
appartenir, indépendamment du POS. En utilisant HurtLex, nous attribuons avec la même
stratégie un score pour les stéréotypes négatifs, un pour les mots haineux et les insultes et
un pour les autres insultes à chaque tweet.
4 Données et ressources linguistiques

Dans ce qui suit, nous présentons les ensembles de données utilisés pour former et tester notre
système pour l'anglais, l'italien et l'allemand et leurs annotations (section 4.1). Ensuite, nous
décrivons le mot plongements (Section 4.2) que nous avons utilisé dans nos expériences.
4.1 Jeux de données
Anglais Nous utilisons l'ensemble de données décrit dans [62], contenant 16 000 tweets en anglais
annotés manuellement pour le discours de haine. Plus précisément, 1 924 sont annotés comme
contenant du racisme, 3 082 comme contenant du sexisme, tandis que 10 884 tweets sont annotés
comme ne contenant pas de langage offensant. Nous fusionnons les tweets sexistes et racistes dans
8
une seule classe, de sorte que 5 006 tweets sont considérés comme des exemples positifs de discours
de haine, comme dans l'exemple 1.
1. Annotation : haineux.
Puisque 1/3 de tout l'#islam croit que les gens qui quittent la religion devraient être assassinés où
sont les musulmans modérés.
Nous utilisons l'ensemble de données Twitter publié pour la tâche partagée HaSpeeDe (Hate Speech
Detection) organisée à Evalita 2018, la campagne d'évaluation pour la PNL et les outils de traitement de
la parole pour l'italien6 . Cet ensemble de données comprend un total de 4 000 tweets [12], comprenant
pour chaque tweet l'annotation respective, comme on peut le voir dans l'exemple 2. Les deux classes
considérées dans l'annotation sont « hateful post » ou « not ».
2. Annotation : haineux.
d'autres profughiÿ? sono zavorre e tutti uomini (EN : Sont-ils vraiment des réfugiés ? ils sont lest
et tous des hommes).
Allemand Nous utilisons l'ensemble de données distribué pour la tâche partagée sur l'identification de la
langue offensante organisée à Germeval 2018, un atelier dans une série de tâches partagées sur le
traitement de l'allemand7 . L'ensemble de données fourni pour la tâche 1, où les commentaires offensants
doivent être détectés à partir d'un ensemble de tweets allemands (classification binaire), se compose de
5 009 tweets allemands annotés manuellement au niveau du message [66] avec les étiquettes « infraction
» (langage abusif, insultes et déclarations grossières) et "autre" (c'est-à-dire non offensant). Plus
précisément, 1ÿ688 messages sont marqués comme « infraction » (voir l'exemple 3), tandis que 3ÿ321
messages sont marqués comme « autres ».
3. Annotationÿ: Infraction.
@Ralf Stegner Oman Ralle..dich mag ja immer noch keiner. Du willst das die Hetze gegen dich
aufhortÿ? Geh in Rente und verzichte auf die 1/2deiner Pension (EN: @Ralf Stegner Oman Ralle...
encore, personne ne vous aime. Vous voulez arrêter la haine contre vous ? Prenez votre retraite
et renoncez à la moitié de votre pension).
Le tableau 1 résume les principales statistiques sur les ensembles de données. Les valeurs
rapportées montrent que, bien que les ensembles de données aient des tailles différentes, la distribution
entre les exemples positifs et négatifs est similaire. Nous avons également étudié manuellement des
échantillons de données et les schémas d'annotation des ensembles de données anglais, allemand et
italien. Bien que les développeurs des corpus anglais et italien se concentrent sur le discours de haine,
tandis que les organisateurs de Germeval prétendent cibler un langage offensant, les types de messages
qu'ils annotent comme appartenant à leur classe «ÿpositiveÿ» respective se chevauchent largement. Les
cibles sont différentes, c'est-à-dire que les messages italiens se concentrent sur les immigrés, musulmans
et roms, les anglais sur les délits sexistes et raciaux, tandis que l'allemand n'a pas de cibles spécifiques
et comprend à la fois des messages offensants envers les groupes et envers les individus. Toutefois, les
types d'infractions,
6http://www.di.unito.it/~tutreeb/haspeede-evalita18
7https://www.oeaw.ac.at/ac/konvens2018/workshop/
9
Ensemble de données # discours haineux/offensant (%) # autre (%) # total 10

Anglais 5 006 (32 %) 884 (68 %) 16 000
Italien 2 704 (68 %) 4 000
1 296 (32 %)
Allemand 3 321 (66 %)15688 009(34 %)
Tableau 1 : Statistiques sur les jeux de données
à la fois explicites et implicites, y compris les messages sarcastiques, les questions rhétoriques et les fausses
affirmations fondées sur des préjugés les rendent à notre avis comparables. La seule différence est l'ensemble
de messages étiquetés comme « grossiers » et inclus parmi les messages « offensants » dans l'ensemble de
données allemand, qui couvre les insultes sans cible spécifique. Cependant, ils ne représentent que 1,4ÿ%
des messages dans cet ensemble d'apprentissage.
4.2 Imbrications de mots

Dans nos expériences, nous testons plusieurs incorporations, dans le but de comparer les génériques avec
les spécifiques aux médias sociaux. Afin d'avoir une couverture élevée d'emojis, nous expérimentons
également des espaces d'intégration alignés obtenus en alignant les espaces anglais, italien et allemand. Un
autre élément que nous prenons en compte est l'accès au modèle binaire Fasttext à l'origine de l'espace
d'intégration. Lors de l'utilisation de ce modèle binaire, il est possible d'atténuer considérablement le problème
des mots hors vocabulaire, puisque le système est capable de fournir une intégration pour les mots inconnus
en utilisant les informations d'unité de sous-mot [42]. Le modèle binaire est souvent mis à disposition avec le
modèle standard lorsque des représentations vectorielles pré-entraînées sont publiées. Lorsqu'elle est
disponible, nous utilisons toujours cette version. Les encastrements testés, résumés dans le tableau 2, sont
les suivants :
• Imbrications Fasttext pour l'allemand et l'italien : nous utilisons les espaces d'intégration obtenus
directement sur le site Fasttext8 pour l'allemand et l'italien. En particulier, nous utilisons les plongements
italiens et allemands formés sur Common Crawl et Wikipedia [33] avec une taille de 300. Un modèle
Fasttext binaire est également disponible et a donc été utilisé ;
• Embeddings Fasttext Crawl anglais : Embeddings anglais entraînés par Fasttext9 sur Common Crawl,
avec une taille d'embedding de 300. Un modèle Fasttext binaire est fourni ;
• Incorporations Fasttext News en anglaisÿ: incorporations en anglais formées sur Wikipedia 2017 à l'aide
d'informations de sous-mots, du corpus de base Web UMBC et de statmt.org et publiées par Fasttext
10, avec une taille d'intégration de 300.
Le modèle Fasttext binaire disponible a été utilisé ;
• Embeddings italiens de Twitter : nous avons formé les embeddings Fasttext à partir d'un échantillon de
tweets italiens [8], avec une taille d'embedding de 300. Nous avons utilisé la version binaire du modèle ;
8https://fasttext.cc/docs/en/crawl-vectors.html
9https://fasttext.cc/docs/en/english-vectors.html
10https://fasttext.cc/docs/en/english-vectors.html html
dix
• Embeddings Twitter allemandsÿ: formés par Spinning Bytes11 à partir d'un

échantillon de tweets allemands [16]. Nous avons utilisé le modèle avec des plongements de
taille 300. Un modèle Fasttext binaire n'a pas été fourni, nous avons donc utilisé
la version textuelleÿ;
• Embeddings Twitter anglaisÿ:ÿembeddings Fasttext anglais de Spin ning Bytes12, entraînés sur
un échantillon Twitter anglais [16] avec une taille d'intégration de 200. Comme aucun modèle
Fasttext binaire n'a été fourni, nous avons utilisé
la version textuelleÿ;
• Embeddings alignésÿ: étant donné que les embeddings Fasttext pour l'italien et l'allemand ne
contiennent pas d'emojis, nous les étendons en les alignant avec un
Espace d'intégration anglais contenant des emojis [6], en suivant l'alignement
approche présentée dans [57]. Tous les plongements et les résultats alignés
les espaces ont une taille de 300.
TEXTERAPIDE
INCRUSTATIONS TAILLE DE L'ALGORITHME DE LANGAGE
MODÈLE BINAIRE
Fasttext et CCrawl FR Texte rapide 300 OUI
Fasttext Fr Actualités FR Texte rapide 300 OUI
Gazouillement anglais FR Texte rapide 200 NON
Fasttext It CCrawl & Wiki CE Texte rapide 300 OUI

Twitter Italien CE Texte rapide 300 OUI
Fasttext De CCrawl & Wiki DE Texte rapide 300 OUI
Twitter allemand DE Texte rapide 300 NON
Aligné FR, IT, DE Texte rapide 300 NON
Tableau 2 : Aperçu des différents plongements utilisés dans nos expérimentations
En résumé, nous avons pu utiliser un modèle binaire pour tous les Fasttext officiels
ensembles de données monolingues et les intégrations Twitter italiennes que nous avons formées. Pour
les espaces d'incorporation restants, nous n'avions accès qu'à une structure de type dictionnaire, qui
contient l'incorporation de chaque mot du vocabulaire.
5 expériences
Dans cette section, nous détaillons la configuration de nos expériences, y compris l'étape de
prétraitement, la sélection des hyperparamètres et la combinaison des fonctionnalités et des
configurations testées pour chaque langue.
5.1 Prétraitement
Étant donné que les hashtags, les mentions d'utilisateurs, les liens vers des médias externes et les emojis sont courants
dans les interactions sur les réseaux sociaux, il est nécessaire de prétraiter soigneusement les données,
11https://www.spinningbytes.com/resources/wordembeddings/
12https://www.spinningbytes.com/resources/wordembeddings/
11
afin de normaliser au maximum le texte tout en conservant toutes les informations sémantiques
pertinentes. Pour cette raison, nous remplaçons d'abord les URL par le mot "url" et les mentions
d'utilisateur "@" par "nom d'utilisateur" en utilisant des expressions régulières.
Étant donné que les hashtags fournissent souvent un contenu sémantique important, nous avons voulu
tester l'impact de leur division en mots simples sur les performances du classificateur. À cette fin, nous
utilisons l'outil Ekphrasis [10] pour diviser les hashtags et évaluer les performances du classificateur avec
et sans division. Étant donné que l'outil susmentionné ne prend en charge que l'anglais, il a été adapté à
l'italien et à l'allemand en utilisant des ngrams Google spécifiques à la langue.13
Une autre étape de pré-traitement que nous évaluons dans nos expériences est la description des
emojis en texte brut, qui s'est avérée bénéfique pour la classification des tweets [56] mais n'a été évaluée
jusqu'à présent qu'en anglais. Afin de mapper chaque emoji avec une description, nous récupérons
d'abord une liste d'emoji à l'aide de la bibliothèque Python dédiée14 et remplaçons chaque emoji par sa
description en anglais selon le site du consortium Unicode15. Nous traduisons ensuite les descriptions à
l'aide de Google Translate et corrigeons les erreurs à la main. De cette façon, nous créons une liste
d'emojis avec la transcription correspondante en trois langues (disponible sur https://github.com/dhfbk/
emoji-transcriptions).
5.2 Hyperparamètres
Afin de maintenir notre configuration robuste dans toutes les langues, nous basons notre modèle sur une
configuration qui a toujours bien fonctionné sur toutes les sous-tâches de détection des discours de haine
d'Evalita [18], à la fois sur Facebook et sur les données Twitter, même si ce n'était pas la configuration la
plus performante. sur les tâches individuelles. En particulier, notre modèle n'utilise aucun abandon et
aucune normalisation par lots sur les sorties de la couche cachée.
Au lieu de cela, une suppression sur les unités récurrentes des couches récurrentes est utilisée. Nous
sélectionnons une taille de lot de 32 pour la formation et une taille de 200 pour la sortie (et les états
cachés) des couches récurrentes. Nous testons également l'impact de différentes couches récurrentes,
à savoir la longue mémoire courte (LSTM) [34], l'unité récurrente fermée (GRU) [14] et la LSTM
bidirectionnelle (BiLSTM) [55].
5.3 Paramètres
Dans nos expériences, nous effectuons une série de tests sur le modèle neuronal modulaire susmentionné,
concernant les aspects suivantsÿ:
• Pour chaque langue, nous testons les plongements correspondants présentés dans
Article 4.2.
• Nous testons toutes les combinaisons possibles de fonctionnalitésÿ: plongements, unigrammes, bi

grammes, fonctionnalités sociales, EmoLex et Hurtlex.
13http://storage.googleapis.com/books/ngrams/books/datasetsv2.html
14https://github.com/carpedm20/emoji 15https://www.unicode.org/
emoji/charts/full-emoji-list. html
12
• Nous testons trois couches récurrentes possibles, à savoir LSTM, GRU et Bidirec
LSTM.
• Nous formons des modèles avec et sans séparation de hashtag.
• Nous testons des modèles qui remplacent les emojis par leur description et des modèles qui ne
le font pas. Pour les incorporations Fasttext italiennes et allemandes qui ne contiennent pas
d'emojis, nous testons également les performances du modèle après avoir utilisé des
incorporations d'emoji résultant de l'alignement avec un espace d'incorporation anglais (voir les
détails dans la section 4.2)
Au total, nous comparons 1 800 configurations possibles pour l'anglais, 1 080 pour l'italien et 1
224 pour l'allemand. La différence est due à la disponibilité de plus d'espaces d'intégration pour
l'anglais, ce qui augmente le nombre de paramètres possibles et de combinaisons de fonctionnalités à
tester.
Concernant le jeu de données divisé en instances d'entraînement et de test, pour le jeu de
données anglais - puisqu'aucun découpage standardisé n'est fourni - nous avons sélectionné au
hasard 60ÿ% du jeu de données pour la formation, 20ÿ% pour la validation et 20ÿ% pour le test.
Puisque nous voulons que nos expériences soient reproductibles, nous utilisons la fonction train test
split de scikit-learn [49] pour mélanger et diviser l'ensemble de données 60%/40%. Les 40ÿ% restants
ont ensuite été divisés en deux pour obtenir respectivement l'ensemble de validation et de test. Nous
utilisons 42 comme valeur de départ pour le générateur de nombres aléatoires utilisé pour le mélange.
L'ensemble de données allemand a déjà été divisé au hasard par les organisateurs de la tâche
GermEval en ensemble d'entraînement et de test, contenant respectivement 5 009 et 3 532 messages.
Pour nos expériences, nous gardons la même répartition que celle proposée dans le défi, mais nous
utilisons 20ÿ% de l'ensemble d'apprentissage comme ensemble de validation, obtenu en appelant train
test split de scikit learn avec 42 comme graine. De même, l'ensemble de données italien a été divisé au
hasard par les organisateurs de tâches HaSpeeDe en ensemble d'entraînement et de test de 3 000 et 1
000 messages respectivement. Encore une fois, dans nos expériences, nous gardons la même
répartition que celle proposée dans le défi, mais nous avons utilisé 20ÿ% de l'ensemble d'apprentissage
comme ensemble de validation en appliquant la même fonction que pour l'ensemble de données allemand.
Pour chaque langue, le test de validation est utilisé pour évaluer les performances du classifieur
sur 20 périodes d'apprentissage et sélectionner le modèle le plus performant en termes de score F1
macromoyenné. Le modèle sélectionné est ensuite utilisé pour évaluer les performances sur l'ensemble
de test.
6 Évaluation
Dans cette section, nous rapportons une sélection des résultats les plus pertinents de l'ensemble des
paramètres décrits à la section 5.3. En particulier, la première ligne des tableaux 3, 4 et 5 rapporte la
meilleure exécution sur toutes les configurations testées pour l'anglais, l'italien et l'allemand
respectivement, tandis que les autres lignes montrent comment les meilleures performances changent
lors de la modification d'un paramètre à la fois. Nous fournissons également une évaluation de
l'efficacité des différentes configurations en comparant les trois langues après sous-échantillonnage
des ensembles d'apprentissage. À titre de comparaison, nous fournissons une ligne de base obtenue
en exécutant un SVM (noyau linéaire) avec une approche par sac de mots en utilisant tf-idf comme
poids.
13
6.1 Évaluation multilingue sur les jeux de données complets Pour l'anglais, le meilleur
résultat (0.823 F1) est obtenu en utilisant un réseau LSTM et les plongements Fasttext
entraînés sur Common Crawl. Le tableau 3 montre comment l'ajout ou la suppression de
fonctionnalités uniques de la meilleure configuration affecte le résultatÿ: l'ajout de
fonctionnalités basées sur les unigrammes et les bigrammes au classificateur entraîne la plus
grande baisse de performances, tandis que la modification d'autres fonctionnalités a un
impact moindre. Cela confirme les résultats de [62], dans lesquels les n-grammes de
caractères surpassent les n-grammes de mots dans la classification des tweets raciaux,
sexistes et non offensants. Dans l'ensemble, nous constatons que, bien que le meilleur
résultat soit obtenu en utilisant un réseau LSTM, le remplacement de LSTM par Bi-LSTM en
conservant les mêmes caractéristiques donne des résultats similaires, avec une différence
de F1 de 0,1 à 0,2 % F1. Cela montre qu'il n'est probablement pas nécessaire d'avoir à la
fois des informations avant et arrière lorsqu'il s'agit de tweets en raison de la longueur limitée
des messages. L'utilisation de la normalisation des hashtags pour diviser les hashtags en
mots améliore les performances du système dans chaque configuration, augmentant la
couverture des incorporations. Dans l'ensemble, la couverture des intégrations Fasttext
formées sur CommonCrawl est suffisante pour traiter les données Twitter, donc ajouter des intégrations spécifiques ou les pré-trait
De plus, la ligne de base SVM souffre d'un rappel inférieur par rapport à la meilleure
configuration neuronale, en particulier lorsqu'il s'agit de la catégorie haineuse, qui a moins
d'instances d'entraînement.
14
15
emoji
a
été
appliqué Tableau
3
Configuration
la
plus
performante
sur
les
données
anglaises
(Macro
AVG).
EMOJI
=
'NO'
signifie
qu'aucun
traitement
spécifique
de
:
Base
de
référence
SVM Fasttext
CCrawl
emb+bi Fasttext
CCrawl
emb+uni Fasttext
CCrawl
emb+uni+bi
NON Emblème
Fasttext
CCrawl Emblème
Fasttext
CCrawl Emblème
Fasttext
CCrawl Emblème
Fasttext
CCrawl Emblème
Fasttext
CCrawl Emblème
Fasttext
CCrawl Emblème
Fasttext
CCrawl Emblème
Fasttext
CCrawl INTÉGRER.
TEXTE
FEATS
ÉMOTIONS
SOCIALES
RÉSEAU
EMOJI
NON NON OUI
HURTLEX
NON NON NON OUI
EMOLEX
NON OUI
NON NON NON NON
NON NON NON HURTLEX
NON EMOLEX
NON NON NON NON
NON NON NON NON transcr.
lstm NON NON
lstm lstm lstm lstm lstm lstm lstm lstm lstm lstm
OUI
0,873 OUI
0,871 OUI
0,881 OUI
0,883 OUI
0,884 OUI
0,885 OUI
0,887 OUI
0,883 OUI
0,886 NON
0,879 OUI
0,885 HACHAGE
SPLIT.
0,875 DÉTESTER
F1
NON
0,682 0,694 0,711 0,719 0,742 0,744 0,751 0,751 0,757 0,756 0,745 0,760 HAINE
PAVG
RAVG
F1
F1
0,808
0,763
0,778 0,800
0,773
0,784 0,796
0,787
0,791 0,815
0,790
0,800 0,816
0,809
0,812 0,818
0,810
0,814 0,820
0,817
0,818 0,823
0,815
0,819 0,817
0,823
0,820 0,821 0,811
0,814
0,812 0,820
0,825
0,823
MOY
Pour l'italien, le meilleur résultat (0,805 F1) est obtenu avec une configuration utilisant un
réseau LSTM et les word embeddings que nous avons entraînés sur un large corpus de tweets
italiens. Dans le tableau 4, nous montrons dans quelle mesure les différentes fonctionnalités
affectent les performances obtenues avec la meilleure configuration. En italien, contrairement à
l'anglais et à l'allemand, l'utilisation d'unigrammes en plus des incorporations de mots est bénéfique
pour les performances du classificateur. Le meilleur résultat est obtenu en utilisant la transcription
emoji, mais leur impact n'est pas significatif (0,805 F1 les utilisant contre 0,804 ne les utilisant pas).
La même tendance peut également être trouvée avec différentes configurations non rapportées
dans le tableau. Considérant toutes les exécutions avec toutes les configurations, l'utilisation
d'intégrations formées sur le même domaine de l'ensemble de données (Tweets italiens) conduit
toujours à de meilleurs résultats par rapport à l'utilisation d'intégrations plus génériques comme
celles de Fasttext (formées sur Common Crawl et Wikipedia) . Presque toutes les configurations les
plus performantes tirent parti de l'utilisation du fractionnement des hashtags. BiLSTM fonctionne
généralement moins bien que LSTM.
Comme dans l'évaluation anglaise, la ligne de base SVM atteint une performance remarquablement
inférieure sur la classe haineuse et montre des problèmes de rappel.
16
17
Base
de
référence
SVM Twitter
emb+uni+bi
NON Twitter
emb+bi aligné
emb+uni Emblème
Twitter Twitter
emb+uni Twitter
emb+uni Twitter
emb+uni Twitter
emb+uni Twitter
emb+uni Twitter
emb+uni Twitter
emb+uni Twitter
emb+uni INTÉGRER.
TEXTE
FEATS
EMOTIONS
SOCIALES
EMOJI
Tableau
4
Configuration
la
plus
performante
sur
les
données
italiennes
(Macro
AVG).
:
NON NON NON NON OUI
EMOLEX
transcription
lstm OUI
Transcription
HURTLEX
lstm NON NON NON OUI NON
NON NON NON NON EMOLEX
transcription
lstm NON Transcription
HURTLEX
lstm NON NON NON
transcription
lstm transcription
lstm plongements
lstm transcription
lstm transcription
lstm NON transcription
lstm transcription
lstm
lstm RÉSEAU
OUI
0,847 OUI
0,860 OUI
0,872 OUI
0,862 OUI
0,858 OUI
0,864 OUI
0,863 NON
0,861 OUI
0,867 OUI
0,871 OUI
0,872 OUI
0,867 HACHAGE
SPLIT.
0,855 DÉTESTER
F1
NON
0,593 0,690 0,660 0,676 0,697 0,719 0,718 0,723 0,727 0,728 0,736 0,737 0,736 HAINE
PAVG
RAVG
F1
F1
0,781
0,707
0,724 0,766
0,771
0,768 0,783
0,747
0,760 0,809
0,758
0,774 0,785
0,775
0,779 0,784
0,794
0,788 0,790
0,792
0,791 0,790
0,796
0,793 0,789
0,800
0,794 0,795
0,800
0,797 0,802
0,805
0,804 0,803
0,806
0,805 0,803
0,806
0,805
MOY
Le tableau 5 rapporte les résultats obtenus sur les données allemandes. Le meilleur résultat
est obtenu avec un réseau GRU, en utilisant les incorporations Fasttext standard (formées sur
Common Crawl et Wikipedia). Semblable à l'anglais, l'adoption des unigrammes et des
bigrammes comme fonctionnalité entraîne une baisse des performances (0,05 point F1). Compte
tenu de toutes les expériences menées sur des données allemandes, les résultats confirment
que pour cette langue également, les transcriptions d'emoji fonctionnent mieux que les vecteurs
d'emoji obtenus par alignement multilingue, mais pour la meilleure configuration, aucun traitement
d'emoji spécifique n'est nécessaire. La séparation des hashtags, qui est incluse dans la
configuration la plus performante pour l'anglais et l'italien, n'est en revanche pas bénéfique pour
la classification des tweets allemands. Notre intuition est que, puisque l'allemand est riche en
mots composés, l'approche de normalisation des hashtags Ekphrasis basée sur les n-grammes
de Google a tendance à diviser les termes également lorsque cela n'est pas nécessaire. Bien
que les fonctionnalités sociales et émotionnelles ne soient pas utilisées dans la meilleure sortie,
elles semblent aider dans la plupart des autres configurations. Également pour ce langage, la
ligne de base SVM atteint un rappel inférieur et une classification moins précise sur la classe de
discours de haine que le modèle neuronal.
18
19
Base
de
référence
SVM Fasttext
emb+uni Fasttext
emb+uni+bi
NON Fasttext
emb+bi Emblème
Fasttext Emblème
Fasttext Emblème
Fasttext Emblème
Fasttext Emblème
Fasttext emb
aligné Emblème
Fasttext Emblème
Fasttext Emblème
Fasttext INTÉGRER.
TEXTE
FEATS
EMOTIONS
SOCIALES
EMOJI
Tableau
5
Configuration
la
plus
performante
sur
les
données
allemandes
(Macro
AVG).
:
NON NON NON NON OUI
EMOLEX
NON OUI
NON OUI
HURTLEX
NON NON NON NON NON
NON NON NON HURTLEX
NON EMOLEX
NON NON NON NON NON
NON NON NON NON transcription
GRU
intégrations
GRU NON NON
GRU GRU GRU GRU GRU GRU GRU GRU GRU GRU RÉSEAU
NON NON NON NON NON NON NON NON NON NON OUI
0,843 NON HACHAGE
SPLIT.
0,807 0,819 0,821 0,806 0,843 0,840 0,836 0,836 0,834 0,835 0,839 0,829 DÉTESTER
F1
NON
0,374 0,586 0,590 0,606 0,654 0,655 0,657 0,671 0,671 0,652 0,644 0,640 0,686 HAINE
PAVG
RAVG
F1
F1
0,692
0,597
0,591 0,722
0,694
0,702 0,726
0,697
0,706 0,710
0,703
0,706 0,764
0,739
0,748 0,760
0,740
0,748 0,755
0,741
0,747 0,759
0,751
0,754 0,755
0,751
0,753 0,752
0,738
0,744 0,758
0,732
0,741 0,765
0,730
0,741 0,754
0,762
0,758
MOY
Outre les expériences susmentionnées, nous effectuons une évaluation supplémentaire à l'aide d'un
RNN basé sur les caractères. En effet, les représentations basées sur les caractères ont
été récemment utilisé dans plusieurs tâches NLP, y compris la détection de langage abusif
[43] avec des résultats prometteurs grâce à leur capacité à traiter efficacement les
mots invisibles. Nous utilisons les systèmes les plus performants pour les trois langues, en remplaçant le
RNN basé sur les mots par un RNN basé sur les caractères. Afin d'apprendre un dense
représentation pour les caractères, nous avons utilisé une couche d'intégration apprise de taille 10.
Les résultats de cet ensemble d'expériences sont rapportés dans le tableau 6 et montrent qu'en utilisant
un RNN basé sur des caractères, les performances du système chutent de manière significative dans
les trois langues par rapport aux RNN basés sur des mots, probablement parce que Fasttext
les incorporations tiennent déjà compte des informations de sous-mots. Nous avons donc décidé de ne pas
pour effectuer d'autres tests avec cette configuration.
20
21
DE
caractère CE FR
caractère LANG
TEXT
FEATS
EMOTIONS
SOCIALES
EMOJI
Tableau
6
Résultats
du
RNN
basé
sur
les
caractères
utilisant
les
meilleures
configurations
pour
les
trois
langues.
:
caractère
+
uni
NON NON NON
NON NON NON
NON transcription
lstm NON
GRU lstm RÉSEAU
NON
0,771 OUI
0,845 OUI
0,821 HACHER.
DIVISER
DÉTESTER
F1
NON
0,212 0,540 0,489 HAINE
PAVG
RAVG
F1
F1
0,555
0,524
0,491 0,763
0,677
0,692 0,697
0,645
0,655
MOY
Langue Émoji AVG F1 Max F1 Écart-type F1 Nombre d'exécutions
FR NON 0,796 0,823 0,034 612

FR OUI 0,797 0,821 0,009 576
FR Transcription 0,796 0,821 0,034 612
CE NON 0,764 0,804 0,021 468

CE OUI 0,761 0,798 0,016 144
CE Transcription 0,763 0,805 0,021 468
DE NON 0,684 0,758 0,034 468

DE OUI 0,678 0,745 0,028 288
Transcription DE 0,682 0,754 0,034 468
Tableau 7ÿ: Moyenne et écart-type des macro-scores moyennés F1 sans aucun

traitement spécifique des emojis ("NON"), utilisant des emojis obtenus par alignement
('OUI') et de les transcrire ('TRANSCRIPTION')
6.2 Contribution des informations sociales et émotionnelles

Afin de mieux comprendre l'apport de fonctionnalités spécifiques ou de pré-traitement
étapes sur toutes les exécutions du système, nous présentons une évaluation comparative des performances
du classifieur avec ou sans transcription emoji (dans la figure 2) et avec
ou sans caractéristiques sociales et émotionnelles (Figure 3). Cette analyse se fait avec
l'objectif de se concentrer non seulement sur la configuration la plus performante, mais aussi sur
tendances générales qui n'ont pas pu être incluses dans les tableaux précédents. En particulier,
nous traçons la distribution des séries obtenant différents scores F1 macro-moyens.
(a) Anglais (totalÿ: 1ÿ800 passages) (b) Italien (totalÿ: 1ÿ080 passages) (c) Allemand (totalÿ: 1ÿ224 passages)
Figure 2 : Répartition des résultats avec et sans transcription emoji et utilisation

incorporations d'emoji alignées dans les trois langues.
La figure 2 montre que la transcription des emojis donne les meilleures performances pour
anglais mais pas pour les deux autres langues. Néanmoins, cette distinction est
pas clair, car aucune tendance claire ne peut être associée à cette caractéristique. Suite
des détails sur les différentes configurations sont présentés dans le tableau 7, confirmant
conclusions ci-dessus. La figure 3 analyse de manière similaire la contribution des
caractéristiques spécifiques au réseau (c.-à-d. longueur des tweets, signes de ponctuation, majuscules, etc.)
et les caractéristiques émotionnelles (c'est-à-dire basées sur EmoLex et Hurtlex). Il montre que, alors que
22
Langue Caractéristiques sociales et émotionnelles Moyenne F1 Max F1 Écart-type F1 Nombre d'exécutions

FR NON 0,794 0,823 0,011 300
FR OUI 0,797 0,821 0,010 1500
CE NON 0,763 0,805 0,020 180
CE OUI 0,763 0,805 0,021 900
DE NON 0,680 0,758 0,035 204
DE OUI 0,682 0,754 0,033 1020
Tableau 8ÿ: Moyenne et écart-type des macros scores F1 moyennés avec et

sans caractéristiques sociales et émotionnelles
pour l'anglais et l'italien, les meilleurs résultats sont obtenus sans ces deux groupes de
fonctionnalités, d'autres exécutions réalisant en moyenne des performances légèrement inférieures
de ces informations. Pour l'allemand, l'amélioration due au social et à l'émotionnel
semble être plus cohérent, même s'il ne s'applique pas à toutes les exécutions.
De plus, les résultats moyens résumés dans le tableau 8 confirment que, comme pour les emojis,
les différences ne sont pas nettes.
(a) Anglais (totalÿ: 1ÿ800 passages) (b) Italien (totalÿ: 1ÿ080 passages) (c) Allemand (totalÿ: 1ÿ224 passages)
Figure 3 : Répartition des résultats avec et sans réseau social et émotion

caractéristiques sur les trois langues.
En comparant les résultats dans les trois langues, nous résumons les principales
conclusions de l'évaluation comme suit :
• L'utilisation des sous-mots a un impact positif sur notre tâche, car elle peut
faire face à la grande variabilité linguistique et à la créativité dans les médias sociaux
domaine ainsi que des fautes de frappe.
• La création d'incorporations spécifiques qui couvrent bien le domaine d'intérêt est

bénéfique pour l'exécution de la tâche. Si possible, une grande quantité de Twitter
les données doivent être collectées pour créer des incorporations lorsqu'il s'agit d'en ligne
classification des discours de haine. Si ce n'est pas le cas, les intégrations Fasttext pré-formées sont formées
sur CommonCrawl ou similaire sont recommandés, à condition qu'il soit possible
pour accéder au modèle binaire
23
• Si les incorporations spécifiques au domaine ci-dessus sont disponibles, où les émojis sont
également présents, nos expériences montrent qu'il n'est pas nécessaire de prétraiter les
émojis de manière spécifique (par exemple, transcrire, ajouter des incorporations d'emoji par
alignement)
• La normalisation des hashtags est utile pour classer les discours de haine en anglais et
Italien, mais les approches actuelles de la division des hashtags peuvent ne pas bien
fonctionner sur les langues riches en composés comme l'allemand, ce qui peut à son tour
affecter la classification
• L'utilisation d'incorporations spécifiques à un domaine avec une bonne couverture rend le

lexique des émotions redondant dans nos expériences. Le fait que de tels lexiques puissent
être créés manuellement ou semi-automatiquement ne joue pas un rôle majeur dans les
performances de classification
• Compte tenu de la longueur limitée des tweets, LSTM a donné de meilleurs résultats que BiL
STM
6.3 Évaluation multilingue sur des jeux de données sous-échantillonnés

Nous effectuons une série d'expériences supplémentaires pour déterminer dans quelle mesure la
taille de l'ensemble de données affecte les résultats. Par conséquent, nous sous-échantillonnons
les ensembles de données allemand et anglais pour correspondre à la taille de l'ensemble de
données Twitter italien, le plus petit. Afin d'améliorer notre capacité à comparer les résultats, nous
utilisons la même distribution d'étiquettes (discours de haine, discours non haineux) que l'ensemble
de données italien pour les deux sous-échantillonnés. Nous reproduisons ensuite certaines des
configurations les plus performantes présentées dans les tableaux précédents et rapportons les
résultats dans le tableau 9. Comme prévu, la réduction des données d'entraînement à la fois pour
l'anglais et pour l'allemand entraîne une baisse des performances (de 0,823 F1 à 0,782 pour
anglais, de 0,758 F1 à 0,713 pour l'allemand). Sur tous les runs, le classifieur obtient des
performances inférieures sur l'allemand que sur les deux autres langues, alors que les résultats sur
l'italien et l'anglais sont comparables. Nos expériences suggèrent que l'allemand est plus difficile à
classer, en partie à cause des caractéristiques inhérentes à la langue (par exemple la présence de
mots composés qui rend la séparation des hashtags inefficace), en partie à cause de la manière
dont l'ensemble de données Germeval a été construit. À savoir, les organisateurs rapportent qu'ils
ont échantillonné les données à partir d'utilisateurs spécifiques et en évitant les requêtes basées
sur des mots clés, afin d'obtenir la plus grande variabilité possible dans le langage offensant. Ils ont
également vérifié et enrichi manuellement les données afin de couvrir tout le spectre politique dans
leurs infractions et d'éviter les chevauchements d'utilisateurs entre les données de formation et de
test. Cela a conduit à la création d'un ensemble de données très difficile, où le chevauchement
lexical entre les données de formation et de test est limité (par conséquent, les fonctionnalités
unigramme et bigramme ne fonctionnent pas bien) et où le discours de haine n'est pas associé à
des sujets ou des mots clés spécifiques.
24
25
Emblème
Fasttext Emblème
Fasttext Emblème
Fasttext Fasttext
emb+uni Fasttext
emb+uni INTÉGRER.
TEXTE
FEATS
EMOTIONS
SOCIALES
EMOJI
Tableau
9
Évaluation
des
performances
sur
des
ensembles
de
données
taille
comparable
en
anglais,
italien
et
allemand
:
NON NON NON NON NON
NON NON NON NON NON
NON transcription
LSTM NON NON transcription
LSTM
LSTM GRU LSTM RÉSEAU
OUI
IL OUI
IL NON OUI
IL OUI
IL DIVISER HACHER.
DE FR DE FR DE CE FR DE FR DE FR LANGUE
0,830 0,837 0,853 0,824 0,849 0,857 0,827 0,857 0,846 0,814 0,862 0,844 0,822 0,863 0,847 DÉTESTER
F1
NON
0,596
0,741
0,702
0,713 0,683
0,755
0,767
0,760 0,711 0,611 0,684
0,767
0,766 0,713
0,780
0,792
0,785 0,598
0,736
0,703
0,713 0,708
0,780
0,785
0,783 0,701 0,563
0,712
0,680
0,689 0,723
0,789
0,796
0,793 0,696
0,763
0,780
0,770 0,578
0,726
0,690
0,700 0,739
0,794
0,811
0,801 0,683
0,763
0,769
0,765 HAINE
PAVG
RAVG
F1
F1
0,776
0,791
0,782 0,732
0,710
0,718 0,767
0,783
0,773
MOY
Bien que notre objectif principal ne soit pas de développer un système obtenant des résultats à la
pointe de la technologie, il est intéressant de comparer nos performances avec les meilleurs systèmes
traitant de la détection des discours de haine. Pour l'italien et l'allemand, notre approche peut être
facilement comparée à d'autres classificateurs existants utilisant la même répartition d'entraînement et de
test, puisque nous nous sommes appuyés sur les données officielles publiées dans deux tâches partagées.
Ces résultats, cependant, ont été obtenus dans le contexte de la tâche partagée, donc les auteurs n'ont
pas pu utiliser les informations sur les performances de l'ensemble de test comme nous l'avons fait.
La comparaison est toujours intéressante, mais il convient de noter que nous rapportons les meilleurs
résultats sur le jeu de test, pas sur le jeu de développement.
Sur l'italien, nous observons que notre meilleure configuration de système atteint des résultats de
pointe (F1 0,805). Le système le plus performant de la tâche partagée EVALITA [17] a atteint 0,800 F1
sur l'ensemble de développement en utilisant un classifieur basé sur SVM avec des fonctionnalités
linguistiques riches, tandis que le meilleur score obtenu sur l'ensemble de test (0,799 F1) a été obtenu par
un système à deux couches. BiLSTM dans un environnement d'apprentissage multi-tâches. Semblables à
notre meilleur réglage, ils utilisent également des intégrations extraites des données des médias sociaux
et observent que l'utilisation d'un lexique basé sur les sentiments n'augmente pas les performances du
système.
En allemand, le système le plus performant participant à Germeval [66] a atteint 0,768 F1 [48] et était
un système d'ensembles empilés qui combinait l'entropie maximale et des classificateurs forestiers
aléatoires et s'appuyait sur cinq groupes de caractéristiques. Cependant, les performances du système
en validation croisée 10 fois en utilisant uniquement l'ensemble d'apprentissage ont atteint 0,817 F1. Notre
meilleure configuration sur l'ensemble de test de tâches donne 0,758 F1 avec une architecture beaucoup
plus simple, utilisant uniquement Fasttext et aucune autre fonctionnalité à l'exception des incorporations
de mots.
Quant à l'anglais, il est plus difficile d'établir une comparaison similaire car l'ensemble de données
que nous utilisons [62] était à l'origine annoté avec trois classes (c'est-à-dire le racisme, le sexisme et
aucun), ainsi la plupart des systèmes utilisant les mêmes données effectuent une classification multiclasse.
De plus, ils sont exécutés en utilisant une validation croisée décuple comme dans l'article original [62].
L'une des rares tentatives de distinction entre les discours haineux et non haineux sur les mêmes données
anglaises est décrite dans [38], où les auteurs présentent un classificateur combinant CNN basé sur les
mots et CNN basé sur les caractères. Ils rapportent 0,734 F1 sur la tâche binaire en validation croisée
décuplée. D'autres travaux utilisant le même ensemble de données pour la classification en trois classes
rapportent des résultats beaucoup plus élevés (0,783 F1 dans [31] en utilisant CNN, 0,86 F1 dans [38] en
utilisant un perceptron multicouche).
Fait intéressant, comme le montre [38], la classification multi-classes semble généralement plus facile que
la classification binaire sur cet ensemble de données spécifique, puisque les tweets sexistes et racistes
présentent des caractéristiques discriminantes basées sur le lexique qui sont faciles à capturer.
6.4 Évaluation qualitative

Dans nos expériences, nous avons testé plus de 1 000 configurations pour chaque langue, et il est donc
difficile d'évaluer et de comparer manuellement les résultats, car chaque configuration peut faire des
erreurs spécifiques et la distribution des faux positifs et négatifs sur la répartition du test changerait.
Cependant, afin d'avoir un aperçu de la spécificité de chaque langue et ensemble de données, nous nous
concentrons sur la sortie de la configuration la plus performante pour chaque langue, et nous procédons
manuellement
26
vérifier les instances mal classées. Dans la plupart des cas, il n'est pas possible d'attribuer une catégorie aux
erreurs commises par le classificateur, puisque les faux tweets négatifs sont clairement haineux et les faux
positifs sont sans ambiguïté non haineux. Ces cas sont répandus dans tous les jeux de données, ils sont donc
indépendants de la langue et également de la taille du jeu de données. Les mécanismes opaques avec
lesquels les classificateurs d'apprentissage profond attribuent des étiquettes rendent difficile d'expliquer
pourquoi ces cas apparemment triviaux ont été mal classés, mais nous prévoyons d'exploiter les informations
véhiculées par les mécanismes d'attention pour faire la lumière sur ce problème [21].
Parmi les grandes catégories d'erreurs trouvées dans les ensembles de données inspectés, il existe des
cas d'abus implicites. Ces messages ne contiennent pas de mots abusifs mais transmettent plutôt leur nature
offensante par le sarcasme, les blagues, l'utilisation de stéréotypes négatifs ou des déclarations supposées
objectives impliquant une certaine forme d'offense.
Nous rapportons ci-dessous quelques exemples de faux négatifs pour la classe des discours de haineÿ:
4. Il ne s'agit pas d'individus en particulier, mais d'une idéologie qui sera toujours
produire des terroristes.
5. Molti ancora non vedono, ma quando attraversano un parco, se popolato da immigrati, si tengono stretta
la borsa. (FR: Beaucoup ne le voient pas, mais lorsqu'ils traversent un parc peuplé d'immigrants ils
tiennent leur sac près).
6. Schau doch Pornos wenn du mehr Redeanteil von Frauen hören willst
(FRÿ: Regardez du porno si vous voulez entendre plus de femmes parler).
Nous observons également que les phrases à structure syntaxique complexe, contenant par exemple
plus d'une négation, ou des questions, sont fréquentes aussi bien parmi les faux positifs que parmi les faux
négatifs (voir la phrase 7, qui a été classée à tort comme «ÿPas de haineÿ»). Il en va de même pour les tweets
contenant des éléments anaphoriques faisant allusion à des mentions probablement présentes dans des
messages précédents, et pour les tweets qui nécessitent une certaine forme de connaissance du monde pour
être compris. Dans certains cas, un lien vers un média externe a contribué au sens haineux d'un tweet, comme
dans la phrase 8. Cependant, comme nous supprimons les URL lors de l'étape de prétraitement, ces
informations n'ont pas été exploitées pour la classification.
7. Non. Vous avez prouvé votre ignorance ici à quiconque n'est pas aussi stupide que
tu. C'est là pour tout voir mais vous ne le savez pas..
8. A quanto pare, il corano si può usare anche per questo. Ma pare non funzioni molto bene..... http: // t.
co/ DcOSHfmfxK (ENÿ: Il semble que le Coran puisse également être utilisé pour cela. Mais
apparemment, cela ne fonctionne pas très bien...http://t.co/DcOSHfmfxK).
Parmi les faux positifs, les exemples inspectés confirment les remarques de [65] concernant le jeu de
données anglais, et nous observons un comportement similaire également pour
Tweets italiensÿ: étant donné que ces ensembles de données ont été collectés à partir de mots-clés
concernant des cibles potentielles de haine telles que les femmes, les Roms et les musulmans, puis
27
étendu aux tweets non offensants, les classificateurs ont tendance à associer les mentions ciblées
aux discours de haine, même si ces messages ne sont pas offensants. Ce phénomène est moins
évident sur les données allemandes, qui ont en effet été créées de manière différente, à partir d'une
liste d'utilisateurs. Deux exemples de faux positifs sont rapportés ci-dessous.
En (9) le message est probablement classé comme haineux à cause de la mention « juif ». Dans
(10), cela peut dépendre de la mention de «ÿmigrationÿ».
9. Ça me va. J'avais cinq amis juifs à l'université. Aucun n'est jamais allé dans un
Synagogue.
10. l'immigrazione è un problema x tuttiÿ! Ma servono iniziative non comuni cati (EN : La
migration est un problème pour tout le monde ! Mais nous avons besoin d'initiatives, pas de
communiqués de presse).
Enfin, nous avons relevé quelques erreurs dans l'annotation gold standard du test
ensembles, qui ont été correctement classés par notre système.
7. Conclusions
En ciblant la tâche de détection des discours de haine dans les messages des médias sociaux,
dans cet article, nous avons d'abord identifié une architecture neuronale récurrente qui est plutôt
stable et performante dans différentes langues (c'est-à-dire l'anglais, l'allemand et l'italien), puis
nous avons évalué la contribution de plusieurs composants habituellement employés dans la tâche,
à savoir le type d'intégrations, l'utilisation de fonctionnalités supplémentaires (basées sur le texte ou
basées sur les émotions), le rôle de la normalisation des hashtags et celui des emojis. Notre
évaluation comparative a été réalisée sur des ensembles de données Twitter disponibles en anglais,
italien et allemand pour la détection des discours de haine (annotés comme contenant ou non des
discours de haine/langage offensant). Plus précisément, dans notre étude détaillée, nous avons
comparé 1 800 configurations possibles pour l'anglais, 1 080 pour l'italien et 1 224 pour l'allemand.
Cela nous a permis de proposer un ensemble de résultats, répertoriés dans la section 6, qui
pourraient guider les chercheurs dans la conception de systèmes de détection des discours de
haine, en particulier pour les langues autres que l'anglais.
Pour être exhaustif, nous avons également effectué une série d'expériences supplémentaires pour
déterminer dans quelle mesure la taille de l'ensemble de données affecte les résultats.
8 Remerciements
Une partie de ce travail a été financée par le projet CREEP16, une activité de bien-être numérique
soutenue par EIT Digital en 2018 et 2019. Cette recherche a également été soutenue par le projet
HATEMETER17 dans le cadre du programme Droits, égalité et citoyenneté de l'UE 2014-2020, et
par l'ANR -19-P3IA-0002 - 3IA Côte d'Azur - Nice - Institut Interdisciplinaire d'Intelligence Artificielle.
16http://creep-project.eu/
17http://hatemeter.eu/
28
Références
[1] Sweta Agrawal et Amit Awekar. Apprentissage en profondeur pour détecter les cyberbulls
se trouvant sur plusieurs plateformes de médias sociaux. Dans Gabriella Pasi, Benjamin
Piwowarski, Leif Azzopardi et Allan Hanbury, éditeurs, Advances in Information Retrieval -
40th European Conference on IR Research, ECIR
2018, Grenoble, France, 26-29 mars 2018, Actes, volume 10772 du
Notes de cours en informatique, pages 141–153. Springer, 2018.
[2] Luis Enrique Argota Vega, Jorge Carlos Reyes-Magaña, Helena Gómez Adorno et
Gemma Bel-Enguix. MineriaUNAM au SemEval-2019 tâche 5ÿ:
Détecter le discours de haine sur Twitter à l'aide de plusieurs fonctionnalités dans une combinatoire
cadre. Dans Actes du 13e atelier international sur l'évaluation sémantique, pages 447–
452, Minneapolis, Minnesota, États-Unis, juin 2019.
Association pour la linguistique computationnelle.
[3] Pinar Arslan, Michele Corazza, Elena Cabrio et Serena Villata. Submergé par les émotions
négativesÿ? Peut-être que vous êtes cyber-intimidéÿ! Dans
SAC 2019 - Le 34e Symposium ACM/SIGAPP sur l'informatique appliquée,
Limassol, Chypre, avril 2019.
[4] Xiaoyu Bai, Flavio Merenda, Claudia Zaghi, Tommaso Caselli et Malvina
Nissim. Tapis @ EVALITA 2018ÿ: détection du discours de haine dans les médias sociaux
italiens. Dans Actes de la sixième campagne d'évaluation du langage naturel
Outils de traitement et de parole pour l'italien. Atelier final (EVALITA 2018)
co-localisé avec la cinquième conférence italienne sur la linguistique computationnelle
(CLiC-it 2018), Turin, Italie., 2018.
[5] Xiaoyu Bai, Flavio Merenda, Claudia Zaghi, Tommaso Caselli et Malvina Nissim. Tapis
chez germevalÿ: Détecter les propos offensants dans les réseaux sociaux allemands
médias. Dans Actes de GermEval 2018, 14th Conference on Natural Language Processing
(KONVENS 2018), 2018.
[6] Francesco Barbieri, Francesco Ronzano et Horacio Saggion. Que signifie

signifie cet emojiÿ? un modèle de saut de gramme d'espace vectoriel pour les emojis Twitter. Dans
Conférence sur les ressources linguistiques et l'évaluation, LREC, Portoroz, Slovénie,
Mai 2016.
[7] Valerio Basile, Cristina Bosco, Elisabetta Fersini, Debora Nozza, Viviana
Patti, Francisco Manuel Rangel Pardo, Paolo Rosso et Manuela San guinetti. Tâche 5 du
SemEval-2019ÿ: détection multilingue des discours de haine
contre les immigrés et les femmes sur Twitter. Dans Actes du 13e Atelier international sur
l'évaluation sémantique, pages 54–63, Minneapolis,
Minnesota, États-Unis, juin 2019. Association for Computational Linguistics.
[8] Valerio Basile et Malvina Nissim. Analyse des sentiments sur les tweets italiens.
Dans Actes du 4e atelier sur les approches informatiques de la subjectivité, du sentiment
et de l'analyse des médias sociaux, pages 100–107, Atlanta,
2013.
29
[9] Elisa Bassignana, Valerio Basile et Viviana Patti. Hurtlexÿ: un lexique multilingue de mots pour
blesser. Dans la 5ème conférence italienne sur le calcul
Linguistique, CLiC-it 2018, volume 2253, pages 1–6. CEUR-WS, 2018.
[10] Christos Baziotis, Nikos Pelekis et Christos Doulkeridis. DataStories à

SemEval-2017 Tâcheÿ4ÿ: LSTM approfondi avec attention pour le niveau message et
Analyse des sentiments basée sur le sujet. Dans Actes de la 11e Internationale
Workshop on Semantic Evaluation (SemEval-2017), pages 747–754, Van couver, Canada,
août 2017. Association for Computational Linguistics.
[11] Piotr Bojanowski, Edouard Grave, Armand Joulin et Tomas Mikolov.

Enrichir les vecteurs de mots avec des informations de sous-mots. Les opérations de la
Association pour la linguistique informatique, 5: 135–146, 2017.
[12] Cristina Bosco, Felice Dell'Orletta, Fabio Poletto, Manuela Sanguinetti,

et Maurizio Tesconi. Aperçu de la tâche de détection des discours de haine EVALITA 2018.
Dans Actes de la sixième campagne d'évaluation du traitement du langage naturel et des
outils de la parole pour l'italien. Atelier final (EVALITA
2018) co-implanté avec la cinquième conférence italienne sur la linguistique computationnelle
(CLiC-it 2018), Turin, Italie., 2018.
´ ´
[13] Miguel Angel Alvarez Carmona, Estefan´ÿa Guzmán-Falcón, Manuel Montes-yGómez, Hugo
Jair Escalante, Luis Villaseñor Pineda, Verónica
Reyes-Meza et Antonio Rico Sulayes. Présentation du MEX-A3T à ibereval
2018 : Analyse de la paternité et de l'agressivité dans les tweets espagnols mexicains.
Dans Actes du troisième atelier sur l'évaluation du langage humain
Technologies pour les langues ibériques (IberEval 2018) co-localisé avec 34th
Conférence de la Société espagnole de traitement du langage naturel (SE PLN 2018), Séville,
Espagne, 18 septembre 2018., pages 74–96, 2018.
[14] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bah danau, Fethi Bougares,
Holger Schwenk et Yoshua Bengio. Apprentissage
représentations de phrases utilisant un encodeur-décodeur rnn pour une machine statistique
Traduction. Dans Actes de la Conférence 2014 sur les méthodes empiriques
dans Natural Language Processing (EMNLP), pages 1724–1734. Association
pour la linguistique computationnelle, 2014.
[15] François Chollet et al. Kéras. https://github.com/fchollet/keras,

2015.
[16] Mark Cieliebak, Jan Milan Deriu, Dominic Egger et Fatih Uzdilli. UN
corpus twitter et ressources de référence pour l'analyse des sentiments allemands.
Dans le 5e atelier international sur le traitement du langage naturel pour les réseaux sociaux
Media, Boston, MA, États-Unis, pages 45–51. Association pour le calcul
Linguistique, 2017.
[17] Andrea Cimino, Lorenzo De Mattei et Felice Dell'Orletta. Multitâche

l'apprentissage dans les réseaux de neurones profonds à EVALITA 2018. Dans Actes de
la sixième campagne d'évaluation du traitement automatique du langage naturel et de la parole
30
Outils pour l'italien. Atelier final (EVALITA 2018) co-localisé avec la cinquième conférence
italienne sur la linguistique computationnelle (CLiC-it 2018), Turin, Italie., 2018.
[18] Michele Corazza, Stefano Menini, Pinar Arslan, Rachele Sprugnoli, Elena Cabrio, Sara Tonelli
et Serena Villata. Comparaison de différentes approches supervisées pour la détection des
discours de haine. Dans Actes de la sixième campagne d'évaluation des outils de traitement
du langage naturel et de la parole pour l'italien. Atelier final (EVALITA 2018) co-localisé avec
la cinquième conférence italienne sur la linguistique computationnelle (CLiC-it 2018), Turin,
Italie., 2018.
[19] Michele Corazza, Stefano Menini, Pinar Arslan, Rachele Sprugnoli, Elena Cabrio, Sara Tonelli
et Serena Villata. Inriafbk à germeval 2018ÿ: Identification des tweets offensants à l'aide de
réseaux de neurones récurrents. In Atelier GermEval 2018, 2018.
[20] Michele Corazza, Stefano Menini, Elena Cabrio, Sara Tonelli et Serena Villata. Évaluation
multiplateforme pour la détection des discours de haine en italien. Dans Actes de la sixième
conférence italienne sur la linguistique computationnelle, Bari, Italie, 13-15 novembre 2019,
2019.
[21] Michele Corazza, Stefano Menini, Elena Cabrio, Sara Tonelli et Serena Villata. Inriafbk attire
l'attention sur le langage offensant à germeval2019.
Dans Actes de la 15e conférence sur le traitement du langage naturel, KONVENS 2019,
Erlangen, Allemagne, 9-11 octobre 2019, 2019.
[22] Thomas Davidson, Dana Warmsley, Michael W. Macy et Ingmar Weber.

Détection automatisée des discours de haine et problème du langage offensant.
Dans Actes de la onzième conférence internationale sur le Web et les médias sociaux,
ICWSM 2017, Montréal, Québec, Canada, 15-18 mai 2017., pages 512–515, 2017.
[23] Liangjie Hong Brian D Davison April Kontostathis Lynne Edwards Dawei Yin, Zhenzhen Xue.
Détection du harcèlement sur le web 2.0. Dans Actes de l'analyse de contenu sur le Web,
pages 1 à 7, 2009.
[24] Jacob Devlin, Ming-Wei Chang, Kenton Lee et Kristina Toutanova.

BERT : préformation des transformateurs bidirectionnels profonds pour la compréhension
du langage. Dans Actes de la conférence 2019 du chapitre nord-américain de l'Association
for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019,
Minneapolis, MN, États-Unis, 2-7 juin 2019, volume 1 (articles longs et courts), pages 4171–
4186, 2019.
[25] Polina Stadnikova Dietrich Klakow Dominik Stammbach, Azin Zahraei.

Détection de langage offensant avec des réseaux de neurones pour la tâche germeval 2018.
Dans Actes de GermEval 2018, 14e Conférence sur le traitement automatique du langage
naturel (KONVENS 2018), 2018.
31
[26] Elisabetta Fersini, Paolo Rosso et Maria Anzovino. Aperçu de la tâche sur
l'identification automatique de la misogynie à ibereval 2018. Dans IberEval@SEPLN,
volume 2150 des actes de l'atelier CEUR, pages 214–228. CEUR WS.org, 2018.
[27] Darja Fiÿser, Ruihong Huang, Vinodkumar Prabhakaran, Rob Voigt, Zeerak Waseem
et Jacqueline Wernimont. Actes du 2e atelier sur le langage abusif en ligne (alw2).
Dans Actes du 2e atelier sur le langage abusif en ligne (ALW2). Association for
Computational Linguis tics, 2018.
[28] Paula Fortuna, Ilaria Bonavita et Sergio Nunes. Fusion d'ensembles de données pour
la classification des discours de haine en italien. Dans Actes de la sixième campagne
d'évaluation des outils de traitement du langage naturel et de la parole pour l'italien.
Atelier final (EVALITA 2018) co-localisé avec la cinquième conférence italienne sur
la linguistique computationnelle (CLiC-it 2018), Turin, Italie, 12-13 décembre 2018.,
2018.
[29] Antigoni-Maria Founta, Despoina Chatzakou, Nicolas Kourtellis, Jeremy Blackburn,

Athena Vakali et Ilias Leontiadis. Une architecture d'apprentissage en profondeur
unifiée pour la détection des abus. CdR, abs/1802.00385, 2018.
[30] Antigoni-Maria Founta, Constantinos Djouvas, Despoina Chatzakou, Ilias Leontiadis,

Jeremy Blackburn, Gianluca Stringhini, Athena Vakali, Michael Sirivianos et Nicolas
Kourtellis. Crowdsourcing à grande échelle et caractérisation des comportements
abusifs sur Twitter. Dans Actes de la douzième conférence internationale sur le Web
et les médias sociaux, ICWSM 2018, Stanford, Californie, États-Unis, 25-28 juin
2018., pages 491–500, 2018.
[31] Björn Gambäck et Utpal Kumar Sikdar. L'utilisation de réseaux de neurones

convolutifs permet de classer les discours de haine. Dans Actes du premier atelier
sur le langage abusif en ligne, pages 85–90. Association pour la linguistique
computationnelle, 2017.
[32] Mario Graff, Sabino Miranda-Jiménez, Eric Sadit Tellez, Daniela Moctezuma, Vladimir
Salgado, José Ortiz-Bejar et Claudia N. Sánchez.
INGEOTEC au MEX-A3Tÿ: profilage des auteurs et analyse de l'agressivité sur
Twitter avec µtc et evomsa. Dans Actes du troisième atelier sur l'évaluation des
technologies du langage humain pour les langues ibériques (IberEval 2018) co-
localisé avec la 34e conférence de la Société espagnole de traitement du langage
naturel (SEPLN 2018), Séville, Espagne, 18 septembre 2018., pages 128. –133, 2018.
[33] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin et Tomas Mikolov.
Apprendre des vecteurs de mots pour 157 langues. Dans Actes de la Conférence
internationale sur les ressources linguistiques et l'évaluation (LREC 2018), 2018.
32
[34] Sepp Hochreiter et Jürgen Schmidhuber. Longue mémoire à court terme. Neu ral Comput.,
9(8):1735–1780, novembre 1997.
[35] Matthieu Honnibal et Inès Montani. spacy 2 : Compréhension du langage naturel avec
incorporations de fleurs, réseaux de neurones convolutifs et analyse incrémentale. À paraître,
2017.
[36] Tianran Hu, Han Guo, Hao Sun, Thuy-vy Thi Nguyen et Jiebo Luo.
Pimentez votre conversationÿ: les intentions et les effets de sentiment de l'utilisation d'emojis.
Dans Actes de la onzième conférence internationale sur le Web et les médias sociaux,
ICWSM 2017, Montréal, Québec, Canada, pages 102–111, 2017.
[37] Vijayasaradhi Indurthi, Bakhtiyar Syed, Manish Shrivastava, Nikhil Chakravartula, Manish
Gupta et Vasudeva Varma. FERMI au SemEval 2019 tâche 5 : Utiliser des incorporations de
phrases pour identifier les discours de haine contre les immigrés et les femmes sur Twitter.
Dans Actes du 13e atelier international sur l'évaluation sémantique, pages 70 à 74,
Minneapolis, Minnesota, États-Unis, juin 2019. Association for Computational Linguistics.
[38] Rohan Kshirsagar, Tyrus Cukuvac, Kathy McKeown et Susan McGregor.

Intégrations prédictives pour la détection des discours de haine sur Twitter. Dans Actes du 2e
atelier sur le langage abusif en ligne (ALW2), pages 26–32.
Association pour la linguistique computationnelle, 2018.
[39] Gretel Liz De la Peña Sarracén, Reynaldo Gil Pons, Carlos Enrique Muniz Cuza et Paolo
Rosso. Détection du discours de haine à l'aide du LSTM basé sur l'attention. Dans Actes de
la sixième campagne d'évaluation du traitement du langage naturel et des outils de la parole
pour l'italien. Atelier final (EVALITA 2018) co-localisé avec la cinquième conférence italienne
sur la linguistique computationnelle (CLiC-it 2018), Turin, Italie., 2018.
[40] Younghun Lee, Seunghyun Yoon et Kyomin Jung. Études comparatives de détection du
langage abusif sur Twitter. CdR, abs/1808.10245, 2018.
[41] Ping Liu, Wen Li et Liang Zou. NULI à SemEval-2019 tâche 6 : Apprentissage par transfert
pour la détection de langage offensant à l'aide de transformateurs bidirectionnels.
Dans Actes du 13e atelier international sur l'évaluation sémantique, pages 87–91, Minneapolis,
Minnesota, États-Unis, juin 2019. Association for Computational Linguistics.
[42] Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch et Armand Joulin.
Avancées dans les représentations de mots distribuées avant la formation.
Dans Actes de la Conférence internationale sur les ressources linguistiques et l'évaluation
(LREC 2018), 2018.
[43] Pushkar Mishra, Helen Yannakoudakis et Ekaterina Shutova. Modèles de composition basés
sur les caractères neuronaux pour la détection des abus. Dans Actes du 2nd Workshop on
Abusive Language Online (ALW2), pages 1–10, Bruxelles, Belgique, octobre 2018. Association
for Computational Linguistics.
33
[44] Saif M Mohammad et Peter D Turney. Émotions évoquées par des mots et des
phrases courantsÿ: utiliser le turc mécanique pour créer un lexique des émotions.
Dans Actes de l'atelier NAACL HLT 2010 sur les approches informatiques de
l'analyse et de la génération d'émotions dans le texte, pages 26–34. Association
for Computational Linguistics, 2010.
[45] Saif M Mohammad et Peter D Turney. Crowdsourcing d'un lexique d'association mot-
émotion. Intelligence computationnelle, 29(3):436–465, 2013.
[46] Roberto Navigli et Simone Paolo Ponzetto. Babelnet : La construction, l'évaluation et

l'application automatiques d'un réseau sémantique multilingue à large couverture.
Intelligence Artificielle, 193:217 – 250, 2012.
[47] Chikashi Nobata, Joel R. Tetreault, Achint Thomas, Yashar Mehdad et Yi Chang.
Détection de langage abusif dans le contenu des utilisateurs en ligne. Dans Actes
de la 25e Conférence internationale sur le World Wide Web, WWW 2016, Montréal,
Canada, 11 - 15 avril 2016, pages 145–153, 2016.
[48] Joaquin Padilla Montani et Peter Schüller. Tuwienkbs à germeval 2018 : détection
de tweets abusifs en allemand. Dans Actes de GermEval 2018, 14e Conférence sur
le traitement automatique du langage naturel (KONVENS 2018), 09 2018.
[49] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M.

Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Pas sos, D.
Cournapeau, M. Brucher, M. Perrot et E. Duchesnay. Scikit learnÿ: Apprentissage
automatique en Python. Journal of Machine Learning Research, 12:2825–2830,
2011.
[50] Juan Manuel Perez et Franco M. Luque. Atalaya au SemEval 2019 tâche 5 :
Embeddings robustes pour la classification des tweets. Dans Actes du 13e atelier
international sur l'évaluation sémantique, pages 64–69, Minneapolis, Minnesota,
États-Unis, juin 2019. Association for Computational Linguistics.
[51] Emanuele Pianta, Luisa Bentivogli et Christian Girardi. Multiwordnet : développement

d'une base de données multilingue alignée. Dans Actes de la première conférence
internationale sur Global WordNet, janvier 2002.
[52] Marco Polignano et Pierpaolo Basile. Hansel : détection des discours de haine en
italien par l'apprentissage d'ensemble et les réseaux de neurones profonds. Dans
Actes de la sixième campagne d'évaluation des outils de traitement du langage
naturel et de la parole pour l'italien. Atelier final (EVALITA 2018) co-localisé avec la
cinquième conférence italienne sur la linguistique computationnelle (CLiC-it 2018),
Turin, Italie., 2018.
[53] Valentino Santucci, Stefania Spina, Alfredo Milani, Giulio Biondi et Gabriele Di Bari.
Détecter le discours de haine pour la langue italienne dans les médias sociaux.
Dans Actes de la sixième campagne d'évaluation des outils de traitement du langage
naturel et de la parole pour l'italien. Atelier final (EVALITA 2018) co-localisé avec la
cinquième conférence italienne sur la linguistique computationnelle (CLiC-it 2018),
Turin, Italie., 2018.
34
[54] Tatjana Scheffler, Erik Haegert, Santichai Pornavalaia et Mino Lee Sasse.
Explorations de fonctionnalités pour la classification des discours de haine. Dans Actes de
Ger mEval 2018, 14e Conférence sur le traitement automatique du langage naturel (KONVENS
2018), 2018.
[55] Mike Schuster, Kuldip K. Paliwal et A. Général. Récurrent bidirectionnel

les réseaux de neurones. Transactions IEEE sur le traitement du signal, 1997.
[56] Abhishek Singh, Eduardo Blanco et Wei Jin. L'intégration des descriptions d'emoji améliore la
classification des tweets. Dans Actes de la conférence annuelle de la section nord-américaine
de l'Association for Comuta tion Linguistics (NAACL), 2019.
[57] Samuel L. Smith, David HP Turban, Steven Hamblin et Nils Y. Ham merla. Vecteurs de mots
bilingues hors ligne, transformations orthogonales et
softmax inversé. CdR, abs/1702.03859, 2017.
[58] Samuel L. Smith, David HP Turban, Steven Hamblin et Nils Y. Ham merla. Vecteurs de mots
bilingues hors ligne, transformations orthogonales et
softmax inversé. 2017.
[59] Jacopo Staiano et Marco Guerini. Depeche mood : un lexique de l'émotion

analyse des nouvelles annotées par la foule. Dans Actes de la 52e édition
Réunion de l'Association for Computational Linguistics (Volume 2: Short
Documents), volume 2, pages 427–433, 2014.
[60] Dirk von Grunigen, Ralf Grubenmann, Fernando Benites, Pie Von
Daniken et Mark Cieliebak. spmmmp à germeval 2018 tâche partagée :
Classification du contenu offensant dans les tweets à l'aide de réseaux neuronaux convolutifs
et d'unités récurrentes fermées. Dans Actes de GermEval 2018, 14e
Conférence sur le traitement automatique du langage naturel (KONVENS 2018), 2018.
[61] Zeerak Waseem, Wendy Hui Kyong Chung, Dirk Hovy et Joël Tétreault.
Actes du premier atelier sur le langage abusif en ligne. Dans Actes du premier atelier sur le
langage abusif en ligne. association pour
Linguistique computationnelle, 2017.
[62] Zeerak Waseem et Dirk Hovy. Symboles haineux ou personnes haineuses ? fonctionnalités
prédictives pour la détection des discours de haine sur Twitter. Dans SRW@HLT-NAACL,
2016.
[63] Gregor Wiedeman, Eugen Ruppert, Raghav Jindal et Chris Biemann.

Transférer l'apprentissage de lda vers bilstm-cnn pour la détection du langage offensant
dans twitter. Dans Actes de GermEval 2018, 14ème Conférence sur les
Traitement du langage (KONVENS 2018), 2018.
[64] Michael Wiegand, Anastasija Amann, Tatiana Anikina, Aikaterini

Azoidou, Anastasia Borisenkov, Kirstin Kolmorgen, Insa Kroger et
Christine Schaffer. Participation de l'université de la Sarre à la tâche germeval
35
2018 (udsw) - examen de différents types de classificateurs et de fonctionnalités.

Dans Actes de GermEval 2018, 14e Conférence sur le traitement automatique du
langage naturel (KONVENS 2018), 2018.
[65] Michael Wiegand, Josef Ruppenhofer et Thomas Kleinbauer. Détection du langage

abusifÿ: le problème des ensembles de données biaisés. Dans Actes de la conférence
2019 de la section nord-américaine de l'Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long and Short Papers), pages 602–
608, Minneapolis, Minnesota, juin 2019. Association for Computational Linguistics.
[66] Michael Wiegand, Melanie Siegel et Josef Ruppenhofer. Aperçu de la tâche partagée
germeval 2018 sur l'identification du langage vulgaire.
Dans Actes de GermEval 2018, 14e Conférence sur le traitement automatique du
langage naturel (KONVENS 2018), 2018.
[67] Ellery Wulczyn, Nithum Thain et Lucas Dixon. Ex machina : Attaques personnelles
vues à grande échelle. Dans Actes de la 26e Conférence internationale sur le World
Wide Web, WWW 2017, Perth, Australie, 3-7 avril 2017, pages 1391–1399, 2017.
[68] Marcos Zampieri, Shervin Malmasi, Preslav Nakov, Sara Rosenthal, Noura Farra et
Ritesh Kumar. Tâche 6 du SemEval-2019ÿ: Identifier et catégoriser le langage
offensant dans les médias sociaux (OffensEval). Dans Actes du 13e atelier
international sur l'évaluation sémantique, pages 75–86, Minneapolis, Minnesota,
États-Unis, juin 2019. Association for Computational Linguistics.
[69] Robinson D. Zhang, Z. et J. Tepper. Détection des discours de haine sur Twitter à
l'aide d'un réseau neuronal profond basé sur la convolution. Dans ESWC 2018ÿ:
Actes de la conférence sur le Web sémantique, pages 745 à 760. Springer Ver lag,
2018.
36

Toit Creep Hal

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Toit Creep Hal

Transféré par

Droits d'auteur :

Formats disponibles

Machine Translated by Google

Une évaluation multilingue du discours de haine en ligne

Pour citer cette version :

Identifiant HALÿ: hal-02972184

Une évaluation multilingue pour la haine en ligne

Michele Corazza, Université de Bologne, Bologne, Italie

2.2 Détection du discours de haine sur des langues autres que En

Concernant l'espagnol, l'édition 2018 d'IberEval5 a proposé la tâche de détection

Figure 1 : L'architecture neuronale modulaire

3.1 Architecture neuronale modulaire

M(X) = s(WoH(X) + bo) Wo ÿ R 1×100

si x est une fonctionnalité de niveau tweet

R(x) = (x RNN(x) si x est une caractéristique au niveau du mot

• Embeddings de mots (xe dans la Figure 1) : plusieurs embeddings de mots provenant de

• Fonctionnalités spécifiques aux réseaux sociauxÿ: la limite de caractères imposée par

en majuscule au niveau du tweet. Ces caractéristiques sont ensuite normalisées en

4 Données et ressources linguistiques

4.1 Jeux de données

Ensemble de données # discours haineux/offensant (%) # autre (%) # total 10

Tableau 1 : Statistiques sur les jeux de données

4.2 Imbrications de mots

• Embeddings Twitter allemandsÿ: formés par Spinning Bytes11 à partir d'un

Gazouillement anglais FR Texte rapide 200 NON

Fasttext It CCrawl & Wiki CE Texte rapide 300 OUI

Fasttext De CCrawl & Wiki DE Texte rapide 300 OUI

Twitter allemand DE Texte rapide 300 NON

Aligné FR, IT, DE Texte rapide 300 NON

Tableau 2 : Aperçu des différents plongements utilisés dans nos expérimentations

• Nous testons toutes les combinaisons possibles de fonctionnalitésÿ: plongements, unigrammes, bi

• Nous formons des modèles avec et sans séparation de hashtag.

Langue Émoji AVG F1 Max F1 Écart-type F1 Nombre d'exécutions

FR NON 0,796 0,823 0,034 612

FR Transcription 0,796 0,821 0,034 612

CE NON 0,764 0,804 0,021 468

CE Transcription 0,763 0,805 0,021 468

DE NON 0,684 0,758 0,034 468

Transcription DE 0,682 0,754 0,034 468

Tableau 7ÿ: Moyenne et écart-type des macro-scores moyennés F1 sans aucun

6.2 Contribution des informations sociales et émotionnelles

Figure 2 : Répartition des résultats avec et sans transcription emoji et utilisation

Langue Caractéristiques sociales et émotionnelles Moyenne F1 Max F1 Écart-type F1 Nombre d'exécutions

Tableau 8ÿ: Moyenne et écart-type des macros scores F1 moyennés avec et

Figure 3 : Répartition des résultats avec et sans réseau social et émotion

• La création d'incorporations spécifiques qui couvrent bien le domaine d'intérêt est

• L'utilisation d'incorporations spécifiques à un domaine avec une bonne couverture rend le

6.3 Évaluation multilingue sur des jeux de données sous-échantillonnés

6.4 Évaluation qualitative

(FRÿ: Regardez du porno si vous voulez entendre plus de femmes parler).

[6] Francesco Barbieri, Francesco Ronzano et Horacio Saggion. Que signifie

[10] Christos Baziotis, Nikos Pelekis et Christos Doulkeridis. DataStories à

[11] Piotr Bojanowski, Edouard Grave, Armand Joulin et Tomas Mikolov.

[12] Cristina Bosco, Felice Dell'Orletta, Fabio Poletto, Manuela Sanguinetti,

[15] François Chollet et al. Kéras. https://github.com/fchollet/keras,

[17] Andrea Cimino, Lorenzo De Mattei et Felice Dell'Orletta. Multitâche

[22] Thomas Davidson, Dana Warmsley, Michael W. Macy et Ingmar Weber.

[24] Jacob Devlin, Ming-Wei Chang, Kenton Lee et Kristina Toutanova.

[25] Polina Stadnikova Dietrich Klakow Dominik Stammbach, Azin Zahraei.

[29] Antigoni-Maria Founta, Despoina Chatzakou, Nicolas Kourtellis, Jeremy Blackburn,

[30] Antigoni-Maria Founta, Constantinos Djouvas, Despoina Chatzakou, Ilias Leontiadis,

[31] Bj¨orn Gamb¨ack et Utpal Kumar Sikdar. L'utilisation de réseaux de neurones

[38] Rohan Kshirsagar, Tyrus Cukuvac, Kathy McKeown et Susan McGregor.

[46] Roberto Navigli et Simone Paolo Ponzetto. Babelnet : La construction, l'évaluation et

[49] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M.