Aspect-Based

sentiment analysis
Kebaili Aghiles Bouaza Anis Mezaguer Yacine
Introduction

● Qu’est ce que l’aspect extraction ? Son utilité ?

● Quelques articles de l’état de l’art dans le domaine de l’aspect

extraction.

2
Double embedding and CNN-based aspect
extraction (Hu Xu et al.)

● Publié en 2018 à l’Association Of Computational Linguistics (ACL). L’ACL

est une prestigieuse conférence scientifique dans le domaine du
traitement de langage naturel.

● Propose un modèle simple à base de CNN, offrant de bons résultats

comparé aux architectures trop complexes déjà existentes.

● Premier article à employer deux embeddings pour l’extraction d’aspects.

3
Architecture

Architecture

Overview of DE-CNN [1, 3]

4
Output

Geometrical features
of embeds [4]

Detailed overview of DE-CNN [5]

5
Avantages et inconvénients

● Le modèle n’est pas aussi puissants que les architectures faites

sur-mesure pour de l’extraction d’aspect, néanmoins, rivalise assez bien
en terme de résultats.

● Architecture très simple et facile à implémenter.

● Temps d’inférence moindre et facilement déployable en temps réel.

6
Synchronous Double-channel Recurrent Network for
Aspect-Opinion Pair Extraction (Shaowei Chen et al.)

● Publié en Janvier 2020 dans la 58ème édition de la rencontre annuelle

de l’Association Of Computational Linguistics (ACL).

● Fait de l’extraction de paires Aspect-Opinion de manière synchronisée.

● Utilise les relations liant l’opinion et l’aspect pour faire une meilleure
extraction.

7
 Problème de l’Opinion Entity Extractions:

● Différents type de liens: one-to-many,

many-to-one, many-to-many.

● Synchronisation des tâches d’extraction d’entité

et détection de relations.

● Utilisation des relations sémantiques entre les

aspects et les opinions.

An example of task comparisons. The aspects and the

opinion expressions are marked with red and blue,
respectively [7]

8
 ● Tokenization: WordPiece.
Architecture
● Encoding Layer: BERT.

● Opinion Entity Extraction Unit: CRF.

● Relation Detection Unit: Self

Attention.

● Relation Synchronization Mechanism.

● Inference Layer.

The framework of Synchronous Double channel

Recurrent Network (SDRN) [7]

9
Avantages et inconvénients

● Avantage: Modèle qui permet de tirer avantage des liens entre

l’extraction des entités d’opinion et la détection de relations.

● Inconvénient: Grand temps d’inférence du à la taille du modèle.

10
An Unsupervised Neural Attention Model for Aspect Extraction
(Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier)

● Publié en 2017 dans la 55ème édition de l’Association Of Computational

Linguistics (ACL).

● Propose un modèle non supervisé avec un réseau d’attention pour

l’extraction d’aspects.

● Génère des embeddings plus adaptés au mot du même aspect via un

modèle autoencoder.

11
Architecture

Overview of ABAE (Attention-based Aspect Extraction)[6]

12
 Output

Visualization of the attention layer [6]

Infereded aspects assigned manually (left), top representative words for each
inferred aspect (middle), corresponding gold-standard aspect labels (right) [6]

13
Avantages et inconvénients
● Modèle non supervisé permettant d’avoir des aspects sémantiquement
cohérents entre eux.

● Efficace même sur un dataset avec des phrases courte contrairement au

modèles plus anciens.

● Très sensible au sur apprentissage si mal utilisé.

14
 The food we had
Implémentation yesterday was delicious

● L’implémentation est basé sur un filtrage des mots en

utilisant un Part-Of-Speech Tagger (Fourni par Spacy).

● Extraction des aspects à l’aide des descriptions du POS

Tagger (Sujet, Adjectif, Négation).

● Utilisation d’un modèle BERT pour l’inférence de la polarité,

pré-entraîné sur une base de tweets. (Fourni par
Transformers).
BERT

15
Avantages et inconvénients

● Facilement implémentable.

● Ne requiert aucun apprentissage (Sauf pour l’embedding specialisé).

● N’est efficace que sur de simples phrases.

● Les opinions ne sont pas toujours définies par des adjectifs, verbes et
adverbes mais se reposent sur des formulations plus complexes.

16
Bibliographie

1. Guo, C., & Berkhahn, F. (2016). Entity embeddings of categorical variables. arXiv preprint arXiv:1604.06737.
2. Xu, H., Liu, B., Shu, L., & Yu, P. S. (2018). Double embeddings and cnn-based sequence labeling for aspect extraction. arXiv preprint
arXiv:1805.04601.
3. Andreas C. Muller (2018), Advanced neural networks.
https://amueller.github.io/COMS4995-s18/slides/aml-24-042318-advanced-nets/#1
4. Gidi Spherber (2017), A gentle introduction to Doc2Vec. Medium.
https://medium.com/wisio/a-gentle-introduction-to-doc2vec-db3e8c0cce5e
5. Yafangy, (2019). Triple embedding and CNN-based aspect extraction and sentiment analysis.
https://github.com/yafangy/Review_aspect_extraction
6. ‘An Unsupervised Neural Attention Model for Aspect Extraction’ by Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel
Dahlmeier.
7. Shaowei Chen et al. (2020) Synchronous Double-channel Recurrent Network for Aspect-Opinion Pair Extraction, Proceedings of the
58th Annual Meeting of the Association for Computational Linguistics, pages 6515–6524

17