Introduction

 L’indexation automatique de documents est un domaine de

1
l'informatique et des sciences de l'information et des
bibliothèques qui utilise des méthodes logicielles pour organiser
Indexation automatique des un ensemble de documents et faciliter ultérieurement la
documents recherche de contenu dans cette collection.
 L'indexation est une procédure consistant à associer ou à
marquer des documents ou d'autres contenus avec des
informations permettant par la suite de rechercher et
récupérer ces documents.

1
 Introduction Introduction
3 4

 Un index désigne dans le monde informatique une  L’indexation est une étape
structure chargée d’ordonner et de trier des données afin primordiale dans la recherche
d’information.
de pouvoir les retrouver plus rapidement.
 La qualité de l’indexation dépend
 Un index est une structure qui nous donne, pour chaque en partie de la qualité des
mot trouvé dans un corpus(collection des documents) , la réponses du système de
liste des documents où il se trouve. Recherche d’Information.

2
 Pourquoi l’indexation? Pourquoi l’indexation?
5 6

 Indexer des documents textuels est une étape essentielle dans le  Réduction du Temps de Recherche :
processus de recherche d'information, en particulier dans le
contexte des moteurs de recherche et des systèmes de gestion de  En créant un index, le temps nécessaire pour trouver des informations
contenu. Voici quelques raisons importantes pour lesquelles spécifiques est considérablement réduit. Cela améliore l'efficacité de
l'indexation des documents textuels est cruciale : la recherche, surtout lorsque la quantité de données est importante.
 Recherche Rapide :  Optimisation des Ressources :
 L'indexation permet de créer une structure organisée qui accélère  L'indexation permet une utilisation plus efficace des ressources, car le
la recherche. Plutôt que de parcourir chaque document texte à
chaque requête, le système peut consulter l'index pour identifier système n'a pas besoin de parcourir l'ensemble des documents à
rapidement les documents pertinents. chaque requête. Au lieu de cela, il peut se concentrer sur les
documents pertinents identifiés par l'index.

3
 Pourquoi l’indexation? Pourquoi l’indexation?
7 8

 Amélioration de la Précision :  Gestion des Synonymes et Variantes :

 Un index bien conçu permet d'améliorer la précision des résultats de  L'indexation peut inclure des mécanismes pour gérer les synonymes et les
recherche. Il peut inclure des informations telles que la fréquence des
termes, les emplacements des termes, etc., ce qui contribue à classer les variantes de termes, améliorant ainsi la couverture de la recherche et
documents en fonction de leur pertinence. garantissant que des termes équivalents sont pris en compte.
 Gestion de la Complexité :  Adaptabilité aux Modifications :
 Pour des ensembles de données volumineux, l'indexation est essentielle  Lorsque de nouveaux documents sont ajoutés ou que des modifications sont
pour gérer la complexité et permettre une recherche efficace. Elle divise
le problème de la recherche en un processus gérable. apportées aux documents existants, l'index peut être mis à jour de manière
incrémentielle, ce qui permet une adaptation rapide aux changements.
 Facilitation de la Recherche Avancée :
 L'indexation permet la mise en œuvre de fonctionnalités avancées de
recherche, telles que la recherche par proximité de termes, la recherche
sémantique, et la prise en charge de requêtes complexes.

4
 Pourquoi l’indexation? Processus d'Indexation
9 10

 Gestion des Permissions d'Accès :  L'indexation est le processus de création d'une structure organisée,
 L'indexation peut être utilisée pour gérer les autorisations d'accès aux documents. appelée index, à partir d'un ensemble de données pour faciliter la
Un index peut inclure des informations sur la sécurité, permettant ainsi de contrôler recherche rapide et l'accès aux informations. Dans le contexte de la
quels utilisateurs ont accès à quels documents. recherche d'information, l'indexation est couramment utilisée pour
 Analyse des Tendances et des Modèles : traiter et organiser des documents textuels. Voici comment fonctionne
 L'indexation peut également être utilisée pour effectuer des analyses sur les généralement le processus d'indexation :
tendances et les modèles au sein des documents. Par exemple, elle peut permettre
d'identifier les termes les plus fréquemment utilisés ou les relations entre différents  Collecte des Documents : Les documents à indexer sont collectés.
concepts. Ces documents peuvent être des pages web, des articles, des livres,
 En somme, l'indexation des documents textuels offre une solution efficace pour des fichiers texte, ou d'autres types de contenus.
organiser, accélérer et améliorer le processus de recherche d'information. Elle est
au cœur de nombreux systèmes de recherche et contribue à rendre l'accès à
l'information plus rapide, précis et efficient.

5
 Processus d'Indexation Processus d'Indexation
11 12

 Tokenisation : Les documents sont divisés en unités plus petites  Création du Vocabulaire : Un vocabulaire est établi,
appelées "tokens". Les tokens peuvent être des mots, des composé de tous les termes uniques extraits des
phrases, ou d'autres entités, en fonction de la granularité documents. Ce vocabulaire constitue la base de l'index.
souhaitée.
 Création de l'Index Inversé : L'index inversé est créé en
 Suppression des Stop-words et Normalisation : Certains mots associant chaque terme du vocabulaire aux documents
fréquents et peu informatifs, appelés "stop-words", sont souvent
dans lesquels il apparaît. Chaque entrée de l'index
supprimés. La normalisation peut également être effectuée
pour traiter les variations de cas, de pluriel, etc.
inversé pointe vers les emplacements dans les documents
où le terme apparaît.

6
 Processus d'Indexation Processus d'Indexation
13 14

 Stemming et Lemmatisation : Le stemming et la lemmatisation  Stockage de l'Index : L'index résultant est généralement
sont des processus visant à réduire les termes à leur forme de stocké de manière à permettre une recherche rapide. Il
base (racine). Cela peut être effectué pour regrouper les peut être enregistré dans une base de données, un fichier,
variantes de mots. ou un autre support de stockage adapté.
 Calcul des Fréquences : Les fréquences d'occurrence de  L'indexation est fondamentale dans les moteurs de
chaque terme dans chaque document peuvent être calculées.
recherche, les systèmes de gestion de contenu, les bases
Ces informations peuvent être utilisées pour classer les résultats
de recherche en fonction de leur pertinence.
de données, et d'autres applications où la recherche
rapide et efficace d'informations est essentielle.

7
 Les catégories de l’indexation Les catégories de l’indexation
15 16

 L'indexation peut être classée en différentes catégories en fonction  Indexation Multimédia :

de la nature des données à indexer et des objectifs spécifiques du  Objectif : Indexer des données multimédias, y compris des images, des
processus d'indexation. Voici quelques-unes des catégories vidéos, des fichiers audio, etc.
d'indexation couramment utilisées :  Méthodes : Extraction de caractéristiques visuelles, auditives, ou
 Indexation Textuelle : sémantiques.
 Objectif : Indexer des documents textuels, tels que des articles, des  Exemple d'Application : Recherche d'images, gestion de bibliothèques

pages web, des livres, etc. multimédias.

 Indexation Géographique (Géo-indexation) :
 Méthodes : Extraction de termes, tokenisation, création d'index
inversé.  Objectif : Indexer des données basées sur leur emplacement
géographique.
 Exemple d'Application : Moteurs de recherche, systèmes de
 Méthodes : Utilisation de coordonnées géographiques, découpage spatial.
gestion de contenu.
 Exemple d'Application : Systèmes d'information géographique (SIG),
cartographie en ligne.

8
 Les catégories de l’indexation Méthodes statistiques d’indexation
17 18

 Indexation Temporelle :  Les systèmes de Recherche d’Information les plus

 Objectif : Indexer des données en fonction de leur temporalité,
simples et les plus répandus sont basés sur la sélection
c'est-à-dire des dates et des horaires associés. de mots-clés dans les textes.
 Méthodes : Utilisation de marqueurs temporels, indexation basée
sur la chronologie.  Ces méthodes reposent sur des mesures statistiques
dont les plus utilisées sont:
 Exemple d'Application : Archives, bases de données temporelles.
 La Fréquence du Terme d’Indexation ou Term
 Indexation Structurée :
Frequency (TF): représente la fréquence d’apparition du
 Objectif : Indexer des données structurées, telles que des bases de
terme d’indexation dans l’unité documentaire, ou
données relationnelles, des feuilles de calcul, etc. représente le nombre d’occurrences du terme
 Méthodes : Identifier les champs, les clés, les relations entre les
d’indexation dans un document.
données.
 Exemple d'Application : Bases de données, entrepôts de données.

9
 Méthodes statistiques d’indexation Exemple
19 20

 La Fréquence Inverse du Document ou Inverse Document Soit le corpus C cité ci-dessous formé de 3 documents D1, D2, D3 (on se contente de 3
Frequency (IDF): représente la fréquence inverse d’apparition du document pour simplifier le calcul).
terme d’indexation dans la collection globale d’unités Le terme recherché est t« qui » (t1=qui).
documentaire(dans l’ensemble du corpus).
 Elle donne un poids plus important aux termes les moins On veux appliquer la méthode TF-IDF.
fréquents. 1. Calculer la fréquence du terme t1 dans les documents D1, D2, D3.
2. Calculer l’importance du terme t1 dans le corpus C.
 La combinaison des deux mesures (TF * IDF) donne une bonne 3. Quel est le document le plus pertinent?
approximation de l’importance du terme dans le document et la
discrimination du terme dans le corpus, particulièrement dans les
corpus de documents de tailles homogènes.

10
 Exemple Exemple
21 22

Des variantes du calcul de TF sont souvent utilisées dans des moteurs de  Le terme « qui » n'apparaît pas dans le deuxième document et
recherche pour apprécier la pertinence d'un document en fonction des
apparaît dans le premier et le troisième. Ainsi:
critères de recherche de l'utilisateur.
Pour les autres documents:
On vas utilise la variante:
TF(t) =Nombre d'apparition du terme t dans le document / Nombre total
de termes dans le document.
Poids final
Pour le document 1:
On obtient :

Détails du calcul : la plupart des termes apparaissent une fois (21

termes), arc, de, et, le, les, par et qui apparaissent 2 fois (7 termes) et l
apparaît 3 fois (1 terme). Le dénominateur est donc 21*1 + 7*2 + 1*3 = 38. Le premier document apparaît ainsi comme « le plus pertinent ».
Cette somme correspond au nombre de mots dans le document.

11
 Applications de TF_IDF Applications de TF_IDF
23 24

 Moteurs de recherche: Les moteurs de recherche utilisent le TF-IDF  Moteurs de recherche: Les moteurs de recherche utilisent le TF-IDF pour
pour classer les résultats de recherche en fonction de la pertinence. classer les résultats de recherche en fonction de la pertinence.
 Analyse de sentiment : L'analyse de sentiment utilise le TF-IDF pour  Analyse de sentiment : L'analyse de sentiment utilise le TF-IDF pour
identifier les termes clés dans un texte qui sont associés à des identifier les termes clés dans un texte qui sont associés à des sentiments
sentiments positifs ou négatifs. Cela permet de classer les opinions des positifs ou négatifs. Cela permet de classer les opinions des utilisateurs en
fonction de leur tonalité.
utilisateurs en fonction de leur tonalité.
 Recommandation de contenu : Les systèmes de recommandation, tels que
 Recommandation de contenu : Les systèmes de recommandation, tels ceux utilisés par Netflix ou Amazon, utilisent le TF-IDF pour identifier des
que ceux utilisés par Netflix ou Amazon, utilisent le TF-IDF pour termes importants dans les descriptions de produits ou de films, puis
identifier des termes importants dans les descriptions de produits ou recommandent des produits ou des films similaires en fonction de ces termes.
de films, puis recommandent des produits ou des films similaires en  Classification de texte : Le TF-IDF est utilisé pour la classification
fonction de ces termes. automatique de texte. Par exemple, il peut aider à classer les articles de
presse en fonction de leur sujet, les e-mails en fonction de leur catégorie
(spam ou non spam)...

12
 Le pré-traitement des documents Le pré-traitement des documents
25 26

 Tokenisation : La tokenisation consiste à diviser un texte en unités discrètes  Stemming ou lemmatisation : Le stemming et la lemmatisation sont des
appelées "tokens" ou "termes". Un token peut être un mot, une phrase, un techniques visant à réduire les mots à leur forme racine. Par exemple,
symbole... "manger", "manges", "mangerai" sont ramenés à "mange" par le stemming
 Mise en minuscules : Convertir tous les tokens en minuscules pour garantir que ou la lemmatisation. Cela permet de regrouper les différentes formes d'un
les mots écrits de manière différente (en majuscules, en minuscules ou en mot en une seule forme, ce qui simplifie l'analyse.
combinaison) sont considérés comme identiques. Cela réduit la complexité lors  Élimination des caractères spéciaux : Suppression de caractères spéciaux,
de la recherche et de l'analyse.
d'URL, de balises HTML ou de tout autre contenu indésirable.
 Suppression de la ponctuation : Cette suppression n'apporte généralement pas
 Normalisation : Normaliser les chiffres, les dates, les adresses, les unités de
d'informations significatives pour de nombreuses tâches NLP.
mesure, etc., pour les rendre plus cohérents.
 Suppression des mots vides (stop words) : Les mots vides sont des mots
courants tels que "et", "le", "de", "à", etc., qui n'apportent pas beaucoup  Création d'un index : Une fois que le texte a été pré-traité, un index est créé
d'informations lors de l'analyse. Ils sont souvent supprimés du texte pour réduire en répertoriant les mots-clés, les termes, les phrases et les métadonnées qui
le bruit. permettront des recherches rapides et précises ultérieures.

13