Faculté des sciences de Monastir

Projet réalisé par :

Smida Eya Belgacem Rami

Baccar Anfel Youssef Mey
Amairi Mokhtar Abidi Jasser
 Partie 1 Problématique

Partie 2 Introduction

Partie 3 Algorithme de Bernoulli

Notre objectif pour

Partie 4 Algorithme Multinomiale
aujourd'hui :
Partie 3
5 Algorithme Gaussien

Partie 6 Conclusion

Partie 7 Exercice
1
Problematique
1960's
 Qu'est ce que la
classification de texte?
 classification de texte :

Analyser
Ensembles données
des
et
classifiée
données organiser
Les critères Les critères non
observables : observables :

Le titre. Contenu.......
nom de l'auteur.
l'année de l'Edition.
numéro de l'édition . . .
 Avancent un peux
dans l'histoire :

1960 1980 present

Debut du probleme Explosion de
ressources textuelles
non structurees
Apparition de plusieurs algorithmes vers cette
époque :
1
1/ K-nn

2/
2 Arbre de décision
3/
3 Algorithme généalogique

4/
4 Le réseaux de neurones

5 Algorithmes naïves bayes classifier

2
Introduction
Algorithmes
naïves bayes
classifier
De quoi il s'agit ?
Il s'agit d'un algorithme de classement basée sur le
théorème de la probabilité conditionnelles de Bayes
qui est :
 Il est un algorithme supervisé .

Fruit

Classifieur Fruit
Légumes

Pays
Algorithmes
naïves bayes
classifier
Naïve… pourquoi?

voitures neuves ou occasion?

DT
Hypothèses:
h1:citadine=occasion , h2:sportive=neuve

citadine sportive
 rouge :
occasion /citadine
vert:
neuve/sportive

DT

Naïve:
Forte indépendance des hypothèses .
Malgré sa naïveté l'algorithme a fait preuve plus que
suffisantes dans beaucoup de problèmes complexes
citons :
-La classification de texte (ca c'est son but
auparavant).
-Analyse sentimental.
-prédiction de la meteo...
algorithmes naïves bayes
classifier

1- 2- 3-
Bernoulli Multinomiale Gaussien
3
Algorithme de
Bernoulli
la loi de Bernoulli :
En mathématiques et plus précisément en théorie des probabilités,
la loi de Bernoulli, du nom du mathématicien suisse Jacques
Bernoulli, désigne la loi de probabilité d'une variable aléatoire
discrète qui prend la valeur 1 avec la probabilité p et 0 avec la
probabilité q = 1 – p

l'espérance : E(X) = p la variance : V(X) = pq

La formule utiliser pour cette algorithme :
Algorithme de bernoulli: de quoi s'agit t'il ?
Trés efficace dans une destribution binaire

N'accepte que les formes binaire :

0 ou 1

Oui ou non

Vrai ou faux ..

Génere des résultas précise dans des petites datasets

domaine d'application :
Voir si un mot figure ou pas dans un document

Determiner si un mail est un spam ou non

Predir si quelqu'un est malade ou non

La classification des texts

Exemple d'algorithme
Bernoulli en Python :
Avantages de l'algorithme de
Bernoulli :
Ils sont extrêmement rapides par rapport à d’autres modèles de
classification
En cas de petite quantité de données ou de petits documents (par
exemple dans la classification de texte), Bernoulli Naïve Bayes donne
des résultats plus exacts et plus précis par rapport à d’autres
modèles.
Il est rapide et est capable de faire des prédictions en temps réel
Il peut bien gérer les fonctionnalités non pertinentes
Les résultats sont explicites .
Desavantages :
Étant un classificateur naïf (montrant un manque d’expérience),
il fait parfois une hypothèse forte basée sur la forme des
données.
Si, parfois, les caractéristiques dépendent les unes des autres,
les hypothèses naïves bayésiennes peuvent affecter la prédiction
et la précision du modèle devient sensible aux données
d’entrées.
S’il y a une variable catégorielle qui n’est pas présente dans le
jeu de données d’apprentissage, il en résulte un problème de
fréquence nulle.
4
Algorithme
Multinomiale
Qu'est-ce que l'algorithme
Multinomial Naive Bayes ?
L'algorithme multinomial Naïve Bayes :
-Une méthode d'apprentissage probabiliste principalement
utilisée dans le traitement du langage naturel .
-Prédire la balise d'un texte tel qu'un e-mail ou un article de
journal.
Comment fonctionne Multinomial
Naive Bayes ?
Le théorème de Bayes, formulé par Thomas Bayes,
calcule la probabilité qu'un événement se produit sur la
base de la connaissance préalable des conditions liées à
un événement.
- Calculer la probabilité de chaque balise pour un
échantillon donné, puis donne la balise avec la
probabilité la plus élevée en sortie.
Il est basé sur la formule suivante :
Comprenons l'algorithme Naïve Bayes avec un
exemple. Nous avons pris un ensemble de données de
conditions météorologiques ensoleillées, couvertes et
pluvieuses. Maintenant, nous devons prédire la
probabilité que les joueurs joueront en fonction des
conditions météorologiques.
 La base de données :

Weather Sunny Overcast Rainy Sunny Sunny Overcast Rainy Rainy Sunny Rainy Sunny Overcast Overcast Rainy

Play No Yes Yes Yes Yes Yes No No Yes Yes No Yes Yes No
1- Calculer toutes les conditions météorologiques par rapport à la
condition météo respective, puis Trouvez les probabilités de chaque
condition météorologique et créez un tableau de probabilité :

Weather Yes No

Sunny 3 2 =5/14(0.36)

Overcast 4 0 =4/14(0.29)

Rainy 2 3 =5/14(0.36)

Total 9 5

=9/14 =5/14
(0.64) (0.36)
But :

La condition météo avec la probabilité la plus élevée sera le

résultat du fait que les joueurs vont jouer ou non.
2- Calcul du probabilité pour chaque condition météorologique à
l'aide du théorème de Naïve Bayes.
Avantages de l'algorithme Naïve
bayes multinomiale :
Faible coût de calcul.
Il peut fonctionner efficacement avec de grands ensembles de
données.
Pour les échantillons de petite taille, il peut surpasser les
alternatives les plus puissantes.
Méthode de prédiction facile à mettre en œuvre, rapide et
précise.
Peut fonctionner avec des problèmes de prédiction multiclasses.
Il fonctionne bien dans les problèmes de classification de texte.
Désavantages :

Il est très difficile d’obtenir l’ensemble des prédicteurs

indépendants pour développer un modèle en utilisant Naive
Bayes.
5 Algorithme Gaussien
de quoi s'agit t'il ?
La classification de gaussien est un algorithme
d’apprentissage automatique de classification, ce
classificateur est utilisé lorsque les valeurs du prédicteur
sont continuées et doivent suivre une distribution
gaussienne

Gaussien est réussie dans l’apprentissage automatiques

supervisé et non supervisées mais leur complexité de calcul
a limité les applications pratiques.
Les processus gaussiens sont une généralisation de la
distribution de probabilité gaussien et peuvent être
utiliser comme base pour les algorithmes d’apprentissage
automatiques non paramétriques sophistiqués pour la
classification et la régression .
Pourquoi faire une courbe de Gauss ?
La courbe de Gauss est connue aussi sous le nom de « courbe en
cloche » ou encore de « courbe de la loi normale » . Elle permet
de représenter graphiquement la distribution d'une série et en
particulier la densité de mesures d'une série. Elle se base sur les
calculs de l'espérance et de l'écart-type de la série .
Quel est la méthode d’élimination
gaussienne ?
La méthode d'élimination de Gauss est utilisée pour résoudre un
système d'équations linéaires .
Rappelons la définition de ces systèmes d'équations. Un système
d'équations linéaires est un groupe d'équations linéaires avec
diverses inconnues. Comme nous le savons, des facteurs
inconnus existent dans plusieurs équations. Résoudre un
système consiste à trouver la valeur des inconnues pour vérifier
toutes les équations qui composent le système .
A quoi sert la méthode d'élimination
gaussienne ?
Fondamentalement, l'objectif de l'élimination gaussienne est de
faire des transformations sur les équations qui ne changent pas
la solution , mais systématiquement mettent à zéro (éliminent)
les coefficients hors diagonale, laissant un ensemble d'équations
à partir desquelles nous pouvons lire les réponses.
A quoi sert l'élimination gaussienne
dans la vraie vie ?
Une autre application importante de l'élimination gaussienne est
l'amélioration robuste de l'image des empreintes digitales .
Le filtre gaussien est utilisé pour améliorer l'image ..
La méthode SGE est également appropriée pour résoudre des
équations linéaires sur des processeurs connectés par maillage.
La méthode gaussienne est également utilisée dans les
algorithmes d'ordonnancement .
 Les étapes d'élimination:

1 2 3

Écrivez le système d'équations Réduire la matrice

linéaires donné sous forme
augmentée [A : B] On obtient A'
matricielle AX = B, où A est la
matrice des coefficients, X est par des opérations comme matrice
une matrice colonne des élémentaires sur les triangulaire
inconnues et B est la matrice lignes pour obtenir supérieure
colonne des constantes
[A' : B'].
Prenons L'exemple suivant :
Avantages Naïve bayes gaussienne :
Un modèle rapide et flexible donne des résultats extrêmement
fiables .
Fonctionne bien avec des données volumineuses .
Il n’est pas nécessaire de passer beaucoup de temps pour
l'entraînement .
Fournis de meilleures performances de classement en éliminant les
spécifications insignifiantes .
Désavantages :
Des enregistrements de données volumineux sont nécessaires
pour archiver un bon résultat .
Affiche des performances inférieures à celles des autres
classificateurs en fonction du type de problème .
6 Conclusion
Avantages naïve bayes :
C’est relativement simple à comprendre et à construire.
Il est facile à former, même avec un petit jeu de données.
C’est rapide par rapport aux modèles discriminants comme la régression
logistique.
Il n’est pas sensible aux caractéristiques non pertinentes.
Fonctionne sur des problèmes non linéaires.
Vous pouvez utiliser cet algorithme sur des données continues et
discrètes.
Il est simple et peut être utilisé pour prédire des applications en temps réel.
Il est hautement évolutif et peut facilement gérer de grands ensembles de
données.
Désavantages :
Il implique que chaque fonctionnalité soit indépendante,ce qui n’est pas
toujours le cas.
Pas le meilleur choix pour un grand nombre de fonctionnalités, plus
complexes.
La précision de prédiction de cet algorithme est inférieure à celle des
autres algorithmes de probabilité.
Il ne convient pas à la régression. L’algorithme de Naïve Bayes n’est
utilisé que pour la classification de données textuelles et ne peut pas être
utilisé pour prédire des valeurs numériques.
Différences entre les 3
sous algorithmes :
Multinomiale Naïve Bayes - Classificateur largement utilisé pour la
classification des documents qui maintient le nombre de mots fréquents
présents dans les documents.

Bernoulli Naïve Bayes - Utilisé pour les données discrètes, où les entités
ne sont que sous forme binaire.

Gaussien Naïve Bayes - Utilisé lorsque nous traitons des données

continues et utilise la distribution gaussienne
Prédiction en temps réel: Naïve Bayes est un classificateur
d’apprentissage avide et il est sûr que c’est rapide. Ainsi, il
pourrait être utilisé pour faire des prédictions en temps réel.
Prédiction multi-classes: Cet algorithme est également bien
connu pour la fonction de prédiction multi-classes. Ici, nous
pouvons prédire la probabilité de plusieurs classes de variable
cible.
Classification de texte / filtrage de spam / analyse des
sentiments :
Les classificateurs bayésiens naïfs principalement utilisés
dans la classification de texte (en raison d’un meilleur
résultat dans les problèmes multi-classes et la règle
d’indépendance) ont un taux de réussite plus élevé par
rapport aux autres algorithmes. Il est largement utilisé
dans le filtrage du spam (identifier les spams) et l’analyse
des sentiments (dans l’analyse des médias sociaux, pour
identifier les sentiments positifs et négatifs des clients).
7
Exercice
Le but c'est de calculer les probabilités suivants :
p(y=yes/x=today)= ?
p(y=no/x=today)= ?

Outlook(x1) = Sunny
Temperature(x2)=Hot
today =
Humidity(x3)=Normal
Windy(x4)=Flase

P(B/A) * P(A)
P(A/B) =
P(B)
p(y=yes/x=today)= p(x=today/y=yes)*p(y=yes)

=p(x1=sunny/y=yes)*p(x2=hot/y=yes)*p(x3=normal/y=yes)*p(x4=false/y=yes)*p(y=yes)

=( 3/9 ) * (2*/9) * ( 6/9 ) * ( 6/9 ) * ( 9/14 )

= 0.0211

p(y=no/x=today)= p(x=today/y=yes)*p(no)

=p(x1=sunny/y=no)*p(x2=hot/y=no)*p(x3=normal/y=no)*p(x4=false/y=no)*p(y=no)

=( 2/5 ) * (2/5 ) * ( 1/5 ) * ( 2/5 ) * ( 5/14 )

= 0.0045
0.0045 + 0.0211 = 0.0256

p(y=yes/x=today)= 0.0211 / 0.0256 = 0.824 (%82.4)

p(y=no/x=today)= 0.0045 / 0.0256 = 0.176 (%17.6)

Merci pour votre attention !
Y a-t-il des questions ?