Utiliser le Big Data pour

personnaliser votre expérience

sur les sites de e-commerce

Réalisé par : Tkitek Asma

 Plan
1. Système de recommandation de produits pour le commerce électronique

2. Qu'est-ce que Apache Spark ?

3. C'est quoi Spark en Big Data ?

4. Comment l'utiliser pour la programmation fonctionnelle ?

5. Transformation et actions Exemples

6. Conclusion
Système de recommandation de produits
pour le commerce électronique

Un système de recommandation bien développé aidera les entreprises à

améliorer l'expérience de leurs clients sur le site Web et se traduira par une
meilleure acquisition et fidélisation des clients.
Le système de recommandation que j'ai conçu ci-dessous est basé sur le
parcours d'un nouveau client depuis le moment où il arrive sur le site Web
de l'entreprise pour la première fois jusqu'au moment où il effectue des
achats répétés.
Qu'est-ce que Apache Spark ?

Spark est un framework de calcul distribué. Ce n'est donc pas un langage

de programmation, c'est un ensemble d'outils informatiques écrits
initialement en Scala, mais maintenant disponibles également en Python,
R, Java et SQL.
C'est quoi Spark en Big Data ?

Apache Spark est un framework Big Data de traitement de données open

source à grande échelle. Il est particulièrement adapté pour les très
grandes volumétries de données (plusieurs dizaines ou centaines de Go) et
fonctionne de manière distribuée, sous forme de clusters.
Comment l'utiliser pour la
programmation fonctionnelle ?
La programmation fonctionnelle est un paradigme de programmation qui
met l'accent sur l'utilisation de fonctions, immuabilité et fonctions d'ordre
supérieur. Dans Spark, la programmation fonctionnelle est grâce à
l'utilisation de ses API intégrées, telles que le RDD (Resilient Distributed
Dataset) API et l'API DataFrame
Comment l'utiliser pour la
programmation fonctionnelle ?
Différence entre Dataset et Data Frame ? Un ensemble de données est un
ensemble structuré de données généralement associées à un ensemble
de travaux unique.Une base de données est une collection organisée de
données stockées sous forme de plusieurs ensembles de données. Ces
ensembles de données sont généralement stockés et accessibles
électroniquement à partir d'un système informatique qui permet les
données soient facilement accessibles, manipulables et mises à jour.
Comment l'utiliser pour la
programmation fonctionnelle ?
Pour utiliser Spark pour la programmation fonctionnelle, vous pouvez suivre ces étapes générales
:
1. Créer une session Spark : cela se fait généralement à l'aide d'un objet SparkSession, qui fournit un
point d'entrée unifié à la fonctionnalité Spark.
2. Charger des données : vous pouvez charger des données dans Spark à partir de diverses
sources, y compris Hadoop Système de fichiers distribués (HDFS), systèmes de fichiers locaux et
systèmes de stockage en nuage comme Amazon S3.
3. Créer des RDD ou des DataFrames : selon le type de données avec lesquelles vous travaillez,
vous pouvez créer des RDD ou des DataFrames.
4. Appliquer les transformations : utilisez les transformations pour effectuer des opérations sur RDD ou
DataFrames, tels que le filtrage, le mappage, la réduction et la jointure.
5. Exécuter des actions : les actions déclenchent le calcul des RDD ou des DataFrames et renvoyer
les résultats au programme du pilote. Des exemples d'actions comprennent comptez, collectez
et économisez.
6. Nettoyer : lorsque vous avez terminé votre tâche Spark, assurez-vous de nettoyer toutes les
ressources qui ont été utilisées.
Transformation et actions Exemples

Le système de recommandation que j'ai conçu ci-dessous est basé sur le

parcours d'un nouveau client depuis le moment où il arrive sur le site Web
de l'entreprise pour la première fois jusqu'au moment où il effectue des
achats répétés.
Le système de recommandation est conçu en 3 parties en fonction du
contexte métier :
 Système de recommandation partie I : système basé sur la popularité des produits et
ciblant les nouveaux clients
 Système de recommandation partie II : système de filtrage collaboratif basé sur un
modèle basé sur l'historique d'achat du client et les évaluations fournies par d'autres
utilisateurs qui ont acheté des articles similaires
 Système de recommandation partie III : lorsqu'une entreprise crée son site Web de
commerce électronique pour la première fois sans aucune évaluation de produit
Transformation et actions Exemples

Lorsqu'un nouveau client sans historique d'achat visite pour la première fois
le site e-commerce, on lui recommande les produits les plus populaires
vendus sur le site de l'entreprise. Une fois qu'il a effectué un achat, le
système de recommandation se met à jour et recommande d'autres
produits en fonction de l'historique des achats et des évaluations fournies
par d'autres utilisateurs sur le site Web. Cette dernière partie est réalisée à
l'aide de techniques de filtrage collaboratif.
Système de recommandation - Partie I

Système de recommandation basé sur la popularité des produits et ciblant

les nouveaux clients
 La popularité est une excellente stratégie pour cibler les nouveaux clients avec
les produits les plus populaires vendus sur le site Web d'une entreprise et est très
utile pour démarrer à froid un moteur de recommandation.
 Dataset : Amazon product review dataset
Analyse
 Le graphique ci-dessus nous donne les produits les plus populaires (classés par
ordre décroissant) vendus par l'entreprise.
 Par exemple, le produit ID # B001MA0QY2 a des ventes de plus de 7 000, le
deuxième produit le plus populaire, ID # B0009V1YR8 a des ventes de 3 000, etc.
Système de recommandation - Partie II

Système de filtrage collaboratif basé sur un modèle

 Recommander des articles aux utilisateurs en fonction de l'historique des achats et de la
similarité des évaluations fournies par d'autres utilisateurs qui ont acheté des articles avec
celles d'un client particulier.
 Une technique de filtrage collaboratif basée sur un modèle est ici abordée car elle aide à
créer des produits prédictifs pour un utilisateur particulier en identifiant des modèles basés sur
des préférences à partir de plusieurs données utilisateur.

Matrice : basée sur les produits vendus et les avis des utilisateurs
Une matrice est constituée de tous les détails possibles des préférences
(évaluations) des éléments utilisateur représentés sous forme de matrice. La
matrice d'utilité est rare car aucun des utilisateurs n'achèterait tous les
articles de la liste, par conséquent, la plupart des valeurs sont inconnues.
Système de recommandation - Partie II
 Système de recommandation - Partie II

Comme prévu, la matrice obtenue ci-dessus est rare, j'ai rempli les valeurs
inconnues avec 0.
Système de recommandation - Partie II
Système de recommandation - Partie II

Isolation de l'ID de produit # 6117036094 de la matrice de corrélation

En supposant que le client achète le produit ID # 6117036094 (choisi au hasard)
Système de recommandation - Partie II

Corrélation de tous les articles avec l'article acheté par ce client en

fonction des articles notés par d'autres clients ayant acheté le même
produit
Système de recommandation - Partie II

Recommander les 10 meilleurs produits hautement corrélés en séquence

Numéro d'identification du produit Voici les 10 meilleurs produits à afficher par le système de recommandation
au client ci-dessus en fonction de l'historique d'achat des autres clients du site Web.
Système de recommandation - Partie
III
Pour une entreprise sans historique d'achat d'articles par l'utilisateur, un
système de recommandation basé sur un moteur de recherche peut être
conçu pour les utilisateurs. Les recommandations de produits peuvent être
basées sur une analyse textuelle de regroupement donnée dans la
description du produit
Dataset : jeu de données de Home Depot avec jeu de données produit.
Système de recommandation - Partie
III
Système de recommandation article à article basé sur la description du
produit
Applicable lorsque l'entreprise configure son site Web de commerce
électronique pour la première fois
 Système de recommandation - Partie
III

Vérification des valeurs manquantes

Système de recommandation - Partie
III
Extraction de fonctionnalités à partir des descriptions de produits
 Conversion du texte de la description du produit en données numériques pour
analyse
Système de recommandation - Partie
III
Visualisation des clusters de produits dans un sous-ensemble de données
 Système de recommandation - Partie
III

Output
• Recommandation de produit basée sur le produit actuel sélectionné par l'utilisateur.
• Pour recommander un produit connexe basé sur, Fréquemment acheté ensemble.
Système de recommandation - Partie
III
Principaux mots de chaque groupe en fonction de la description du
produit
 Système de recommandation - Partie
III
Principaux termes par cluster :

Cluster 0: Cluster 1: Cluster 2: Cluster 3: Cluster 4: Cluster 5: Cluster 6: Cluster 7: Cluster 8: Cluster 9:
concrete wood used door cutting wall light helps air post
stake patio trim lbs saw piece watt water ft fence
ft bamboo painted easy tool finish bulb easy water gate
coating natural 65 dog blade tile led snow unit ft
apply frame proposition nickel design design fixture handle room screen
epoxy outdoor nbsp solid cut use volt nozzle installation vinyl
drying rug residents roof pliers color bulbs year fan posts
sq size california plastic grip easy lighting features cooling aluminum
garage steel project house metal installation use tool use brackets
formula dining 32 adjustable non water power control easy spline
Prédire les clusters en fonction des mots clés de recherche
Système de recommandation - Partie
III
 Système de recommandation - Partie
III

 Une fois qu'un CLUSTER est identifié sur la base des mots de recherche de
l'utilisateur, le système de recommandation peut afficher des articles des groupes
de produits correspondants sur la base des descriptions de produits.
Conclusion

Cela fonctionne mieux si une entreprise configure son site Web de

commerce électronique pour la première fois et ne dispose pas d'un
historique d'achat/de notation d'articles utilisateur pour commencer. Ce
système de recommandation aidera les utilisateurs à obtenir une bonne
recommandation pour commencer et une fois que les acheteurs ont un
historique d'achat, le moteur de recommandation peut utiliser la technique
de filtrage collaboratif basée sur un modèle.