Flux Kafka

Données
entrantes

Kafka
Consumer

Topic

Kafka
Producer
Projet Big Data
Transactions
Données
entrantes

Stockage Machine Learning

Collecte Data Processing dans la base +
des données & de données Data visualization
Analytics

Architecture générale
Architecture souhaitée

Kafka Kafka Producer Kafka Consumer

Centralisation (réception & Encode les données, Réceptionne les données &
distribution) de grandes converti en json et data les décode.
quantité de données, en processing.
temps réel.

Cassandra Machine Learning Power BI

Utile pour le traitement en Prédictions créées à partir Visualisation interactive
temps réel et favorise la des données et stockées des données & des
disponibilité pour la dans Cassandra. prédictions.
visualisation.
 Version I

Kafka Producer Spark Streaming Interface web

Chargement du fichier csv, Lecture des dictionnaires & Visualisation des données
partitionnement en traitement des données. en temps réel.
plusieurs dictionnaires
json.
 Technologies utilisées

Kafka Producer Spark Streaming Interface web

Python Librairie : pyspark Serveur : Node.js
Fichiers json Fichiers jars Front : Angular