UIDT/UFR SET

Master IA & ST

Cours traitement de données massives: Batch processing & streaming processing

Partie 1: introduction à Spark - TPs par groupe de deux.

--------------------------------------------------------------------------

Formez des groupes de deux et choisissez une des archives.

Pour chaque Archive, utilisez l’API Dataframe et SQL pour répondre aux questions; c’-à-d
deux versions de chaque réponse.

archive1
Height of Male and Female by Country 2022
Average Height of Male and Female by Country
1. Pays avec les plus femmes les plus grandes (en taille)
2. Pays où les femmes sont plus grandes (en taille) que les hommes (en moyenne)
3. taille moyenne moyenne des femmes et hommes de chaque pays
4. diffirence moyenne des tailles homme-femme par pays.

archive2
Hollywood Theatrical Market Synopsis 1995 to 2021
North American Domestic Movies Theatrical Market Synopsis
1. l'année avec la plus grande masse de "revenu" au box-office
2. l'année où a été vendu le plus grand nombre de tickets
3. vente moyenne de tickets par année
4. revenus moyens par année
5. prix moyen des tickets sur toutes périodes confondues
6. autres?

archive3
Malaria in Africa
Malaria cases, incidence risk, and prevention
1. Pays avec la plus grande incidence moyenne de malaria sur toute les périodes
2. Pays avec le plus nombre de cas reporté en 2015
3. Pays avec le plus grand pourcentage de la population utilisant une moustiquaire
imprégnée en 2010
4. Pourcentage moyen des enfants de moins de cinq ans recevant un traitement anti
malaria

archive4
Data Professionals Salary - 2022
Salaries of Data Scientists, ML Engineers, Data Analysts, Data Engineers in 2022
1. Salaire moyen par localité (locaiton)
2. Localité où les data-scientist sont mieux payés
3. Nombre de sociétés (compagnie) concernées par cette enquête (qui ont au moins une

Pr Ibrahima Gueye
 entrée concernée sur le Dataset)
4. Salaire annuel médian
5. Salaire annuel minimal par société

archive5
Apple product price list 2022 in 26 countries
How much a buyer pay for Apple product in each country
1. Pays où il y a le plus de produits apple proposés à la vente
2. Prix moyen des produits apple (par produit)
3. Pays ou les produits sont les plus chers
4. nombre de produits (total) apple mis en vente

archive6
Netflix Movies and TV Shows
Listings of movies and tv shows on Netflix - Regularly Updated
1. Durée moyenne des contenus sur Netflix
2. L’année ou le plus de contenu a été ajouté à la plateforme
3. Pays (présent dans le dataset) avec le moins de contenu produit et disponible sur netflix
4. Moyenne des productions (nombre moyen de contenu produit) par pays

archive7
Africa Economic, Banking and Systemic Crisis Data
Data on Economic and Financial crises in 13 African Countries (1860 to 2014)

This dataset is a derivative of Reinhart et. al's Global Financial Stability dataset which can be found
online at: https://www.hbs.edu/behavioral-finance-and-financial-stability/data/Pages/global.aspx

It specifically focuses on the Banking, Debt, Financial, Inflation and Systemic Crises that occurred,
from 1860 to 2014, in 13 African countries, including: Algeria, Angola, Central African Republic, Ivory
Coast, Egypt, Kenya, Mauritius, Morocco, Nigeria, South Africa, Tunisia, Zambia and Zimbabwe.

1. pays avec le plus de crises systèmes entre 1970 et 1997

2. nombre moyen de crises systémiques par pays sur la toute la période d'observation
(étendues du Dataset)
3. pays avec le plus grand taux de change vis-à-vis du dollar (USD) (le top 3 des plus
grand)
4. pays avec le plus faible taux d’inflation annuelle (cpi) en 2004

Pr Ibrahima Gueye