Vous êtes sur la page 1sur 64

Universit Paris-Est Marne-la-Valle

29/09/2016

Traitement et visualisation
de donnes ouvertes

Philippe Gambette
Plan

Lre des donnes

Traitement et
visualisation
des donnes

Quelques outils
pratiques
Source: Design vector designed by Freepik
La rvolution des donnes

3 tape de la rvolution numrique ?

Rvolution Rvolution Rvolution


informatique internet de la donne

Source : http://3.bp.blogspot.com/-Z8EYq8M8_AM/UGN_yXYbotI/AAAAAAAABqI/g_3rB9vg-xk/s400/airline-evolution.png
La rvolution des donnes

data scientist :
informatique,
mathmatiques,
stratgie

Rvolution Rvolution Rvolution


informatique internet de la donne

Source : http://3.bp.blogspot.com/-Z8EYq8M8_AM/UGN_yXYbotI/AAAAAAAABqI/g_3rB9vg-xk/s400/airline-evolution.png
Donnes ouvertes, open data

Des donnes de plus en plus :


accessibles
rutilisables
stockables
... traitables !

Source : http://www.economie.gouv.fr/files/eco_numerique2.png
Donnes ouvertes, open data

Des donnes de plus en plus :


accessibles
rutilisables
stockables
... traitables !

Source : http://www.economie.gouv.fr/files/eco_numerique2.png

Henri Verdier, Chief Data Officer franais,


directeur dEtalab (https://www.etalab.gouv.fr/)
Donnes gographiques

Des donnes sur :


Google Maps : mashups
Open Street Map
Donnes gographiques

Des donnes sur :


Google Maps : mashups
Open Street Map
Base Adresse Nationale (en open data) :
http://adresse.data.gouv.fr/
Donnes gographiques
Golocalisation de Lisbonne par Pessoa

Guide touristique crit en 1925


par Fernando Pessoa, en anglais

http://lisbon.pessoa.free.fr
Golocalisation de Lisbonne par Pessoa

Golocalisation manuelle Google Maps :


Golocalisation de Lisbonne par Pessoa

Golocalisation automatique Google Maps :


Golocalisation de Lisbonne par Pessoa

Golocalisation automatique Google Maps :


Golocalisation de Lisbonne par Pessoa

Golocalisation automatique Google Maps :

Base de
don
MySQL ; nes
PHP
Javascrip ;
t
Diagramme de Voronoi des McDos parisiens

http://gambette.blogspot.fr/2006/10/mcdonalds-macdo-mac-donalds-et-vorono.html
Diagramme de Voronoi des McDos parisiens

et
Appl
Java

http://gambette.blogspot.fr/2006/10/mcdonalds-macdo-mac-donalds-et-vorono.html
Diagramme de Voronoi des McDos parisiens

http://gambette.blogspot.fr/2006/10/mcdonalds-macdo-mac-donalds-et-vorono.html
Diagramme de Voronoi des McDos franais

Code
ab
Matl

http://www.comeetie.fr/map_mcdofr.php?
La France en train depuis Paris

Lille

Charleville-
Mzires
Rouen Amiens

Caen
Saint-L Metz
Strasbourg
Paris
Saint-Brieuc
Quimper Colmar
1h
Rennes
Besanon Belfort
Nantes 2h

La Rochelle
3h
Distances relles

Lyon
Grenoble

Bordeaux

Montpellier Nice
Tarbes
Marseille
Pau Toulouse
Toulon
Perpignan
Foix
http://train.gambette.com
La France en train depuis Paris

Charleville-
Mzires

Rouen Amiens Lille

Caen
Saint-L Metz
Strasbourg
Paris
Saint-Brieuc
Quimper Rennes
1h
Colmar
Nantes
Besanon Belfort
2h Lyon
La Rochelle Grenoble
Marseille
3h
Distances relles Bordeaux Montpellier
Code
Delphi
Distances Toulon
proportionnelles
aux dures de
voyage en train Nice
Pau Perpignan
en avril 2006

Toulouse
Tarbes
Prise en compte
du TGV Est
Foix

http://train.gambette.com
Dautres traitements de donnes gographiques

http://www.comeetie.fr/galerie.php?
Donnes gastronomiques
Visualisation de donnes de recettes de crpes

Photo Frdrique Voisin-Demery, https://flic.kr/p/dtUFN8


Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau

http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
enveloppe
80 convexe
60
40
20
0
50 100 150 200 250 300 350
lait+eau

http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis
http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis
http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis
http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis
http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis
http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis
http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

farine Polygone des ingrdients des crpes, pour 1 oeuf


180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis
http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Visualisation de donnes de recettes de crpes

180

160

140

120

100

80

60

40

20

0
0 50 100 150 200 250 300 350

http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html
Donnes de moteurs
de recherche
Google Fight!

http://www.googlefight.fr/
Google Fight!

http://www.googlefight.fr/mathematiques-vs-informatique.php
Google Fight!

Attention la fiabilit !
http://blog.veronis.fr/200
5/01/web-comptes-
bidons-chez-google.html?
m=0
http://www.googlefight.fr/mathematiques-vs-informatique.php
Google Fight pour lorthographe ?

http://www.googlefight.fr/trafic-vs-traffic.php
Google Fights : dangers !

https://xkcd.com/369/
Google Fights : dangers !

http://gambette.blogspot.fr/2008/01/danger-accidents-mortels.html
Google Fights : dangers !

Code
Delphi

http://gambette.blogspot.fr/2008/01/danger-accidents-mortels.html
Google Fights : dangers !

http://gambette.blogspot.fr/2008/01/danger-accidents-mortels.html
Google Fights : annes

1 000 000 000/n(x), o n(x) est le nombre de rsultats pour lanne x

http://gambette.blogspot.fr/2006/11/la-naissance-du-web-daprs-les-moteurs.html
Google Fights : Miss Google 2010

http://gambette.blogspot.fr/2010/02/miss-google-2010.html
Google Fights : Miss Google 2010

http://gambette.blogspot.fr/2010/02/miss-google-2010.html
Donnes en arbres
Vote des dputs

Arbre des proximits de vote


(2004-2007)

Puce ADN des


proximits de vote
http://gambette.blogspot.fr/2007/01/arbre-phylogntique-des-dputs.html
http://gambette.blogspot.fr/2007/02/la-puce-adn-des-dputs.html
Vote des dputs

Code
Delphi,
code
Python

http://gambette.blogspot.fr/2007/05/positionnement-des-dputs-udf.html
Nuage arbor du blog de Jean Vronis

http://gambette.blogspot.fr/2013/10/hommage-en-nuage.html
Arbres phylogntiques et arbres de mots
D'aprs Lamarck
Arbre phylogntique d'un ensemble d'espces : (1815) Histoire
naturelle des
animaux sans
Les classer en fonction de caractres communs vertbres

Dcrire leur volution


Darwin (1837)
Carnet B
Arbres phylogntiques et arbres de mots

ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles

51
Arbres phylogntiques et arbres de mots

ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles

Distances entre
Distances fondes sur Distances fondes sur
les feuilles
la diffrence entre les la cooccurrence entre
A B C D
deux squences A 0 2 5 6 les deux mots
(mutations, insertions, B 2 0 5 6
dltions) C 5 5 0 3
D 6 6 3 0

52
Arbres phylogntiques et arbres de mots

ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles

Distances entre
Distances fondes sur Distances fondes sur
les feuilles
la diffrence entre les la cooccurrence entre
A B C D
deux squences A 0 2 5 6 les deux mots
(mutations, insertions, B 2 0 5 6
dltions) C 5 5 0 3
D 6 6 3 0

classification hirarchique ascendante

Arbre
A
B
53
Arbres phylogntiques et arbres de mots

ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles

Distances entre
Distances fondes sur Distances fondes sur
les feuilles
la diffrence entre les la cooccurrence entre
A+B C D
deux squences A+B 0 5 6 les deux mots
(mutations, insertions, C 5 0 3
dltions) D 6 3 0

classification hirarchique ascendante

Arbre
A
B
54
Arbres phylogntiques et arbres de mots

ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles

Distances entre
Distances fondes sur Distances fondes sur
les feuilles
la diffrence entre les la cooccurrence entre
A+B C D
deux squences A+B 0 5 6 les deux mots
(mutations, insertions, C 5 0 3
dltions) D 6 3 0

classification hirarchique ascendante

Arbre
A C
B D
55
Arbres phylogntiques et arbres de mots

ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles

Distances entre
Distances fondes sur Distances fondes sur
les feuilles
la diffrence entre les la cooccurrence entre
A+B C+D
deux squences A+B 0 5,5 les deux mots
(mutations, insertions, C+D 5,5 0
dltions)

classification hirarchique ascendante

Arbre
A C
B D
56
Arbres phylogntiques et arbres de mots

ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles

Distances entre
Distances fondes sur Distances fondes sur
les feuilles
la diffrence entre les la cooccurrence entre
A+B C+D
deux squences A+B 0 5,5 les deux mots
(mutations, insertions, C+D 5,5 0
dltions)

classification hirarchique ascendante

Arbre
A C
B D
57
Arbres phylogntiques et arbres de mots

ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles

Distances entre
Distances fondes sur Distances fondes sur
les feuilles
la diffrence entre les la cooccurrence entre
A B C D
deux squences A 0 2 5 6 les deux mots
(mutations, insertions, B 2 0 5 6
dltions) C 5 5 0 3
D 6 6 3 0

classification hirarchique ascendante

Arbre
A C

B D
58
Outils pratiques
Quelques outils pratiques

extension iMacros de Firefox


Pour rcuprer un ensemble de pages web

expressions rgulires
Pour extraire de linformation ou la changer de format
Dans la fonction rechercher/remplacer dun diteur de texte
ou dans un script Python

bibliothques Javascript D3.js, Google Charts, Charts.js, etc.


Pour visualiser les donnes de manire interactive sur le web
http://www.sitepoint.com/15-best-javascript-charting-libraries/
Quelques langages utiles

R : orient statistiques
- https://www.r-project.org/
- http://r4ds.had.co.nz/ (R for data science)
Javascript : orient web (interactions avec lutilisateur)
- http://www.w3schools.com/js/
Python : pour des scripts de test rapide en particulier
- https://www.python.org/
Java : pour des outils en production
- https://www.java.com/fr/
Les expressions rgulires selon xkcd

https://xkcd.com/208/
Bibliothque Javascript d3.js

http://d3js.org/
Pour continuer jouer avec les donnes

Data Job 2016 jeudi 10 novembre 2016 Paris:


http://datajob.fr/
(entre gratuite pour tudiants moins de 28 ans)

Hackathons Paris :
https://www.eventbrite.fr/d/france--paris/hackathon/
Blog Je vronise :
http://gambette.blogspot.com/
Les interventions dHenri Verdier sur lopen data :
https://www.youtube.com/results?search_query=Henri+Verdier
Actualits de la rvolution des donnes :
http://radar.oreilly.com/data