Cours ISI

Universit Paris-Est Marne-la-Valle
29/09/2016
Traitement et visualisation
de donnes ouvertes
Philippe Gambette
Plan
Lre des donnes
Traitement et
visualisation
des donnes
Quelques outils
pratiques
Source: Design vector designed by Freepik
La rvolution des donnes
3 tape de la rvolution numrique ?
Rvolution Rvolution Rvolution

informatique internet de la donne
Source : http://3.bp.blogspot.com/-Z8EYq8M8_AM/UGN_yXYbotI/AAAAAAAABqI/g_3rB9vg-xk/s400/airline-evolution.png
La rvolution des donnes
data scientist :
informatique,
mathmatiques,
stratgie
Rvolution Rvolution Rvolution

informatique internet de la donne
Source : http://3.bp.blogspot.com/-Z8EYq8M8_AM/UGN_yXYbotI/AAAAAAAABqI/g_3rB9vg-xk/s400/airline-evolution.png
Donnes ouvertes, open data
Des donnes de plus en plus :

accessibles
rutilisables
stockables
... traitables !
Source : http://www.economie.gouv.fr/files/eco_numerique2.png
Donnes ouvertes, open data
Des donnes de plus en plus :

accessibles
rutilisables
stockables
... traitables !
Source : http://www.economie.gouv.fr/files/eco_numerique2.png
Henri Verdier, Chief Data Officer franais,

directeur dEtalab (https://www.etalab.gouv.fr/)
Donnes gographiques
Des donnes sur :

Google Maps : mashups
Open Street Map
Donnes gographiques
Des donnes sur :

Google Maps : mashups
Open Street Map
Base Adresse Nationale (en open data) :
http://adresse.data.gouv.fr/
Donnes gographiques
Golocalisation de Lisbonne par Pessoa
Guide touristique crit en 1925

par Fernando Pessoa, en anglais
http://lisbon.pessoa.free.fr
Golocalisation manuelle Google Maps :

Golocalisation automatique Google Maps :


Base de
don
MySQL ; nes
PHP
Javascrip ;
t
Diagramme de Voronoi des McDos parisiens
http://gambette.blogspot.fr/2006/10/mcdonalds-macdo-mac-donalds-et-vorono.html
et
Appl
Java
Diagramme de Voronoi des McDos franais
Code
ab
Matl
http://www.comeetie.fr/map_mcdofr.php?
La France en train depuis Paris
Lille
Charleville-
Mzires
Rouen Amiens
Caen
Saint-L Metz
Strasbourg
Paris
Saint-Brieuc
Quimper Colmar
1h
Rennes
Besanon Belfort
Nantes 2h
La Rochelle
3h
Distances relles
Lyon
Grenoble
Bordeaux
Montpellier Nice
Tarbes
Marseille
Pau Toulouse
Toulon
Perpignan
Foix
http://train.gambette.com
La France en train depuis Paris
Charleville-
Mzires
Rouen Amiens Lille
Caen
Saint-L Metz
Strasbourg
Paris
Saint-Brieuc
Quimper Rennes
1h
Colmar
Nantes
Besanon Belfort
2h Lyon
La Rochelle Grenoble
Marseille
3h
Distances relles Bordeaux Montpellier
Code
Delphi
Distances Toulon
proportionnelles
aux dures de
voyage en train Nice
Pau Perpignan
en avril 2006
Toulouse
Tarbes
Prise en compte
du TGV Est
Foix
http://train.gambette.com
Dautres traitements de donnes gographiques
http://www.comeetie.fr/galerie.php?
Donnes gastronomiques
Visualisation de donnes de recettes de crpes
Photo Frdrique Voisin-Demery, https://flic.kr/p/dtUFN8

farine Polygone des ingrdients des crpes, pour 1 oeuf

180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
http://gambette.blogspot.fr/2008/03/cuisine-polydre-des-ingrdients-et.html

180
160
140
120
100
enveloppe
80 convexe
60
40
20
0
50 100 150 200 250 300 350
lait+eau

180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis

180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis

180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis

180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis

180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis

180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis

180
160
140
120
100
80
60
40
20
0
50 100 150 200 250 300 350
lait+eau
Marche de Jarvis
180
160
140
120
100
80
60
40
20
0
0 50 100 150 200 250 300 350
Donnes de moteurs
de recherche
Google Fight!
http://www.googlefight.fr/
Google Fight!
http://www.googlefight.fr/mathematiques-vs-informatique.php
Google Fight!
Attention la fiabilit !
http://blog.veronis.fr/200
5/01/web-comptes-
bidons-chez-google.html?
m=0
http://www.googlefight.fr/mathematiques-vs-informatique.php
Google Fight pour lorthographe ?
http://www.googlefight.fr/trafic-vs-traffic.php
Google Fights : dangers !
https://xkcd.com/369/
http://gambette.blogspot.fr/2008/01/danger-accidents-mortels.html
Code
Delphi
Google Fights : annes
1 000 000 000/n(x), o n(x) est le nombre de rsultats pour lanne x
http://gambette.blogspot.fr/2006/11/la-naissance-du-web-daprs-les-moteurs.html
Google Fights : Miss Google 2010
http://gambette.blogspot.fr/2010/02/miss-google-2010.html
Google Fights : Miss Google 2010
http://gambette.blogspot.fr/2010/02/miss-google-2010.html
Donnes en arbres
Vote des dputs
Arbre des proximits de vote

(2004-2007)
Puce ADN des

proximits de vote
http://gambette.blogspot.fr/2007/01/arbre-phylogntique-des-dputs.html
http://gambette.blogspot.fr/2007/02/la-puce-adn-des-dputs.html
Vote des dputs
Code
Delphi,
code
Python
http://gambette.blogspot.fr/2007/05/positionnement-des-dputs-udf.html
Nuage arbor du blog de Jean Vronis
http://gambette.blogspot.fr/2013/10/hommage-en-nuage.html
Arbres phylogntiques et arbres de mots
D'aprs Lamarck
Arbre phylogntique d'un ensemble d'espces : (1815) Histoire
naturelle des
animaux sans
Les classer en fonction de caractres communs vertbres
Dcrire leur volution

Darwin (1837)
Carnet B
ESPCES MOTS
Donnes sur
Squences ADN Position des mots
les feuilles
51
ESPCES MOTS
Donnes sur
les feuilles
Distances entre
Distances fondes sur Distances fondes sur
les feuilles
la diffrence entre les la cooccurrence entre
A B C D
deux squences A 0 2 5 6 les deux mots
(mutations, insertions, B 2 0 5 6
dltions) C 5 5 0 3
D 6 6 3 0
52
ESPCES MOTS
Donnes sur
les feuilles
Distances entre
les feuilles
A B C D
dltions) C 5 5 0 3
D 6 6 3 0
classification hirarchique ascendante
Arbre
A
B
53
ESPCES MOTS
Donnes sur
les feuilles
Distances entre
les feuilles
A+B C D
deux squences A+B 0 5 6 les deux mots
(mutations, insertions, C 5 0 3
dltions) D 6 3 0
Arbre
A
B
54
ESPCES MOTS
Donnes sur
les feuilles
Distances entre
les feuilles
A+B C D
deux squences A+B 0 5 6 les deux mots
(mutations, insertions, C 5 0 3
dltions) D 6 3 0
Arbre
A C
B D
55
ESPCES MOTS
Donnes sur
les feuilles
Distances entre
les feuilles
A+B C+D
deux squences A+B 0 5,5 les deux mots
(mutations, insertions, C+D 5,5 0
dltions)
Arbre
A C
B D
56
ESPCES MOTS
Donnes sur
les feuilles
Distances entre
les feuilles
A+B C+D
deux squences A+B 0 5,5 les deux mots
(mutations, insertions, C+D 5,5 0
dltions)
Arbre
A C
B D
57
ESPCES MOTS
Donnes sur
les feuilles
Distances entre
les feuilles
A B C D
dltions) C 5 5 0 3
D 6 6 3 0
Arbre
A C
B D
58
Outils pratiques
Quelques outils pratiques
extension iMacros de Firefox

Pour rcuprer un ensemble de pages web
expressions rgulires
Pour extraire de linformation ou la changer de format
Dans la fonction rechercher/remplacer dun diteur de texte
ou dans un script Python
bibliothques Javascript D3.js, Google Charts, Charts.js, etc.

Pour visualiser les donnes de manire interactive sur le web
http://www.sitepoint.com/15-best-javascript-charting-libraries/
Quelques langages utiles
R : orient statistiques
- https://www.r-project.org/
- http://r4ds.had.co.nz/ (R for data science)
Javascript : orient web (interactions avec lutilisateur)
- http://www.w3schools.com/js/
Python : pour des scripts de test rapide en particulier
- https://www.python.org/
Java : pour des outils en production
- https://www.java.com/fr/
Les expressions rgulires selon xkcd
https://xkcd.com/208/
Bibliothque Javascript d3.js
http://d3js.org/
Pour continuer jouer avec les donnes
Data Job 2016 jeudi 10 novembre 2016 Paris:

http://datajob.fr/
(entre gratuite pour tudiants moins de 28 ans)
Hackathons Paris :
https://www.eventbrite.fr/d/france--paris/hackathon/
Blog Je vronise :
http://gambette.blogspot.com/
Les interventions dHenri Verdier sur lopen data :
https://www.youtube.com/results?search_query=Henri+Verdier
Actualits de la rvolution des donnes :
http://radar.oreilly.com/data

Cours ISI

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cours ISI

Transféré par

Droits d'auteur :

Formats disponibles

Universit Paris-Est Marne-la-Valle

Lre des donnes

3 tape de la rvolution numrique ?

Rvolution Rvolution Rvolution

Rvolution Rvolution Rvolution

Des donnes de plus en plus :

Des donnes de plus en plus :

Henri Verdier, Chief Data Officer franais,

Des donnes sur :

Des donnes sur :

Guide touristique crit en 1925

Golocalisation manuelle Google Maps :

Golocalisation automatique Google Maps :

Golocalisation automatique Google Maps :

Golocalisation automatique Google Maps :

Rouen Amiens Lille

Photo Frdrique Voisin-Demery, https://flic.kr/p/dtUFN8

farine Polygone des ingrdients des crpes, pour 1 oeuf

farine Polygone des ingrdients des crpes, pour 1 oeuf

farine Polygone des ingrdients des crpes, pour 1 oeuf

farine Polygone des ingrdients des crpes, pour 1 oeuf

farine Polygone des ingrdients des crpes, pour 1 oeuf

farine Polygone des ingrdients des crpes, pour 1 oeuf

farine Polygone des ingrdients des crpes, pour 1 oeuf

farine Polygone des ingrdients des crpes, pour 1 oeuf

farine Polygone des ingrdients des crpes, pour 1 oeuf

1 000 000 000/n(x), o n(x) est le nombre de rsultats pour lanne x

Arbre des proximits de vote

Puce ADN des

Dcrire leur volution

classification hirarchique ascendante

classification hirarchique ascendante

classification hirarchique ascendante

classification hirarchique ascendante

classification hirarchique ascendante

classification hirarchique ascendante

extension iMacros de Firefox

bibliothques Javascript D3.js, Google Charts, Charts.js, etc.

Data Job 2016 jeudi 10 novembre 2016 Paris:

Vous aimerez peut-être aussi