FORMATION BIGQUERY

Dr Moïse MAMBE
Enseignant-Chercheur
Plan

I. Introduction
II. BigQuery
III. Explorer les éléments
IV. Importation de table
V. Automatiser les importations

2022/2023 5
 Introduction
Enjeu

Solutions Stocker et requêter rapidement de larges volumes de données

avec le support du langage SQL.

Connaître ces solutions pour analyser vos données volumineuses efficacement.

2022/2023 2
 Google BigQuery

Basé sur

Google a été pionnier dans le NoSQL et dans le Big Data avec des bases de données
comme Big Table qui ont été développées ensuite en « open source » sous la forme de
HBase. Et du traitement Big Data sous forme de MapReduce devenu dans le monde open
source Hadoop.

Google a changé cette méthodologie pour migrer vers des bases de données type SQL
faciles à utiliser pour des gens qui ont déjà l'habitude des bases de données « Google Big
Data 2.0 »

2022/2023 3
 Google BigQuery
Cloud Spanner : Base de données opérationnelle (modification, ajout, suppression ) en
temps réel sur des très, très grands volumes.

BigQuery : Offre analytique pour faire du décisionnel, de la « business intelligence ».

Environnement sur lequel vous allez poser des volumes très importants de données, mais
plutôt avec une approche lecture seule et avec un langage SQL qui va vous permettre de faire
des analyses sur ces données de façon rapide.

- faire des regroupements «GROUP BY»

- faire des analyses avec des agrégats et c'est vraiment la cible de BigQuery.

- Spanner pour l'opérationnel, ce qu'on appelle « l'OLTP » ou « Online Transactional

Processing »
- BigQuery pour l'analytique, « OLAP » pour « Online Analytical Processing ».
2022/2023 4
 Google BigQuery
Accès à Google BigQuery ==> Environnement de gestion cloud Google (Indiquer un moyen
de paiement)

BigQuery est accessible sous forme d'API

2022/2023 5
 Importation table
Objectif : Récupérer les données de ma base de données opérationnelle qui est normalement
dans une SGBD

- Intégrer des tables dans BigQuery pour faire de l'analytique

- Ajouter des tables (Assistant) : créer vos tables à partir d'importation de données
==> Choix entre Importer, ce qui correspond à parcourir votre disque dur pour aller chercher un fichier plat,
vous verrez les formats de fichier qui sont ici, cette solution est limitée à 10 Mo par rapport à un
téléchargement que vous allez faire depuis votre disque dur.

- Favoriser l'utilisation de Google Cloud Storage

qui va vous permettre de récupérer des fichiers que vous avez déjà stockés dans le stockage cloud de
Google. Ce stockage cloud est dans des "buckets "
 Importer une
table
vous pouvez utiliser une sauvegarde Cloud Datastore, c'est-à-dire la base de données opérationnelle de Google sur
laquelle vous auriez fait un « backup » de vos données et puis, vous pouvez le récupérer ici. Vous pouvez choisir de
partitionner les données source par rapport à une clé de partionnement, vous pouvez aussi choisir de partitionner
les données ici en partitionnant par temps d'ingestion ; ça veut dire que si vous ingérez régulièrement des données
dans votre table, eh bien, vous pouvez partitionner par temps d'ingestion et par exemple, partitionner par semaine
ou par mois, vos données lorsque vous les requêtez spécifiquement sur des durées précises. Donc, voilà les quelques
options d'importation à votre disposition.

L'importation se fait souvent avec des scripts et ici, ce que qu'on va faire, c'est utiliser pour notre base de données,
un outil d'extraction, de transformation et de chargement spécifique.

2022/2023 7
 Installer la console en ligne de commande

Installer le SDK Google Cloud (google.cloud.com/sdk/docs )

la méthode d'installation pour Windows, la plus simple, c'est d'utiliser PowerShell

Se connecter

2022/2023 8