Introduction SQL Analytics Sur L'architecture Lakehouse

24/02/2021 Introduction SQL Analytics sur l'architecture Lakehouse
Page 1
Introduction SQL Analytics

sur Lakehouse Architecture
Instructeur: Doug Bateman
Page 2
À propos de votre instructeur /

Doug Bateman
▪ Ingénierie des données principale

Instructor chez Databricks
▪ A rejoint Databricks en 2016
▪ Plus de 20 ans d'expérience dans l'industrie
Page 3
À propos de votre instructeur (personnel)
Doug Bateman
▪ Deux enfants
▪ 2 et 5 ans
▪ Pour le plaisir:
▪ Voile
/
▪ Escalade
▪ Snowboard (mal)
▪ Échecs (mal)
Page 4
Objectifs du cours
1 Décrire les principales caractéristiques d'un Data Lakehouse
2 Expliquez comment Delta Lake permet une architecture Lakehouse
3 Définir les fonctionnalités clés disponibles dans l'utilisateur Databricks SQL Analytics
interface.
Page 5
Agenda des cours /

Activité
Bienvenue au cours
Introduction à l'architecture Lakehouse
Lac Delta
Présentation de Databricks SQL Analytics
Démo Databricks SQL Analytics
Récapitulation et questions et réponses
Page 6
Accéder aux diapositives
https://tinyurl.com/lakehouse-webinar
/
Page 7
À propos de vous (sondages)
Page 8
/
Introduction à l'architecture Lakehouse
Page 9
Décisions basées sur les données
/
Page 10
Entrepôts de données
ont été construits à cet effet
pour la BI et le reporting, BI Rapports
toutefois…
▪ Pas de support pour la vidéo, l'audio, le texte Entrepôts de données
▪ Pas de support pour la science des données, ML

▪ Prise en charge limitée du streaming
▪ Formats fermés et propriétaires ETL
Par conséquent, la plupart des données sont stockées dans

lacs de données et magasins d'objets blob Données externes Donnée opérationnelle
Page 11
Lacs de données /
pourrait stocker toutes vos données

et déterminez ce que vous Données Machine Temps réel Rapports BI
veux savoir plus tard Science Apprentissage Base de données
▪ Mauvaise prise en charge de la BI

Préparation des données etETL
▪ Complexe à mettre en place Validation Données
Entrepôts
▪ Mauvaise performance
▪ Marécages de données peu fiables Data Lake
Structuré, semi-structuré et non structuré

Données
Page 12
Comment tirer le meilleur parti des deux mondes?
BI Rapports Données Machine Temps réel Rapports BI

Science Apprentissage Base de données
Entrepôts de données
Préparation des données etETL
Validation Données
Entrepôts /
ETL Data Lake
Données externes Donnée opérationnelle Structuré, semi-structuré et non structuré

Données
Page 13
Maison au bord du lac
Entrepôt de données Data Lake
Diffusion BI Données Machine

Analytique Science Apprentissage

Données
Page 14
/
Résumé de Lakehouse
Un Lakehouse présente les caractéristiques clés suivantes:
● prise en charge de divers types et formats de données
● fiabilité et cohérence des données
● prise en charge de diverses charges de travail (BI, data science, machine
apprentissage et analyse)
● capacité à utiliser les outils BI directement sur les données sources
Page 15
Construire un Lakehouse
Les composants de base dont nous avons besoin pour construire un Lakehouse
1. Votre lac de données (stockage blob cloud, format open source)

2. Couche de transaction pour assurer la cohérence (Delta)
3. Flux de travail ETL et de nettoyage des données (Spark + Databricks Delta Pipelines)
4. Sécurité, intégrité des données et performances (Databricks Delta Engine)
5. En plus des intégrations pour toutes vos communautés d'utilisateurs:
une. SQL (Databricks SQL Analytics) /
b. Outils et tableaux de bord BI

c. ML
ré. Diffusion
Page 16
Lac Delta
Page 17
/
L'émergence des lacs de données

Stockage durable et vraiment bon marché
10 neuf de durabilité. Pas cher. Échelle infinie.
Stockez tous les types de données brutes

Vidéo, audio, texte, structuré, non structuré
Formats ouverts et standardisés

Format parquet, grand écosystème d'outils fonctionnent sur ces fichiers
les formats
Page 18
Les défis des lacs de données

1. Difficile d'ajouter des données
L'ajout de données nouvellement arrivées entraîne des lectures incorrectes
2. La modification des données existantes est difficile

Le RGPD / CCPA nécessite d'apporter des modifications fines à
lac de données existant /
3. Les travaux échouent à mi-chemin

La moitié des données apparaît dans le lac de données, le reste est manquant
Page 19

4. Opérations en temps réel
Mélanger le streaming et le lot conduit à des incohérences
5. Il est coûteux de conserver les versions historiques des données

Les environnements réglementés nécessitent la reproductibilité, l'audit,
la gouvernance
6. Difficile de gérer de grandes métadonnées

Pour les grands lacs de données, les métadonnées elles-mêmes deviennent difficiles à
gérer
Page 20 /

7. Problèmes de «trop de fichiers»
Les lacs de données ne sont pas parfaits pour gérer des millions de petits fichiers
8. Difficile d'obtenir de bonnes performances

Le partitionnement des données pour les performances est sujet aux erreurs et
difficile à changer
9. Problèmes de qualité des données

C'est un casse-tête constant de s'assurer que toutes les données sont correctes
et de haute qualité
Page 21
Une nouvelle norme pour la construction de lacs de données

Une approche avisée de
création de lacs de données
■ Ajoute fiabilité, qualité,

performances pour Data Lakes
■ Apporte le meilleur des données /
entreposage et data lake

■ Basé sur l'open source et
format ouvert (Parquet) - Delta
Lake est également open source
Page 22
1. Difficile d'ajouter des données
2. Modification difficile des données existantes
4. Opérations en temps réel difficiles
5. Coûteux de conserver les versions des données historiques
8. Mauvaises performances
Page 23 /
1. Difficile d'ajouter des données Transactions ACID

Rendre chaque opération transactionnelle
• Il réussit pleinement - ou il est pleinement
abandonné pour des tentatives ultérieures

/ chemin / vers / table / _delta_log
6. Difficile de gérer de grandes métadonnées - 0000.json
- 0001.json
- 0002.json
8. Mauvaises performances -…
- 0010.parquet
Page 24


6. Difficile de gérer de grandes métadonnées /
- 0000.json
- 0001.json Ajouter file2.parquet
{
7. Problèmes de «trop de fichiers» ...
- 0002.json
- 0010.parquet Ajouter file1.parquet
Page 25


{
- 0001.json
7. Problèmes de «trop de fichiers» Ajouter file3.parquet
- 0002.json ...
8. Mauvaises performances -… Supprimer file1.parquet
- 0010.parquet
/
Piste 26


- 0001.json
- 0002.json
- 0010.parquet
9. Problèmes de qualité des données - 0010.json
- 0011.json
Page 27

2. Modification difficile des données existantes Rendre chaque opération transactionnelle
3. Les travaux échouent à mi-chemin • Il réussit pleinement - ou il est pleinement

Examiner les transactions passées

• Toutes les transactions sont enregistrées et vous /

6. Difficile de gérer de grandes métadonnées peut remonter le temps pour revoir les précédents
versions des données (c. -à-d. voyage dans le temps )

8. Mauvaises performances SELECT * FROM événements

HORAIRE À PARTIR DE ...
SELECT * FROM événements
VERSION À PARTIR DE ...
Page 28
1. Difficile d'ajouter des données Spark sous le capot

• Spark est conçu pour gérer de grandes
3. Les travaux échouent à mi-chemin quantités de données
4. Opérations en temps réel difficiles • Toutes les métadonnées de Delta Lake stockées en ouvert
Format du parquet
• Certaines parties de celui-ci sont mises en cache et optimisées pour
accès rapide
• Les données et leurs métadonnées coexistent toujours.
7. Problèmes de «trop de fichiers» Pas besoin de synchroniser les données du catalogue <>
/
Page 29
1. Difficile d'ajouter des données Consolidation de fichiers

Optimiser automatiquement une mise en page qui
3. Les travaux échouent à mi-chemin permet un accès rapide
4. Opérations en temps réel difficiles • Partitionnement: mise en page pour les requêtes typiques
• Saut de données: élaguez les fichiers en fonction
5. Coûteux de conserver les versions des données historiques statistiques sur les nombres
6. Difficile de gérer de grandes métadonnées • Ordre Z: mise en page pour optimiser plusieurs
Colonnes
OPTIMISER les événements
ZORDER BY (eventType)
Piste 30
1. Difficile d'ajouter des données Validation du schéma

Validation et évolution du schéma

• Toutes les données des tables delta doivent adhérer
4. Opérations en temps réel difficiles à un schéma strict (étoile, etc.)
• Inclut l'évolution du schéma dans la fusion
5. Coûteux de conserver les versions des données historiques les opérations
/
MERGE INTO événements

7. Problèmes de «trop de fichiers» UTILISATION des modifications
ON events.id = changes.id
LORSQU'UNE CORRESPONDANCE ALORS
MISE À JOUR SET *
QUAND NON ASSORTIE ALORS
INSÉRER *
Piste 31
Résumé du lac Delta
▪ Élément central d'un Lakehouse

architecture
▪ Offre une cohérence garantie
parce qu'il est conforme ACID
▪ Stockage de données robuste
▪ Conçu pour fonctionner avec Apache
Étincelle
/
Piste 32
Éléments du lac Delta
▪ Architecture Delta
▪ Couche de stockage Delta
▪ Delta Engine
Piste 33
Architecture delta
Bronze Argent Or
Diffusion /
LES DONNÉES Analytique

Brut Filtré, nettoyé, Niveau commercial
Ingestion Augmenté Agrégats
IA et
Qualité des données Rapports
Piste 34
Couche de stockage Delta

Une plateforme pour chaque cas d'utilisation
Couche transactionnelle structurée
Data Lake pour toutes vos données

Données
/
Piste 35
Moteur Delta de Databricks

Performance
▪ Optimisations de la gestion des fichiers

▪ Optimisation des performances avec MOTEUR DELTA
Delta Caching
▪ Élagage dynamique des fichiers
▪ Exécution adaptative des requêtes
Structuré, semi-structuré et
Données non structurées
Piste 36
Une plateforme pour chaque utilisation

Diffusion
Analytique
BI Données
Science
Machine
Apprentissage
Cas
Requête haute performance
MOTEUR DELTA moteur /
Transactionnel structuré
couche
Data Lake pour toutes vos données

Structuré, semi-structuré et
Données non structurées
Piste 37
Analyse SQL
/
Piste 38
Décisions basées sur les données
Cadres
Ventes
Commercialisation
Données
analystes
La finance
Opérations
Piste 39
Défis résolus par Delta Lake
Incomplet Données périmées Complexité

silos de données
/
Piste 40
Interface utilisateur SQL native
▪ Éditeur SQL familier

▪ Saisie automatique
▪ Visualisations intégrées
▪ Navigateur de données
/
Piste 41

▪ Alertes automatiques
▪ Déclenchement basé sur
valeurs
▪ E-mail ou Slack
l'intégration
Piste 42
/
Alertes automatiques
▪
▪ Déclenchement basé sur
valeurs
▪ E-mail ou Slack
l'intégration
▪ Tableaux de bord
▪ Convertissez simplement les requêtes en
tableaux de bord
▪ Partager avec accès
Contrôler
Connecteurs intégrés pour la BI existante
Piste 43
outils
▪ Prend en charge votre outil préféré

▪ Connecteurs pour les meilleurs BI et SQL
clients
▪ Configuration de connexion simple
▪ Des performances optimisées
Autres clients BI et SQL
ce soutien
▪ OAuth et authentification unique
▪ Authentification simple et rapide
vivre. Pas besoin de s'occuper
jetons d'accès.
▪ Power BI disponible maintenant
/
▪ D'autres à venir
Piste 44
Démo SQL Analytics
Piste 45
Rejoignez-nous pour la partie 2
Connectez-vous et utilisez SQL Analytics:

/
15 décembre à 10h (heure de San Francisco)

Merci d'être venu!
Piste 46
Installer &
Administration
/
Piste 47
Points de terminaison SQL
Calcul optimisé SQL

Les points de terminaison SQL offrent un moyen rapide de configuration
Calcul optimisé SQL / BI. Vous choisissez un
Taille du T-shirt. Databricks assurera
configuration qui fournit le plus haut
prix / performances.
Mise à l'échelle de la concurrence intégrée

[Aperçu privé]
Les clusters virtuels peuvent charger les requêtes d'équilibrage
à travers plusieurs clusters dans les coulisses,
offrant une concurrence illimitée.
Piste 48
Historique des requêtes
Journal des requêtes central

Suivez et comprenez l'utilisation dans le virtuel
clusters, utilisateurs et temps. Observez facilement
charges de travail dans Redash, les outils BI et tout
autre utilisation du client SQL. /
Dépanner et déboguer
L'histoire est le point de départ de
comprendre / trier les erreurs et
les problèmes de performance. Aller dans les détails
Créez un profil de requête Spark si nécessaire.
Piste 49
Performance
/
Piste 50
Performances - Durée de vie d'une requête
Databricks
Analyse SQL
Client BI et SQL ODBC / JDBC Routage Mettre en doute Mettre en doute Lac DELTA
Connecteurs Conducteurs Un service Planification Exécution
DATABRICKS CONFIDENTIEL
Piste 51
Prix / performances jusqu'à 9 fois supérieurs
Prix / performances du TPC-DS 30 To

Plus bas est
meilleurs
/
Piste 52
Agenda des cours
Activité Durée
Bienvenue au cours 5 min
Introduction à l'architecture Lakehouse 5 min
Lac Delta 10 minutes
Présentation de Databricks SQL Analytics 5 min
Démo Databricks SQL Analytics 20 min
Récapitulation et questions et réponses 15 minutes

Introduction SQL Analytics Sur L'architecture Lakehouse

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Introduction SQL Analytics Sur L'architecture Lakehouse

Transféré par

Droits d'auteur :

Formats disponibles

24/02/2021 Introduction SQL Analytics sur l'architecture Lakehouse

Introduction SQL Analytics

À propos de votre instructeur /

▪ Ingénierie des données principale

À propos de votre instructeur (personnel)

1 Décrire les principales caractéristiques d'un Data Lakehouse

2 Expliquez comment Delta Lake permet une architecture Lakehouse

Agenda des cours /

Introduction à l'architecture Lakehouse

Présentation de Databricks SQL Analytics

Démo Databricks SQL Analytics

Récapitulation et questions et réponses

Accéder aux diapositives

À propos de vous (sondages)

Introduction à l'architecture Lakehouse

Décisions basées sur les données

▪ Pas de support pour la vidéo, l'audio, le texte Entrepôts de données

▪ Pas de support pour la science des données, ML

Par conséquent, la plupart des données sont stockées dans

pourrait stocker toutes vos données

▪ Mauvaise prise en charge de la BI

Structuré, semi-structuré et non structuré

BI Rapports Données Machine Temps réel Rapports BI

ETL Data Lake

Données externes Donnée opérationnelle Structuré, semi-structuré et non structuré

Entrepôt de données Data Lake

Diffusion BI Données Machine

Structuré, semi-structuré et non structuré

1. Votre lac de données (stockage blob cloud, format open source)

b. Outils et tableaux de bord BI

L'émergence des lacs de données

Stockez tous les types de données brutes

Formats ouverts et standardisés

Les défis des lacs de données

2. La modification des données existantes est difficile

3. Les travaux échouent à mi-chemin

Les défis des lacs de données

5. Il est coûteux de conserver les versions historiques des données

6. Difficile de gérer de grandes métadonnées

Les défis des lacs de données

8. Difficile d'obtenir de bonnes performances

9. Problèmes de qualité des données

Une nouvelle norme pour la construction de lacs de données

■ Ajoute fiabilité, qualité,

entreposage et data lake

1. Difficile d'ajouter des données

2. Modification difficile des données existantes

3. Les travaux échouent à mi-chemin

4. Opérations en temps réel difficiles

5. Coûteux de conserver les versions des données historiques

6. Difficile de gérer de grandes métadonnées

7. Problèmes de «trop de fichiers»

9. Problèmes de qualité des données

1. Difficile d'ajouter des données Transactions ACID

5. Coûteux de conserver les versions des données historiques

1. Difficile d'ajouter des données Transactions ACID

5. Coûteux de conserver les versions des données historiques

- 0001.json Ajouter file2.parquet

9. Problèmes de qualité des données

1. Difficile d'ajouter des données Transactions ACID

5. Coûteux de conserver les versions des données historiques

1. Difficile d'ajouter des données Transactions ACID

5. Coûteux de conserver les versions des données historiques