La Plateforme DataOps

pour simplifier, accélérer et fiabiliser

la mise en production de vos projets

Saagie est une plateforme DataOps dédiée aux Data Engineers
Pourquoi les Data Engineers?
Data scientists, engineers, analysts… On pourrait penser
que monter son équipe - ou son data lab pour les plus
aguerris - consiste à rassembler des profils dont le mot
“data” figure au descriptif de poste, à commencer par le
plus connu, le data scientist. Mais imaginez que vous
souhaitiez démarrer une écurie de F1, est-ce que votre
première embauche serait le pilote ? Non, et vous auriez
raison. Vous opteriez sûrement pour l’ingénieur qui
concevra la meilleure voiture : voilà le rôle du Data
Engineer.
Le Data Engineer est le garant de la chaîne de production
de la donnée, de son extraction à sa visualisation.
Saagie permet aux data engineers de simplifier,
d’accélérer et de fiabiliser la mise en production de
n’importe quel projet data.
| Positionnement
Pourquoi choisir Saagie ?
Gartner estime que monter soi-même sa plateforme data
prend entre 12 et 18 mois. Votre équipe a déjà des outils
préférentiels, des technologies sur lesquelles ils ont été
formés et apprécient de travailler. Ne perdez pas votre
temps précieux à chercher les outils qui répondront à
leurs attentes dans un marché data fragmenté et en
évolution quotidienne, à les assembler et à les intégrer à
votre architecture en place. Notre plateforme DataOps
est conçue pour s’adapter à votre infrastructure, est
totalement infogérée et correspondra à vos exigences de
sécurité.
Par dessus tout, Saagie intègre et orchestre les
standards du marché pour permettre à vos équipes de
démarrer le plus vite possible, qu’ils soient open source
ou propriétaires.
Pourquoi adopter le DataOps?
Gérer un projet data implique de nombreuses interactions
et itérations entre vos équipes, sans parler du fait qu’il
faudra jongler entre les technologies préférées des uns et
des autres et de leurs versions. C’est là qu’entre en jeu le
DataOps : annoncé comme le successeur logique du
DevOps pour les projets data, le DataOps est une
approche technologique et organisationnelle qui a pour
but de fluidifier le déploiement des projets.
Grâce à la plateforme DataOps, reprenez le contrôle sur
vos initiatives : créez et isolez vos projets, montez et
exécutez des pipelines automatisés et profitez de
multiples environnements pour explorer,
expérimenter et déployer en production. Saagie vous
permet ainsi de gérer l’ensemble du cycle de vie de la
donnée tout en répondant à des critères de production, de
traçabilité et de sécurité.
 | Proposition de valeur
La plateforme DataOps pour simplifier, accélérer et fiabiliser la mise en production de vos projets

Simplifier l’accès au technologies

Construire soi-même sa propre plateforme peut sembler attractif : les Ops peuvent garder la
main dessus, les équipes data peuvent la faire customiser pour répondre à leurs besoins.
Mais en réalité, une telle stack est difficile à configurer et maintenir dans le temps. Nous
mettons à votre disposition une plateforme prête à l’emploi qui rassemble et orchestre les
références du marché afin d’offrir un point d’entrée unique au meilleur de l’écosystème data.
Le tout est infogéré afin de leur permettre de se concentrer sur ce qui leur apporte de la
valeur et non plus sur la configuration ou la maintenance de l’outil qui le permet.

Accélérer la mise en production

Saagie est une plateforme conçue pour la production afin que vos projets tournent aussi
bien une fois déployés en production qu'ils le faisaient en phase exploratoire. Il vous suffit
de créer un projet, de choisir les technologies adaptées, de lancer vos traitements et de les
orchestrer en pipelines automatisés. Vous pouvez ensuite reproduire ces jobs et pipelines et
les promouvoir d’un environnement à l’autre. Plus simplement, nous vous donnons les
moyens de mettre en place une chaîne de production entièrement automatisée qu’il vous
sera possible de répliquer pour vos futurs projets.

Fiabiliser la gestion des projets

Chez Saagie, nous tâchons de faire rimer performance et sécurité. Nous orchestrons les
technologies qui vous permettront de gérer l’ensemble du cycle de vie de la donnée et nous
ajoutons à cela les fonctionnalités afin de tracer et de superviser chaque étape de ce cycle.
Vous pouvez ainsi isoler vos projets, en gérer les accès, superviser les statuts de vos jobs
mais aussi centraliser et stocker les logs pour suivre votre activité. Notre plateforme est
robuste et simplifie la configuration et la maintenance gérées par les Ops. Et une fois vos
projets en production, ils peuvent ainsi se concentrer sur l’amélioration continue de la
sécurité et de la performance de vos flux de données.

Sur les deux dernières années, seuls 53%
des POCs ont atteint la mise en
production, et ce en 9 mois en moyenne.
Gartner, 2020
Trois équipes sont directement impliquées dans un
projet data mais se retrouvent souvent bloquées par
une organisation en silos et des intérêts
divergents. Les métiers ont besoin de résultats
rapides, les équipes data d'agilité, et les ops de
contrôle sur leur architecture en place.
Les acteurs impliqués dans les projets data ont
tendance à négliger la mise en place de processus
alors même que l'automatisation et le monitoring ont
fait leur preuve. Selon Gartner, une entreprise sur trois
pointe pourtant du doigt le manque de pratiques
DevOps en cause principale de l'échec de leur projet.
Les équipes ont besoin de technologies prêtes à
l'emploi et orchestrées afin de gérer l'ensemble du
cycle d'un projet : extraction, préparation, traitement et
exposition. 45% des entreprises ont indiqué leur
choix technologique comme premier frein au
déploiement de leur projet.
Les projets data sont des processus dynamiques qui
évoluent continuellement en fonction des données,
des personnes impliquées et des technologies
intégrées.
Le DataOps, successeur logique du DevOps dans
les monde des données, est une approche agile qui
a pour but de fluidifier le déploiement des projets.
| Qu'est-ce que le DataOps ?
Le DevOps repose sur deux concepts fondamentaux :
L’intégration continue consiste à construire,
intégrer et tester de nouveaux codes de façon
répétée et automatisée. Cette méthode permet
d’identifier et de résoudre rapidement les
potentiels problèmes.
Le déploiement continu automatise le
déploiement ou la livraison de logiciels. Une fois
qu’une application a passé l’ensemble des tests de
qualification, le DevOps permet son passage en
production.
l’approche DevOps permet l’alignement entre les
équipes de développement / exploitation et
l’automatisation de chacune des étapes de la
création d’un logiciel, de son développement à son
déploiement, jusqu’à son administration.
Plus concrètement, même si le DevOps offre
automatisation, agilité et efficacité, son intérêt est
limité lorsqu’il s’agit de créer des applications qui
traitent et analysent les données de façon
continue. L’un des aspects particuliers lié aux projets
Data & Analytics consiste à construire et maintenir un
pipeline de données (ou flux de données).
Le DataOps, Gartner le définit comme " une pratique
collaborative de gestion des données axée sur
l’amélioration de la communication, l’intégration et
l’automatisation des flux de données entre les métiers
de données et les consommateurs de données ".
Son but est d'opérationnaliser les processus
analytiques en tirant parti d'un large et divers
écosystème Big Data et des compétences des profils
concernés.
L'approche DataOps repose sur trois piliers qui sont :
L'orchestration par la conteneurisation, la mise à
l'échelle / répartition avancée de la charge, la
création de jobs et pipelines de données ou
encore les modes batch / streaming.
L'agilité grâce à l'implémentation de méthodes
agiles, la reproductibilité des jobs et pipelines, le
versioning, le rollback et la portabilité entre
environnements.
Le contrôle par un certain niveau de traçabilité, le
monitoring, la centralisation des logs, l'isolation
réseau et la gestion de la sécurité.
 | La Plateforme DataOps
| Features
Contrôle pour les Ops
Assurez sécurité et performance avec la Plateforme DataOps
Tirez parti d'un cluster pré-configuré dont la maintenance et la mise à
jour sont automatisées et basé sur les standards d'orchestration
Docker et Kubernetes ;
Travaillez sur un data lake compatible avec Kerberos ;
Contrôlez l'accès aux données :
la gestion des accès utilisateurs par groupe et profil ;
les autorisations Sentry ;
la protection des datasets.
Isolez les projets et améliorez la traçabilité par :
Agilité pour les équipes data la centralisation et l'historique des logs ;
Travaillez en toute autonomie avec la Plateforme DataOps la possibilité de les transférer vers un gestionnaire de logs (ELK,
Splunk, CloudWatch) ;
Démarrez votre projet dès maintenant sur un cluster de
les notifications de statut des jobs et pipelines.
traitement pré-configuré ;
Ordonnancez vos jobs dans Saagie ou au travers d’un ordonnanceur
Créez des projets et assignez des utilisateurs de votre équipe ;
externe ($U, Control-M, Tivoli/Websphere Workload Scheduler) et
Collaborez dans un environnement isolé et sécurisé, pour chacun
supervisez leurs statuts (via UI ou API).
de vos projets ;
Créez des jobs afin de gérer l'ensemble du cycle de vie de la
donnée, de son extraction à son exposition ;
Sélectionnez la technologie de votre choix pour chacune des étapes :
extraction, préparation, traitement, exposition ;
Concevez et exécutez des pipelines multi-frameworks automatisés ;
Intégrez Saagie à vos pipelines de CI/CD par des plugins et APIs ;
Rendez vos travaux reproductibles : exécutez vos jobs de
processing de l’exploration à la production ;
Supervisez les statuts de jobs (par auteur ou catégorie), les logs, les
instances et historiques de versions ainsi que les ressources
allouées.
 | Les technologies orchestrées
Technologies supportées Concevez et exécutez des Catalogue d'applications
pipelines automatisés

Python Java R Studio Jupyter

2.7, 3.5, 3.6, 3.7 7, 8, 11

Zeppelin Nifi
Spark Sqoop
2.4, 3.0 1.4.6

Sélectionnez vos technologies

Démarrez immédiatement en assemblant des
frameworks prêts à l’emploi et leurs différentes
versions venant du monde commercial et open Grafana Kibana
R Bash source.

3.4.4, 3.5.3, 3.6.2, Debian9 stretch Rendez vos travaux reproductibles Technologies externes
3.6.3, 4.0 AWS, Azure, GCP Remplissez des critères de production grâce à nos Ajoutez les technologies que vous souhaitez grâce
capacités de conteneurisation et exécutez vos jobs au Kit de Développement technologique de
de traitement de l’exploration à la production. Saagie (SDK). Packagez vos technologies,
applications et leurs dépendances et librairies dans
Lancez vos jobs en pipelines des images Docker afin de créer vos propres
Construisez des flux pour exécuter vos jobs d’ETL, de contextes d'exécution. Exécutez vos jobs et apps
Docker Talend pré-processing et de processing et gérez le cycle de directement au sein de Saagie, sur notre cluster
vie de la donnée grâce au versioning et aux logs. Kubernetes.