formation coaching ingnierie inter intra

Accueil > Toutes les formations > Big Data et NoSQL > Dveloppement d'applications Big Data avec Hadoop

Dveloppement d'applications Big Data avec Hadoop

Rfrence : ASQ Dure : 3 jours (21 heures)
Avec l'accroissement constant du volume de donnes analyser, les approches Big Data offrent aujourd'hui la possibilit de traiter rapidement l'information et de concevoir des applications innovantes. Documents, emails, mesures de capteurs RFID, logs de serveurs Web sont autant de sources htrognes qu'il faut savoir intgrer et valoriser grande chelle. Le dveloppement d'applications Big Data impose pour cela des connaissances approfondies en mthodes d'indexation, en compression et en patterns de programmation tels que MapReduce. Au terme de cette formation, vous saurez comment exploiter Hadoop pour collecter, stocker et traiter des donnes de formats htrognes. Vous saurez crire et excuter des requtes fonctionnant la fois sur une station de travail et sur un cluster distribu. Vous connatrez les bonnes pratiques de conception d'applications "orientes donnes" et saurez comment mettre en place des chanes de traitement robustes, intgre au systme d'information de l'entreprise.

Paris - La Dfense
Date de dbut 24/02/2014 14/04/2014 10/06/2014 18/08/2014 06/10/2014 08/12/2014 Prix (HT) 1 821,00 1 821,00 1 821,00 1 821,00 1 821,00 1 821,00

Toulouse
Date de dbut 10/03/2014 08/09/2014 Prix (HT) 1 821,00 1 821,00

Travaux pratiques :
Vous aurez disposition plusieurs jeux de donnes ainsi qu'une plateforme virtualise sur le Cloud pour mettre en oeuvre les patterns de programmation exposs en cours. Le but de l'exercice est de construire une application BigData de eReputation tape par tape. Diffrents exercices vous permettront de vous familiariser avec le systme HDFS, HBase, pour effectuer le chargement et la rplication de donnes, puis vous apprendrez implmenter des jobs MapReduce et excuter des requtes. Pour finir vous aborderez la visualisation des donnes.

Vous allez apprendre :

Crer une application exploitant les diffrents composants de l'cosystme Hadoop Mettre en oeuvre diffrents patterns de programmation distribue Utiliser MapReduce, via l'API offerte par Hadoop Identifier les algorithmes favorables une implmentation sous MapReduce et ceux ncessitant Hive ou Pig Connecter vos applications diffrentes sources de donnes, internes ou externes au cluster S'initier au Machine Learning avec Mahout Dcouvrir des solutions simples de visualisation des donnes

Mthode pdagogique :
50% de travaux pratiques

Audience :
Dveloppeurs, architectes, DevOps

Pr-requis :
Connaissances en programmation Java ou avoir suivi le cours JOD ou IJOP Connaissance d'un langage de script (JavaScript) ou avoir suivi le cours JASI Exprience du Shell et dveloppement sous Linux

Programme :
Le Big Data
Il tait une fois le Big Data Il tait une fois Hadoop Hadoop players

La dmarche Big Data

Approche agile Le Cloud Computing public ou priv pour le Big Data

Les architectures Big Data avec Hadoop

Architecture Big Data avec Hadoop Architecture Hardware Architecture GPU

La collecte des donnes

Analyse des flux de donnes Donnes structures et non-structures Les principes de l'analyse smantique La granularit de cohrence des donnes Transfert de donnes SGBD dans Hadoop Transfert des sources de donnes du Cloud dans Hadoop

Le stockage des donnes avec HBase

Base de donnes oriente colonne Patterns d'usages Installation Hive / Pig Performance, monitoring, scurit

Le stockage des donnes sur HDFS

Patterns d'usages Architecture Installation Oprations et commandes Gestion de la tolrance la panne

La fouille des donnes avec Mahout

Les principales mthodes descriptives et prdictives Transformation des formats de donnes K-Means en profondeur Organiser une chane de traitement

Visualisation des donnes

La problmatique de visualisation des donnes D3.js pour la visualisation des donnes

Le pilotage Big Data

Les acteurs et leurs rles Tests Open Data et rglementation Scurit Administration et monitoring