Vous êtes sur la page 1sur 40

Deploy de Modelos em Produção:

Chegou a Hora do DataOps?

Daniela Petruzalek
Development Consultant @ ThoughtWorks
Google Developer Expert
daniela.petruzalek@gmail.com
O Ministério da Saúde Adverte:

Esta talk contém uma alta densidade


de buzzwords.
Agenda
- Desafios do deploy de modelos
- DevOps
- DataOps
- Tecnologias
O Desafio de Negócio
Maturidade das Organizações em Data
Data no Mundo Ideal

Academia
P&D Modelo Tecnologia

Negócio Ciência de Dados Engenharia de Dados


Mas na Prática...
O Caminho para o ML: Vida Real

Academia
P&D Modelo Tecnologia

Negócio Ciência de Dados Engenharia de Dados

?????
O Desafio da Tecnologia
Fases de Preparação dos Modelos
MANUTENÇÃO DO MODELO

Coleta dos Análise Limpeza dos Validação do Monitoração /


Treinamento Deploy
Dados Exploratória Dados Modelo Teste AB

ESCOLHA DO MODELO
Fatores que Influenciam o Deploy

Tipo de Aprendizado
Tipo de Predição
Modelos: Small Data x Big Data
Processamento: Batch x Online (Real Time / Near-Real Time)
Target: Container x Cluster (Cloud vs On-premises)
Tipos de Deploy

https://www.quora.com/How-do-you-take-a-machine-learning-model-to-production
Débito Técnico Oculto em Machine Learning

https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
DevOps
"organizations which design systems ... are
constrained to produce designs which are copies
of the communication structures of these
organizations."
- Melvin Conway, 1967
Pontos Chave na Cultura DevOps
- CALMS:
- Culture
- Automation
- Lean Management
- Measurement
- Sharing
Princípios Básicos
- Acabar com silos
- Organização de times de operações e desenvolvimento
- Divisão de conhecimento entre times, falta de colaboração
- Acidentes são normais
- Foco na recuperação rápida e não em achar culpados
- Os erros são coletivos
Princípios Básicos
- Mudanças devem ser graduais
- Mudanças devem ser pequenas e frequentes
- Continuous Integration & Continuous Deployment
- Ferramentas e cultura estão interrelacionados
- Com ferramentas erradas e a cultura certa ainda é possível sair do
outro lado
- O oposto não é verdade
Implementações de DevOps
- SRE (Google)
- PE (Facebook)
DataOps
http://dataopsmanifesto.org/
Tecnologias
https://www.kubeflow.org/
Cloud e “Clusters Efemeros”

https://hackernoon.com/why-dataproc-googles-managed-hadoop-and-spark-offering-is-a-game-changer-9f0ed183fda3
Cloud e “Clusters Efemeros”
http://www.pachyderm.io/
Questions?

daniela.petruzalek@gmail.com
https://linkedin.com/in/petruzalek
https://twitter.com/danicat83