Ludovic Champenois | Devoxx

Ludovic Champenois
Ludovic Champenois Twitter

From Google

Software Engineer, Google Cloud Platform, App Engine Java, Compute Engine.

Blog: https://plus.google.com/+LudovicChampenois

bigd Big Data, Machine Learning, IA & Analytics

Le monde après MapReduce, ou le traitement de données distribué en temps réel avec Google Cloud Dataflow / Apache Beam

Hands-on Labs

Comment gérer les données en provenance d'une flotte de taxis New-Yorkais vous informant de leur position en temps réel ? Comment se concentrer efficacement sur le traitement des données, plutôt que de passer du temps à déployer et gérer des serveurs ? Comment fournir des rapports financiers exacts au centime près pour la comptabilité et aussi des données temps réels pour le marketing, avec le même code ?

Les technologies de traitement de données ont fait des progrès notables ces dix dernières années, depuis MapReduce, qui fonctionnait en batch, jusqu'aux technologies modernes capables de gérer des flux de données en temps réel.

Dans ce lab, vous écrirez un pipeline de traitement en utilisant le modèle de programmation "Dataflow" sur lequel s'appuient à la fois Google Cloud Dataflow, un service de traitement "serverless" dans le cloud, et Apache Beam, sa contrepartie open source pour les déploiements internes. Vous travaillerez sur un flux de données temps réel conséquent et devrez mobiliser un cluster Dataflow pour tenir la charge.

IMPORTANT Installation à effectuer AVANT le jour du lab: https://codelabs.developers.google.com/codelabs/cloud-dataflow-nyc-taxi-tycoon/#1

TBA : To be announced / Salle non affectée