BTF-1420 Le monde après MapReduce, ou le traitement de données distribué en temps réel avec Google Cloud Dataflow / Apache Beam | Devoxx

Le monde après MapReduce, ou le traitement de données distribué en temps réel avec Google Cloud Dataflow / Apache Beam

Hands-on Labs

bigd Big Data, Machine Learning, IA & Analytics

Comment gérer les données en provenance d'une flotte de taxis New-Yorkais vous informant de leur position en temps réel ? Comment se concentrer efficacement sur le traitement des données, plutôt que de passer du temps à déployer et gérer des serveurs ? Comment fournir des rapports financiers exacts au centime près pour la comptabilité et aussi des données temps réels pour le marketing, avec le même code ?

Les technologies de traitement de données ont fait des progrès notables ces dix dernières années, depuis MapReduce, qui fonctionnait en batch, jusqu'aux technologies modernes capables de gérer des flux de données en temps réel.

Dans ce lab, vous écrirez un pipeline de traitement en utilisant le modèle de programmation "Dataflow" sur lequel s'appuient à la fois Google Cloud Dataflow, un service de traitement "serverless" dans le cloud, et Apache Beam, sa contrepartie open source pour les déploiements internes. Vous travaillerez sur un flux de données temps réel conséquent et devrez mobiliser un cluster Dataflow pour tenir la charge.

IMPORTANT Installation à effectuer AVANT le jour du lab: https://codelabs.developers.google.com/codelabs/cloud-dataflow-nyc-taxi-tycoon/#1

Martin Görner Martin Görner

Martin Gorner, Google Developer Relations. Martin se passionne pour la science, la technologie, l'informatique, les algorihmes et tout ce qui s'en rapproche. Après avoir obtenu son diplôme d'ingénieur à Mines Paris-Tech, Martin a commencé sa carrière dans le groupe "computer architecture" chez ST Microelectronics. Il a ensuite passé les 11 années suivantes dans le domaine naissant des livres électroniques, d'abord avec la start-up mobipocket.com, qui est ensuite devenue la partie logicielle du Kindle d'Amazon et ses versions mobiles. Il a rejoint Google en 2011.

Ludovic Champenois Ludovic Champenois

Software Engineer, Google Cloud Platform, App Engine Java, Compute Engine.

Robert Kubis Robert Kubis

Robert is a Developer Advocate for the Google Cloud Platform based in London specializing in Container, Storage and Scalable technologies. Before joining Google, Robert collected over 10 years of experience in Software Development and Architecture. He has driven multiple full-stack application developments at SAP with a passion for distributed systems, containers and databases. In his spare time he enjoys following tech trends, good restaurants, traveling and improving his photographing skills :)

More info at https://www.linkedin.com/in/kubisrobert

TBA : To be announced / Salle non affectée