Kafka Streams @ Carrefour : du big data à la vitesse de l'éclair

Conference

Salle : Paris 241

Horaire : Friday 10:45 11:30

Résumé de la présentation :

Kafka Streams est LE framework de stream processing que vous devez avoir si vous voulez constituer des pipelines de traitement big data réactifs, basées sur Apache Kafka. C'est la solution qui a été choisie par Carrefour pour migrer une majorité de ses jobs big data, utilisant Spark et Hadoop on-prem, vers des environnements créés sous GCP bénéficiant de GCS, GKE et BigTable. Tirant partie de notre expérience suite à la réalisation de pipeline temps réel pour le calcul des stocks magasins et entrepôts, ainsi que la gestion des prix, le tout à l’échelle nationale, nous vous proposons un retour d’expérience sur les problèmes que nous avons rencontrés et comment nous les avons résolus en appliquant des solutions créatives. Vous verrez ainsi comment Kafka Streams nous a permis de passer de l’approche batch à l’approche stream processing / systèmes réactifs et de mettre en place des traitements performants, intégrés avec les services GCP et les services Carrefour, le tout agrémentés de tests.

bigd

Track : Big Data, Machine Learning, Analytics

Niveau de la présentation : Intermediate

Room Paris 241

François Sarradin François Sarradin

Data engineer et CTO @ Univalence, cabinet de conseil en data engineering (Spark, Kafka, Hadoop, NoSQL…). Et aussi enseignant à l’école d’ingénieur ESIPE (Université Gustave Eiffel) sur des cours de NoSQL et sur Apache Spark. Je suis passionné par les sujets d’informatique répartie et de programmation fonctionnelle. Ancien consultant Xebia, ancien consultant et knowledge manager Ippon.

Jérémy Sebayhi Jérémy Sebayhi

Data engineer et Scrum Master chez Carrefour.

J'aime concevoir et réaliser des systèmes que ce soit en spark / big query pour les pipelines offlines et particulièrement en kafka stream lorsqu'il y a besoin de réactivités.