Jérémy Sebayhi

Jérémy Sebayhi

Carrefour

Data engineer et Scrum Master chez Carrefour.

J'aime concevoir et réaliser des systèmes que ce soit en spark / big query pour les pipelines offlines et particulièrement en kafka stream lorsqu'il y a besoin de réactivités.

bigd

Track : Big Data, Machine Learning, Analytics

Type de présentation : Conference

Kafka Streams @ Carrefour : du big data à la vitesse de l'éclair

Kafka Streams est LE framework de stream processing que vous devez avoir si vous voulez constituer des pipelines de traitement big data réactifs, basées sur Apache Kafka. C'est la solution qui a été choisie par Carrefour pour migrer une majorité de ses jobs big data, utilisant Spark et Hadoop on-prem, vers des environnements créés sous GCP bénéficiant de GCS, GKE et BigTable. Tirant partie de notre expérience suite à la réalisation de pipeline temps réel pour le calcul des stocks magasins et entrepôts, ainsi que la gestion des prix, le tout à l’échelle nationale, nous vous proposons un retour d’expérience sur les problèmes que nous avons rencontrés et comment nous les avons résolus en appliquant des solutions créatives. Vous verrez ainsi comment Kafka Streams nous a permis de passer de l’approche batch à l’approche stream processing / systèmes réactifs et de mettre en place des traitements performants, intégrés avec les services GCP et les services Carrefour, le tout agrémentés de tests.