GLS-1986 Streaming Apps Poison Pill: Comment Kafka-Streams compte faire passer la pilule | Devoxx

Streaming Apps Poison Pill: Comment Kafka-Streams compte faire passer la pilule

Conference

bigd Big Data, Machine Learning, Analytics Intermediate

Neuilly 251

Thursday 10:45 - 11:30

Kafka-Streams, la librairie de traitement de données en temps réel de Apache Kafka permet de traiter une grande quantité de messages avec de très faibles latences. Les messages peuvent avoir des formats différents, des schémas différents et même être sérialisés de manières différentes. Alors que se passe-t-il quand un message indésirable se retrouve dans un flux ? Ces applications de stream processing ne peuvent pas se permettre d’attendre une remise en route manuelle. Comment notre librairie gère donc ces événements ?

Ce talk propose d’explorer l’API StreamDSL de Kafka-Streams. Des techniques comme les sentinel values ou encore les dead letter queues y sont proposées. Voyons ensemble comment elles rendent possible la gestion des messages erronés, appelés aussi poison pills.

 Kafka    Stream Processing    Big Data - How Streaming  
Room Neuilly 251
Loïc DIVAD Loïc DIVAD

Loïc est ingénieur logiciel chez Xebia. Il intervient sur des problématiques de Data Engineering comme l’acquisition, le traitement et le stockage des données. Il travaille avec des outils comme Kafka, Spark ou encore Akka. Il est développeur Scala depuis 4 ans et participe activement au partage de connaissance via des articles, formations et talks. Passionné de systèmes distribués, il est aussi organisateur de la conférence DataXDay.