Loïc DIVAD | Devoxx

Loïc DIVAD
Loïc DIVAD Twitter

From Xebia

Loïc est ingénieur logiciel chez Xebia. Il intervient sur des problématiques de Data Engineering comme l’acquisition, le traitement et le stockage des données. Il travaille avec des outils comme Kafka, Spark ou encore Akka. Il est développeur Scala depuis 4 ans et participe activement au partage de connaissance via des articles, formations et talks. Passionné de systèmes distribués, il est aussi organisateur de la conférence DataXDay.

Blog: http://blog.xebia.fr/author/ldivad/

bigd Big Data, Machine Learning, Analytics

Streaming Apps Poison Pill: Comment Kafka-Streams compte faire passer la pilule

Conference

Kafka-Streams, la librairie de traitement de données en temps réel de Apache Kafka permet de traiter une grande quantité de messages avec de très faibles latences. Les messages peuvent avoir des formats différents, des schémas différents et même être sérialisés de manières différentes. Alors que se passe-t-il quand un message indésirable se retrouve dans un flux ? Ces applications de stream processing ne peuvent pas se permettre d’attendre une remise en route manuelle. Comment notre librairie gère donc ces événements ?

Ce talk propose d’explorer l’API StreamDSL de Kafka-Streams. Des techniques comme les sentinel values ou encore les dead letter queues y sont proposées. Voyons ensemble comment elles rendent possible la gestion des messages erronés, appelés aussi poison pills.