Il était une fois Kafka sur Pulsar

Conference

bigd

Track : Big Data, Machine Learning, Analytics

Niveau de la présentation : Intermédiaire

Salle : Neuilly 252 AB

Horaire : vendredi 16:15 17:00

Résumé de la présentation :

Apache Pulsar est un système de messagerie pub-sub distribué et open source. Il offre de nombreux avantages par rapport à Kafka, tels que le multi-tenant, la géo-réplication, le stockage découplé ou encore le SQL et FaaS directement intégrées. La seule chose qui manque pour une large adoption est le support du standard de-facto pour le streaming: Kafka. Et c'est ainsi que notre histoire commence.

Dans ce talk, nous vous raconterons notre parcours pour construire Kafka On Pulsar. Pour construire notre plateforme de topic managé, nous avions besoin de ce support. On s’est d’abord lancé dans l’écriture d’un proxy en Rust capable de transformer le protocole Kafka vers celui de Pulsar à la volée. Mais lorsque nous avons appris que l’équipe en charge de Pulsar travaillait sur le même sujet, nous avons décidé de les rejoindre 🤝

A la fin de ce talk, vous saurez plus de choses sur le fonctionnement interne de Kafka et de Pulsar. Vous aurez également un retour d’expérience sur l’écriture d’un proxy maison de streaming Rust. Mais surtout sur comment passer d’un développement interne à travailler avec les mainteneurs d’un projet open-source et intégrer la communauté.

Salle Neuilly 252 AB

Steven Le Roux Steven Le Roux

Steven is engineer at ovh.com.

He worked on the in-house AntiDDoS detection system bringing significant improvements from specialized appliances. Then he led a data team to build the Data infrastructure, mixing Hadoop Pig & Flink in a lambda fashion pipeline, which has become the main trusted data source for BI and internal needs. Then, he embraced a new challenge by leading the Metrics Data Platform product development, from product ownership to marketing and business modeling, then enlarged the scope to all Data Platforms products. He founded the Principal Engineer Community, with and is now working with a focus on the PaaS strategy (Kubernetes & Containers Service, Observability and Stores APIs).

Pierre Zemb Pierre Zemb

Pierre is a Software Engineer building data infrastructure at Clever Cloud. He has built and operated a variety of stateful distributed systems throughout his career.

He is interested in distributed systems, data stores, understanding how things works under the hood. He enjoy being part of open-source communities, through talks, posts, and contributions to HBase, Kafka, Pulsar, ETCD, FoundationDB.