Simon Dumas
From ebiznext
Développeur depuis 8 ans, je découvre les joies du Scala et de son écosystème depuis un peu plus d'un an. Data engineer chez Ebiznext.
Big Data, Machine Learning, IA & Analytics
Hands-on Kafka Streams
Fred CECILIA
Hayssam Saleh
Valentin Kasas
Apache Kafka introduit deux librairies Java d'ingestion, de processing et d'export : Kafka Streams et Kafka Connect. Dans ce Hands'on nous verrons comment Kafka Connect nous permet d'ingérer et d'exporter des données sans écrire de code et comment les abstractions offertes par le DSL KafkaStreams nous permettent de réaliser facilement des pipelines temps réel.
Les participants verront comment avec Kafka Streams on peut : - Composer des microservices de streaming faiblement couplés - Agréger en continu les topics Kafka, entre eux et avec des référentiels externes. - Produire une architecture élastique qui évolue avec le volume de messages - Connecter sans coder les streams à des sources et destinations multiples (JDBC / Fichiers logs / HDFS / Elasticsearch).
Les exemples seront illustrés en Java et Scala.
Pré-requis:
- Docker avec l'image landoop/fast-data-dev
- Java 8
- Maven