Jean-Louis Boudart

Jean-Louis Boudart

Conduktor

Jean Louis Boudart has been working as an independent Java and DevOps consultant. He has been developing, designing/building architecture, coaching developers, assisting customers to build robust and ready to use applications.

Over the last few years, he specialized in a more DevOps-focused role and helped companies to architect and deploy monitoring solutions based on real-time streaming infrastructure. He is an opensource addict, and has been involved in many projects.

Twitter : @jlboudart

Blog: https://www.conduktor.io

archisec

Track : Architecture, Performance and Security

Type de présentation : Tools-in-Action

Détectez et corrigez automatiquement les problèmes les plus fréquents avec Apache Kafka

Kafka est un système super flexible et hyper configurable: c'est autant une bénédiction qu'une malédiction.

Comment pouvez-nous nous assurer que les applications utilisent efficacement les ressources Kafka, sachant qu'une majeure partie de la configuration est effectuée côté client... si loin des yeux attentif des chers ops et architectes?

Parmi les problèmes les plus courants, citons les

  • producteurs dont la taille des batch, linger est configurée de manière inefficace
  • producteurs qui n'utilisent pas de compression, ou ont un ack inadéquat
  • consommateurs un peu trop optimistes
  • consumer groups avec plus de membres que de partitions
  • création de topic sans convention de nommage, ou avec trop de partitions
  • topics qui mélangent involontairement des données avec des schémas ...
  • applications qui ne gèrent pas les erreurs de déserialization
  • applications qui ne gèrent pas l'idempotence
  • applications qui ne gèrent pas les rebalance storm
  • etc.

Rejoignez-nous pour discuter de ces problèmes, mais surtout des outils qui peuvent être mis en place pour les tuer ... net!