Kafka est un système super flexible et hyper configurable: c'est autant une bénédiction qu'une malédiction.

Comment pouvez-nous nous assurer que les applications utilisent efficacement les ressources Kafka, sachant qu'une majeure partie de la configuration est effectuée côté client... si loin des yeux attentif des chers ops et architectes?

Parmi les problèmes les plus courants, citons les

• producteurs dont la taille des batch, linger est configurée de manière inefficace
• producteurs qui n'utilisent pas de compression, ou ont un ack inadéquat
• consommateurs un peu trop optimistes
• consumer groups avec plus de membres que de partitions
• création de topic sans convention de nommage, ou avec trop de partitions
• topics qui mélangent involontairement des données avec des schémas ...
• applications qui ne gèrent pas les erreurs de déserialization
• applications qui ne gèrent pas l'idempotence
• applications qui ne gèrent pas les rebalance storm
• etc.

Rejoignez-nous pour discuter de ces problèmes, mais surtout des outils qui peuvent être mis en place pour les tuer ... net!