Rémy Saissy | Devoxx

Rémy Saissy
Rémy Saissy Twitter

From Critéo

DevLead of the SRE Lake Team in charge of Criteo Hadoop clusters.

Worked as a Software Engineer in a media startup on building an iOS product, as a Consultant/IT Architect focused on Agile, Big Data and other IT focused subjects and as a trainer while in consulting to deliver Hortonworks Hadoop trainings.

Blog: http://blog.remysaissy.com

bigd Big Data, Machine Learning, IA & Analytics

Hadoop sous pression — Retour sur une année d'exploitation à Criteo

Conference

En une année, le nouveau cluster Hadoop de Criteo a doublé de taille, finissant l'année à ~1080 datanodes soit ~88Po bruts. Cela en plus du cluster existant de taille équivalente en termes de datanodes.

Ce talk propose une rétrospective d'une année d'exploitation d'Hadoop sous l'angle de quelques incidents marquants et permettant de présenter comment nous assurons la stabilité de clusters Hadoop de plus de 1000 datanodes. Nous parlerons notamment : * De quelques incidents majeurs ayant mis en lumière des bugs HDFS et YARN et visibles à grande échelle * De la scalabilité du Namenode et comment nous le gérons * De l'impact de jobs sur la disponibilité du cluster ou de ses gateways de soumission et comment nous le gérons

TBA : To be announced / Salle non affectée