MIB-7503 Hadoop sous pression — Retour sur une année d'exploitation à Criteo | Devoxx

Hadoop sous pression — Retour sur une année d'exploitation à Criteo

Conference

bigd Big Data, Machine Learning, IA & Analytics
  Thursday from 12:55 til 13:40

En une année, le nouveau cluster Hadoop de Criteo a doublé de taille, finissant l'année à ~1080 datanodes soit ~88Po bruts. Cela en plus du cluster existant de taille équivalente en termes de datanodes.

Ce talk propose une rétrospective d'une année d'exploitation d'Hadoop sous l'angle de quelques incidents marquants et permettant de présenter comment nous assurons la stabilité de clusters Hadoop de plus de 1000 datanodes. Nous parlerons notamment : * De quelques incidents majeurs ayant mis en lumière des bugs HDFS et YARN et visibles à grande échelle * De la scalabilité du Namenode et comment nous le gérons * De l'impact de jobs sur la disponibilité du cluster ou de ses gateways de soumission et comment nous le gérons

Rémy Saissy Rémy Saissy

DevLead of the SRE Lake Team in charge of Criteo Hadoop clusters.

Worked as a Software Engineer in a media startup on building an iOS product, as a Consultant/IT Architect focused on Agile, Big Data and other IT focused subjects and as a trainer while in consulting to deliver Hortonworks Hadoop trainings.

TBA : To be announced / Salle non affectée