ZGV-0818 Systèmes distribués, scotch, bouts de ficelle et doigts croisés : une histoire du Streaming à Criteo | Devoxx

Systèmes distribués, scotch, bouts de ficelle et doigts croisés : une histoire du Streaming à Criteo

Conference

bigd Big Data & Analytics

Paris 241

jeudi at 16:10 - 16:55

En cinq ans, a Criteo, le volume d'événements métier – transmis, traités et importés dans un dépôt central – est passé de “un peu” à “hein, quoi, tout ça ?” (6 millions de messages/seconde dans 7 datacenters, le tout déversé dans l’un des plus gros clusters Hadoop d’Europe).

C’est pour nous l’occasion de décrire les choix successifs et l’évolution organique d’un système d’import de logs métier, allant d’une instance de MySQL à une tripotée de clusters Kafka et un peu de Mesos, en passant par du rsyslog et beaucoup de Bash.

S’occuper d’un système distribué un tantinet sollicité, c’est aussi mille raisons d'être appelé en pleine nuit, de se heurter à des limitations théoriques ou physiques, et de développer un pessimisme serein.

Toutes choses qui seront narrées à deux voix par l’architecte/codeur/barbu des origines et l’un des membres de l’équipe qui a pris la suite.

Yann Schwartz Yann Schwartz

Been around for a while, then back again. Now messing with fairly big data at Criteo.

Serge Danzanvilliers Serge Danzanvilliers

Joue avec des architectures distribuées à Criteo depuis 6 ans.