Aurélien Vandel | Devoxx

Aurélien Vandel
Aurélien Vandel Twitter

From M.

Nosql, data processing, scala and spark fanboy. Certified as developer and admin on MongoDB.

Blog: aure.vandel@gmail.com

bigd Big Data, Machine Learning, IA & Analytics

Spark Streaming and Suicidal Tendencies

Conference

Essayer de mettre du spark streaming en production, faire des calculs savants pour avoir le bon batch intervalle, jouer sur une quinzaine de propriétés Spark plus prometteuse les unes que les autres afin que le temps de traitement moyen d'un batch soit inférieur au batch intervalle calculé, scruté la Spark UI pour essayer de constater des changements... avoir des envies de suicide car tout ça sans succès. Ce qui fait tenir l'espoir de trouver la propriété qui changera tout, se dire que ce nouveau métier de chercheur (qui ne trouve pas) offre des possibilités inattendues de reconversion professionnelles... Finalement trouver une solution et commencer à jouer avec les types complexes en SPARK SQL, c'est reparti pour des envies de suicide... spark.Cordes = interdit, spark.médicaments=interdit,spark. rasoirs=interdits!!!

TBA : To be announced / Salle non affectée