Accélérez vos traitements de données Spark avec un GPU

Tools-in-Action

bigd

Track : Big Data, Machine Learning, Analytics

Niveau de la présentation : beginner/novice

Horaire : Thursday 17:30 18:00

Résumé de la présentation :

Les cartes graphiques sont connues pour être très utiles dans l'apprentissage des réseaux de neurones et le minage de crypto-monnaies mais saviez-vous que vous pouvez également les utiliser pour accélérer vos traitements ETL classiques ?

Spark RAPIDS est un plugin Spark développé par Nvidia et disponible sur les principales plate-formes de cloud public comme AWS EMR, permettant d'utiliser une carte graphique pour accélérer tous les traitements s'appuyant sur les Dataframes.

Dans cette présentation, nous répondrons aux questions suivantes:

  • Quelles sont les fonctionnalités de ce plugin ?
  • Comment l'intégrer dans vos jobs Spark ?
  • Quels gains peut-on obtenir sur des traitements ETL de production ?
  • Quelles difficultés d'exploitation peut-on rencontrer ?

Room name is available few days before the conference.

Raphaël Luta Raphaël Luta

Raphaël est un consultant technique indépendant, spécialiste des aspects opérationnels (sécurité et performance) des systèmes et applications.

Passionné par les données, il développe également pour ses clients des systèmes de traitement et de visualisation de données en s'appuyant sur les outils tels que Spark, Vert.x ou D3.js/Vega.js.

Javaiste depuis les premières bétas et membre de la fondation Apache depuis plus de 10 ans, il a contribué à plusieurs projets Apache Jakarta.