Programmation Scala et traitement distribué des données avec Spark

Objectifs

À l'issue de la formation, l'apprenant sera capable de :

• maîtriser la syntaxe Scala et les principales structures de données 


• développer des programmes utilisant les fonctions anonymes et le pattern matching 


• comprendre l'architecture et le fonctionnement de Spark 


• manipuler des données distribuées via les RDD, DataFrames et Spark SQL 


• concevoir des applications Spark complètes et exploitables 


• mettre en œuvre des pipelines de Machine Learning avec Spark 


• traiter des flux de données en temps réel 


• analyser des graphes de données 


• optimiser les performances et les ressources des applications Spark

Description

Fondements de Scala pour Spark

Maîtriser la syntaxe Scala et les structures de données

Utiliser les fonctions anonymes et le pattern matching

Introduction à Apache Spark

Comprendre les concepts de base de Spark

Installer et configurer Spark


?Spark et RDD

Comprendre le modèle RDD

Appliquer les transformations et actions


?Création d'applications Spark

Développer des applications Spark complète


?Spark SQL et DataFrames

Manipuler des données structurées

Optimiser les requêtes SQL

Machine Learning avec Spark MLlib

Construire des pipelines ML

Évaluer les modèles


?Spark Streaming

Traiter des flux temps réel

GraphX pour l'analyse de graphes

Modéliser et analyser des graphes


?Optimisation des performances dans Spark

Identifier les goulots d'étranglement

Appliquer les techniques d'optimisation

Conditions d'accès

Maitriser les bases de la programmation (variables, conditions, boucles, fonctions/POO), etre a l aise avec la manipulation de donnees simples (CSV/JSON) et disposer d une familiarite avec un environnement de developpement (IDE + ligne de commande).