Introduction à l'architecture temps réel

• Traitements temps réel.
• Les architectures LAMBDA.
• Les architectures KAPPA.
• Les architectures SMACK.

L'architecture Kafka

• L'aperçu de Kafka Producers, Brokers, Consumers.
• Les fichiers journaux de Kafka.
• Les schémas Avro. Utilisation de ZooKeeper.

L'architecture Apache Storm

• Définition de l'environnement de développement.
• Création de projets basés sur Storm.
• Définition des composants Storm (Spout et Bolt).
• Définition des flux Storm.
• Modèle de données (clé, valeur).
• Rôles des Nimbus et ZooKeeper.

Le traitement des messages Storm

• Programmation de services avec Clojure, Java, Python.
• Cycle de vie d'un message.
• L'API Storm pour la définition de la fiabilité.
• Stratégie de mise en place de la fiabilité pour une application utilisant le Big Data.

L'architecture d'Apache Spark

• Les différentes versions de Spark (Scala, Python, R et Java).
• Comparaison avec l'environnement Storm.
• Les différents modules de Spark.
• Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.

Le temps réel avec Spark Streaming

• Présentation des RDD.
• Créer, manipuler et réutiliser des RDD.
• Accumulateurs et variables broadcastées.
• Principe de fonctionnement.
• Les différents types de sources.
• Comparaison avec Apache Storm.

Les autres acteurs du marché

• Comparaison de tous les outils de streaming de l'écosystème (Storm, Spark Streaming, Flink, Samza).
• Focus sur l'architecture Samza.