Formation Apache Kafka

Présentation du projet Kafka

Retour sur l’historique du projet
L’intérêt de Kafka dans le Big Data
L’architecture fonctionnelle de Kafka
Les composants du système : brokers, topics, consumers, producers
Principes de fonctionnement

Installation

Installer Kafka
Configurer les composants
Installer l’écosystème de développement de Kafka
Installer le matériel nécessaire
Effectuer des manipulations de base

Configuration et utilisation des APIs

Utiliser l’API pour les Producers
Utiliser l’API pour les Consumers
Configurer le Broker de message
Configurer les Producers et les Consumers

Mise en œuvre de Kafka

Étudier la conception des APIs et leur implémentation
Comprendre les cas d’usages et les solutions
Gérer la couche réseau et le format des messages
Gérer, administrer et compacter les Logs
Gérer le schéma de distribution des données
Effectuer les actions de base sur les topics
Gérer les Datacenters
Monitorer le système et gérer les alertes
Mise en œuvre de Zookeeper

Mise en place de la sécurité du système

Comprendre les enjeux et les principes de sécurité d’un système Kafka
Utiliser le protocole SSL/TLS pour le cryptage et l’authentification
Utiliser la couche SASL pour l’authentification
Utiliser des listes de contrôle ACL pour les autorisations
Authentifier avec Zookeeper

Aller plus loin avec Kafka

Data-stream scalable avec Kafka Connect
Utiliser Kafka Connect pour l’intégration de données
Développer des connecteurs personnalisés