Qu'est-ce que Kafka ?

Apache Kafka est une plateforme open source distribuée de streaming d'événements qui permet aux applications de publier, de stocker et de s'abonner à des flux continus d'enregistrements organisés en « topics ». Les producteurs écrivent des enregistrements dans un « topic » ; les consommateurs les lisent de manière indépendante et à leur propre rythme, ce qui permet de dissocier les systèmes qui génèrent les données de ceux qui les traitent.

Points clés à retenir

• Kafka est une plateforme open source distribuée dédiée à la diffusion d'événements et à la messagerie.
• Les producteurs publient des contenus sur des rubriques ; les lecteurs s'abonnent et les consultent à leur rythme.
• Les enregistrements sont conservés pendant une période de conservation, ce qui permet aux consommateurs de revoir des événements passés.
• Versa utilise Kafka comme infrastructure centrale pour VMS, l'exportation des journaux d'analyse et les événements Director.
• Les clusters Kafka évoluent en ajoutant des brokers et des partitions, et non en remplaçant le matériel.

Sur cette page : Pourquoi est-ce important ? · Comment ça marche · Types · Kafka et Versa · FAQ

Pourquoi Kafka est-il important ?

Les systèmes modernes génèrent des flux continus de données – historiques de clics, relevés de capteurs, lignes de journal, événements liés à l'identité des utilisateurs – à un rythme trop rapide pour qu'une base de données puisse les absorber en une seule opération d'écriture. Kafka est essentiel car il dissocie les systèmes produisant ces données de ceux qui les consomment : un producteur écrit un enregistrement une seule fois, et un nombre illimité de consommateurs indépendants peuvent lire ce même flux à leur propre rythme ou le relire longtemps après son enregistrement. Cela élimine la prolifération des intégrations point à point générée par les files d’attente de messagerie traditionnelles, où chaque nouveau consommateur a besoin d’une connexion dédiée vers chaque producteur.

Pour les organisations qui mettent en place des pipelines en temps réel – télémétrie de sécurité, flottes IoT ou microservices pilotés par les événements –, les garanties de durabilité et d’ordre offertes par Kafka en font une infrastructure de référence pour les architectures pilotées par les événements, permettant une évolutivité horizontale grâce à l’ajout de brokers et de partitions plutôt qu’au remplacement du matériel.

Qu'est-ce que Kafka ?

Kafka organise les données en « topics » : des flux nommés d’enregistrements auxquels les producteurs ajoutent des données et que les consommateurs lisent. Chaque topic est divisé en partitions, réparties sur un cluster de serveurs appelés « brokers » ; c’est ce partitionnement qui permet à Kafka d’adapter son débit et d’assurer le respect de l’ordre au sein d’une partition – mais pas d’une partition à l’autre. Les groupes de consommateurs s’abonnent et lisent de manière indépendante, chacun suivant sa propre position de lecture (un « offset »), ce qui permet à plusieurs applications de consommer le même flux sans interférer les unes avec les autres.

Les brokers répliquent chaque partition sur plusieurs nœuds afin qu’une défaillance d’un seul broker n’entraîne pas de perte de données ; la conservation des données est basée sur la durée ou la taille plutôt que sur une suppression à la lecture, ce qui permet à un nouveau consommateur de rejouer l’historique au lieu de ne voir que les nouveaux messages. Les connexions peuvent s’effectuer via TLS, et les clients s’authentifient généralement auprès des brokers à l’aide de SASL (nom d’utilisateur/mot de passe, SCRAM ou jetons OAuth) plutôt que de se fier uniquement à la confiance du réseau.

Types de déploiements Kafka

Les déploiements Kafka se répartissent généralement en trois modèles. Les clusters autogérés fonctionnent entièrement sur une infrastructure contrôlée par l’opérateur : les brokers sont installés sur site ou dans un cloud privé, et l’opérateur est responsable de la planification des capacités, de l’application des correctifs et de la bascule en cas de panne. Les services cloud gérés, tels que Confluent Cloud ou Amazon MSK, confient les opérations liées aux brokers à un fournisseur, tout en exposant les mêmes API de producteurs et de consommateurs sans la charge opérationnelle associée. Les déploiements multi-clusters avec réplication géographique relient deux clusters Kafka ou plus – souvent situés sur des sites ou dans des régions différents – à l’aide d’un outil de réplication tel que MirrorMaker, qui réplique les sujets d’un cluster source vers un cluster de destination à des fins de reprise après sinistre ou dans le cadre d’architectures multi-centres de données.

Ce choix a davantage d'impact sur les coûts d'exploitation que sur la conception de l'application : les producteurs et les consommateurs utilisent les mêmes API client, quel que soit le modèle sous-jacent.

Kafka & Versa

Versa utilise Kafka comme infrastructure de messagerie pour le service de messagerie «Versa » (VMS), le composant chargé de distribuer les données en temps réel – événements liés à l’identité des utilisateurs, flux d’alertes sur les menaces, scores de risque des appareils et informations sur les terminaux – entre les composants de tête de réseau d’ Versa et les passerelles d’ SASE . SASE pour SIM peut publier des événements d’abonnés via Kafka comme alternative à RADIUS, et les microservices SCIM, UEBA et XIP-EIP configurent chacun un sujet, une adresse et un port de broker Kafka, ainsi qu’une authentification SASL ou basée sur un certificat.

Les clusters VMS peuvent également permettre à Kafka MirrorMaker de répliquer des données entre les nœuds VMS à des fins de redondance, une étape requise par l’ Versa e avant l’intégration de plateformes EDR telles que CrowdStrike, Microsoft Defender et SentinelOne. Versa Analytics peut transmettre des journaux en continu vers un cluster Kafka externe en tant que collecteur de journaux distant, en configurant les sujets et l’authentification TLS/SASL sur l’exportateur du collecteur de journaux. Par ailleurs, Versa Director publie des notifications de modification d’objets et d’événements via Kafka à l’intention des systèmes en aval.

Questions fréquentes

Qu'est-ce qu'un sujet Kafka ?

Un sujet est un flux d'enregistrements nommé, à ajout uniquement, dans lequel les producteurs écrivent et que les consommateurs lisent. Kafka divise chaque sujet en partitions afin de répartir le stockage et la charge de lecture/écriture entre plusieurs brokers, tout en préservant l'ordre au sein d'une même partition.

Quelle est la différence entre Kafka et une file d'attente de messages classique ?

Dans une file d'attente classique, un message est généralement supprimé dès qu'un consommateur l'a lu. Kafka conserve les enregistrements pendant une durée configurable, qu'ils aient été lus ou non, ce qui permet à des groupes de consommateurs indépendants de lire – et de relire – le même flux sans s'influencer mutuellement.

Kafka a-t-il besoin de ZooKeeper ?

Les anciennes versions de Kafka s'appuyaient sur un ensemble Apache ZooKeeper distinct pour les métadonnées du cluster et l'élection du leader. Depuis que le mode KRaft de Kafka est prêt pour la production, les brokers gèrent cette coordination en interne, ce qui supprime la dépendance à ZooKeeper.

Comment Kafka garantit-il l'ordre des messages ?

Kafka ne garantit l'ordre qu'au sein d'une même partition : les enregistrements écrits dans une même partition sont relus dans l'ordre dans lequel ils ont été produits. D'une partition à l'autre, il n'y a aucune garantie d'ordre ; par conséquent, pour obtenir un ordre global strict, il faut acheminer les enregistrements liés vers la même clé de partition.

Comment Versa sécurise-t-il les connexions Kafka vers les machines virtuelles (VMS) ?

Versa sécurise les connexions Kafka vers VMS grâce à un transport chiffré par TLS et à une authentification par certificat ou SASL – les configurations des brokers VMS prennent en charge les mécanismes SASL SCRAM et OAuth-bearer, ainsi que les certificats d'autorité de certification (CA), les certificats clients et le téléchargement de clés privées, soit les mêmes contrôles que ceux utilisés pour les exportations de journaux Analytics.

En savoir plus sur Kafka

Si vous souhaitez en savoir plus, voici des sources auxquelles nous faisons confiance.

Termes associés

Si vous vous intéressez à Kafka, voici quelques ouvrages qui méritent d'être consultés ensuite.