¿Qué es Kafka?

Apache Kafka es una plataforma de código abierto para la transmisión distribuida de eventos que permite a las aplicaciones publicar, almacenar y suscribirse a flujos continuos de registros organizados en temas. Los productores envían registros a un tema; los consumidores los leen de forma independiente y a su propio ritmo, lo que permite desacoplar los sistemas que generan datos de los que los procesan.

Puntos clave

• Kafka es una plataforma de código abierto, distribuida, para la transmisión de eventos y la gestión de mensajes.
• Los productores publican en temas; los consumidores se suscriben y leen a su propio ritmo.
• Los registros se conservan durante un periodo de retención, de modo que los usuarios puedan volver a ver eventos pasados.
• Versa utiliza Kafka como infraestructura central para VMS, la exportación de registros de Analytics y los eventos de Director.
• Los clústeres de Kafka se amplían añadiendo brokers y particiones, no sustituyendo el hardware.

En esta página: Por qué es importante · Cómo funciona · Tipos · Kafka y Versa · Preguntas frecuentes

¿Por qué es importante Kafka?

Los sistemas modernos generan flujos continuos de datos —historiales de clics, lecturas de sensores, entradas de registro, eventos de identidad de usuario— a una velocidad superior a la que una base de datos puede asimilar en operaciones de escritura individuales. Kafka es importante porque desacopla los sistemas que producen estos datos de los que los consumen: un productor escribe un registro una sola vez, y cualquier número de consumidores independientes puede leer el mismo flujo a su propio ritmo o reproducirlo mucho tiempo después de que se haya almacenado. Esto elimina la proliferación de integraciones punto a punto que crean las colas de mensajería tradicionales, en las que cada nuevo consumidor necesita una conexión dedicada con cada productor.

Para las organizaciones que implementan flujos de datos en tiempo real —telemetría de seguridad, flotas de IoT o microservicios basados en eventos—, las garantías de durabilidad y ordenación de Kafka lo convierten en la columna vertebral por excelencia de la arquitectura basada en eventos, ya que permite escalar horizontalmente añadiendo brokers y particiones en lugar de sustituir el hardware.

¿Qué es Kafka?

Kafka organiza los datos en temas: flujos de registros con nombre a los que los productores añaden datos y de los que los consumidores extraen información. Cada tema se divide en particiones, distribuidas entre un clúster de servidores denominados «brokers»; la partición es lo que permite a Kafka escalar el rendimiento y ofrece garantías de ordenación dentro de una partición —pero no entre ellas—. Los grupos de consumidores se suscriben y leen de forma independiente, cada uno de ellos realizando un seguimiento de su propia posición de lectura (un «offset»), de modo que varias aplicaciones pueden consumir el mismo flujo sin interferir entre sí.

Los brokers replican cada partición en varios nodos, de modo que el fallo de un solo broker no provoca la pérdida de datos; además, la retención se basa en el tiempo o el tamaño, en lugar de en la eliminación tras la lectura, por lo que un nuevo consumidor puede reproducir el historial en lugar de ver únicamente los mensajes nuevos. Las conexiones pueden realizarse a través de TLS, y los clientes suelen autenticarse en los brokers mediante SASL —nombre de usuario y contraseña, SCRAM o tokens OAuth— en lugar de basarse únicamente en la confianza de la red.

Tipos de implementaciones de Kafka

Las implementaciones de Kafka suelen clasificarse en tres patrones. Los clústeres autogestionados se ejecutan íntegramente en una infraestructura controlada por el operador: los brokers se instalan en las propias instalaciones o en una nube privada, y el operador se encarga de la planificación de la capacidad, la aplicación de parches y la conmutación por error. Los servicios gestionados en la nube, como Confluent Cloud o Amazon MSK, delegan las operaciones de los brokers a un proveedor, exponiendo las mismas API de productores y consumidores sin la carga operativa. Las implementaciones multiclúster con replicación geográfica conectan dos o más clústeres de Kafka —a menudo en diferentes emplazamientos o regiones— mediante una herramienta de replicación como MirrorMaker, que replica los temas de un clúster de origen a un clúster de destino con fines de recuperación ante desastres o para diseños con múltiples centros de datos.

Esta elección afecta más a los costes operativos que al diseño de la aplicación: los productores y los consumidores utilizan las mismas API de cliente, independientemente del patrón subyacente.

Kafka y Versa

Versa utiliza Kafka como infraestructura central de mensajería para el Servicio de MensajeríVersa (VMS), el componente que distribuye datos en tiempo real —eventos de identidad de usuario, fuentes de amenazas, puntuaciones de riesgo de dispositivos e información de terminales— entre los componentes de cabecera de Versa y las pasarelas de SASE . SASE para SIM puede publicar eventos de abonados a través de Kafka como alternativa a RADIUS, y los microservicios SCIM, UEBA y XIP-EIP configuran cada uno un tema, una dirección y un puerto del broker de Kafka, así como la autenticación basada en SASL o en certificados.

Los clústeres de VMS también pueden permitir que Kafka MirrorMaker replique datos entre los nodos de VMS con fines de redundancia, un paso que requiere « Versa » antes de integrar plataformas EDR como CrowdStrike, Microsoft Defender y SentinelOne. « Versa » Analytics puede transmitir registros a un clúster externo de Kafka a modo de recopilador de registros remoto, configurando los temas y la autenticación TLS/SASL en el exportador del recopilador de registros. Por otra parte, « Versa » Director publica notificaciones de cambios en objetos y de eventos a través de Kafka para los sistemas posteriores.

Preguntas frecuentes

¿Qué es un tema de Kafka?

Un tema es un flujo de registros con nombre, en el que solo se pueden añadir datos, al que los productores escriben y del que los consumidores leen. Kafka divide cada tema en particiones para poder distribuir el almacenamiento y la carga de lectura y escritura entre varios brokers, al tiempo que mantiene el orden dentro de una misma partición.

¿Cuál es la diferencia entre Kafka y una cola de mensajes tradicional?

Una cola tradicional suele eliminar un mensaje una vez que un consumidor lo ha leído. Kafka conserva los registros durante un periodo configurable, independientemente de si se han leído o no, de modo que grupos de consumidores independientes pueden leer —y reproducir— el mismo flujo sin interferir entre sí.

¿Kafka necesita ZooKeeper?

Las versiones anteriores de Kafka dependían de un conjunto independiente de Apache ZooKeeper para los metadatos del clúster y la elección del líder. Desde que el modo KRaft de Kafka está listo para su uso en producción, los brokers gestionan esa coordinación internamente, lo que elimina la dependencia de ZooKeeper.

¿Cómo garantiza Kafka el orden de los mensajes?

Kafka solo garantiza el orden dentro de una misma partición: los registros escritos en la misma partición se leen en el orden en que se generaron. Entre particiones no hay garantía de orden, por lo que, para garantizar un orden global estricto, es necesario dirigir los registros relacionados a la misma clave de partición.

¿Cómo protege « Versa » las conexiones de Kafka a los VMS?

Versa Garantiza las conexiones de Kafka con VMS mediante un transporte cifrado con TLS y autenticación basada en certificados o SASL: las configuraciones del broker de VMS admiten los mecanismos SASL SCRAM y OAuth-bearer, además de la carga de certificados de autoridad de certificación (CA), certificados de cliente y claves privadas, los mismos controles que se utilizan en las exportaciones de registros de Analytics.

Más información sobre Kafka

Si quieres saber más, estas son algunas fuentes en las que confiamos.

Términos relacionados

Si estás leyendo sobre Kafka, te recomiendo que eches un vistazo a lo siguiente.