Acumulación de lag en los consumidores
Los consumidores lentos acumulan un lag sin límite y sin avisar. Integramos el lag exporter de Prometheus, configuramos alertas de lag e implementamos el autoescalado de consumidores con KEDA.
KRaft Schema Registry MSK Preparado para SOC 2
Servicios de Apache Kafka para sistemas de producción orientados a eventos
Kafka sustenta nuestros pipelines de eventos de mayor rendimiento: el procesamiento de la telemetría de viajes de Patinetes compartidos, con miles de eventos IoT por segundo; el bus de eventos logísticos de xRouten; el event sourcing de auditoría de Loan Conveyor. MSK en AWS, Confluent Cloud y clústeres KRaft autoalojados: todos en producción con nosotros.
Entregamos ingeniería con Kafka para el event sourcing en fintech, la ingesta de IoT y telemática, los buses de eventos de microservicios y los pipelines de change data capture que conectan bases de datos con consumidores posteriores. Schema Registry protege los contratos entre productores y consumidores en cada despliegue. Kafka Connect y Debezium mueven datos entre Kafka y las bases de datos sin pipelines a medida. KRaft elimina ZooKeeper en los clústeres nuevos.
Retos
Retos de ingeniería que resolvemos
Evolución de esquemas que rompe a los consumidores
Los cambios de esquema en el productor rompen a los consumidores en versiones antiguas. Aplicamos en el CI las comprobaciones de compatibilidad BACKWARD de Schema Registry.
Particiones insuficientes
Con muy pocas particiones se limita el paralelismo de los consumidores y se crean puntos calientes. Dimensionamos las particiones según la concurrencia máxima deseada de consumidores ya en la fase de diseño.
Tormentas de rebalanceo
Los reinicios frecuentes de consumidores desencadenan rebalanceos que paralizan el procesamiento durante segundos. Ajustamos session.timeout.ms, usamos el rebalanceo cooperativo sticky y minimizamos los reinicios innecesarios de consumidores.
Complejidad de la entrega exactly-once
At-least-once con gestión de duplicados suele ser más seguro que el exactly-once transaccional. Diseñamos consumidores idempotentes con tablas de deduplicación antes de recurrir a las transacciones de Kafka.
Carga operativa de ZooKeeper
La dependencia de ZooKeeper añade un quórum aparte que operar. Migramos al modo KRaft en los clústeres nuevos y planificamos la retirada de ZooKeeper en los existentes.
Soluciones
Soluciones que desarrollamos
Buses de eventos para microservicios
Eventos de dominio publicados por los productores y consumidos por varios servicios posteriores, con DLQ, reintentos y contratos de esquema de eventos.
Change data capture
Debezium Kafka Connect captura los eventos del WAL de PostgreSQL o MySQL como topics de Kafka, para la invalidación de cachés, la sincronización de índices de búsqueda y la auditoría.
Ingesta de IoT y telemática
Flujos de sensores de alta frecuencia particionados por ID de dispositivo, consumidos por procesadores de streams y volcados en bases de datos de series temporales.
Event sourcing de auditoría en fintech
Logs de eventos inmutables para las transacciones financieras: topics compactados, productores exactly-once y grupos de consumidores de auditoría.
Pipelines de analítica
Pipelines de Kafka → S3/BigQuery/Snowflake mediante Kafka Connect S3 Sink o jobs de Flink a medida para analítica en tiempo real.
Puesta en marcha de MSK y Confluent Cloud
Kafka gestionado con Schema Registry, monitorización, alertas y autenticación IAM/SASL integrados desde el primer día.
Stack
Stack tecnológico
Apache Kafka 3.8, KRaft, Schema Registry, Kafka Connect, Debezium, ksqlDB, AWS MSK, Confluent Cloud, kafka-go, node-kafka (kafkajs), KEDA, exporter de Kafka para Prometheus.
Cumplimiento
Cumplimiento y normativa
Alineado con el RGPD · apto para SOC 2 · apto para HIPAA · PCI DSS contemplado
UE
- RGPD: residencia de datos por topic, derecho de supresión basado en la retención.
- DORA: event sourcing de auditoría.
- NIS2: requisitos de resiliencia operativa.
- DSA: registro de eventos de transparencia de la plataforma.
EE. UU.
- SOC 2: topics de logs de auditoría, control de acceso.
- HIPAA: cifrado de topics, aislamiento mediante ACL.
- PCI DSS: ACL de los topics de eventos de pago.
- GLBA: requisitos de auditoría de eventos financieros.
Comunes: TLS + SASL/SCRAM, aplicación de la compatibilidad BACKWARD de Schema Registry, SBOM para las bibliotecas cliente.
Casos
Casos de éxito seleccionados de Kafka
Movilidad · Micromovilidad
Patinetes compartidos
App de patinetes eléctricos compartidos con mapa en directo, desbloqueo por QR y monedero de viajes para iOS y Android: más de 5,000 usuarios, pensada para despliegues en EE. UU. y la UE.
Logística · Última milla · Móvil
xRouten
Refactorización y reconstrucción en Android e iOS para un operador alemán de logística de última milla: planificación de rutas multipunto, seguimiento de conductores en tiempo real y facturación en la app, en producción en la UE.
FinTech · Préstamos
Loan Conveyor
Motor de decisión de préstamos de alto rendimiento en Laravel: scoring automatizado, integración con burós de crédito y decisiones 10 veces más rápidas para prestamistas de EE. UU. y la UE.
Por qué YuSMP
Por qué los equipos eligen YuSMP para Kafka
Clústeres KRaft en producción
Operamos clústeres de Kafka con KRaft, sin ZooKeeper: el nuevo estándar para los despliegues nuevos.
Schema Registry aplicado en el CI
Cada cambio de esquema del productor pasa una comprobación de compatibilidad de Schema Registry en el CI antes del despliegue: los consumidores nunca se llevan una sorpresa.
Autoescalado de consumidores con KEDA
Los pods consumidores escalan a cero entre ráfagas y vuelven al máximo en cuestión de segundos cuando crece la profundidad de la cola: escaladores KEDA nativos de Kafka integrados en nuestra configuración estándar de EKS.
Preguntas frecuentes
Preguntas frecuentes sobre Kafka
Kafka o Redis Streams: ¿cómo se elige?
Kafka para pipelines multiconsumidor de alto rendimiento, replicación entre regiones, retención de mensajes a largo plazo y orden estricto dentro de las particiones. Redis Streams para un event sourcing ligero dentro de un único centro de datos, donde la carga operativa de Kafka no se justifica. Los topics compactados y el schema registry de Kafka lo convierten en la opción adecuada cuando los consumidores posteriores necesitan garantías de evolución de esquemas.
¿MSK, Kafka autoalojado o Confluent Cloud?
MSK (Amazon Managed Streaming for Kafka) para los equipos que ya están en AWS y quieren evitar la carga operativa de Kafka; en las versiones recientes KRaft sustituye a ZooKeeper. Confluent Cloud para los equipos que quieren schema registry, ksqlDB y monitorización sin gestionar ninguna infraestructura de Kafka. Autoalojado para entornos aislados (air-gapped) u on-premise. Operamos las tres opciones.
¿Cómo se evita que se acumule el lag de los grupos de consumidores?
La monitorización del lag con Kafka Consumer Lag Exporter en Prometheus no es negociable. Configuramos alertas con un lag de 10k mensajes en los topics críticos, implementamos consumidores con autoescalado mediante KEDA en Kubernetes y diseñamos el número de particiones para que coincida con el paralelismo máximo de los consumidores.
¿Cómo se gestiona de forma segura la evolución de esquemas?
Confluent Schema Registry con la compatibilidad BACKWARD como política por defecto: las nuevas versiones de esquema deben poder leerlas los consumidores de la versión anterior. Aplicamos las comprobaciones de compatibilidad de esquemas en el CI antes de desplegar los productores. Compatibilidad FORWARD para los casos en que los consumidores se actualizan primero.
¿Cómo se implementa la semántica exactly-once?
Transacciones de Kafka (productor idempotente + consumidor transaccional) para el exactly-once dentro de Kafka. Para el exactly-once entre sistemas (Kafka → base de datos) usamos el patrón outbox: se escribe en una tabla outbox de la base de datos dentro de la misma transacción que la operación de negocio, y un conector Kafka Connect Debezium lee los eventos CDC de esa tabla.
¿Cómo se protege Kafka en producción?
TLS en todas las conexiones con los brokers, SASL/SCRAM o mTLS para la autenticación, ACL para el acceso a los topics por grupo de consumidores y autenticación IAM de MSK en los despliegues gestionados por AWS. Acceso a schema registry controlado por subject de esquema. Auditamos las ACL de Kafka cada trimestre.
Cree sistemas orientados a eventos con ingenieros sénior de Kafka
Respuesta en 1 día hábil. NDA a petición.
Pedir propuesta
Cuéntenos algunos detalles y un consultor sénior le responderá en un día hábil.