Apache Kafka desde Cero: Transmisión de Datos, Productores, Consumidores y Casos de Uso en Tiempo Real

Descripción del curso:

Apache Kafka es una de las tecnologías más utilizadas en el ecosistema Big Data para la transmisión y procesamiento en tiempo real de grandes volúmenes de datos. Su arquitectura distribuida, basada en el concepto de publish-subscribe, permite construir sistemas escalables, resilientes y de alta disponibilidad.
En este curso, los participantes aprenderán a comprender el funcionamiento interno de Kafka, configurar un clúster básico, producir y consumir mensajes, e integrar Kafka con otros sistemas dentro de una arquitectura moderna de datos.

Objetivos del curso:

Al finalizar el curso, los participantes serán capaces de:

1. Comprender los fundamentos y la arquitectura interna de Apache Kafka.

2. Instalar, configurar y administrar un entorno Kafka básico.

3. Crear y gestionar topics, producers y consumers.

4. Implementar flujos de datos en tiempo real mediante producers y consumers.

5. Conocer las herramientas del ecosistema Kafka (Kafka Connect, Schema Registry, Kafka Streams).

Metodología:

Formación totalmente práctica, combinando breves explicaciones teóricas con laboratorios y ejercicios guiados en entornos reales.
El curso se imparte en modalidad online en directo, utilizando contenedores Docker para desplegar un clúster funcional de Kafka y practicar todas las operaciones.
Los participantes desarrollarán ejercicios sobre casos de uso reales: monitorización de datos, integración con bases de datos y procesamiento en streaming.

Temario:

1. Introducción a Apache Kafka 

• Qué es Kafka y para qué se utiliza

• Conceptos clave: topics, partitions, brokers, producers y consumers

• Casos de uso en arquitecturas de datos modernas

2. Arquitectura y componentes internos 

• Funcionamiento interno de Kafka

• Logs, offsets y replicación

• Tolerancia a fallos y escalabilidad

3. Instalación y configuración del entorno 

• Instalación de Kafka con Docker Compose

• Configuración de brokers y topics

• Herramientas de línea de comandos de Kafka

4. Productores y consumidores 

• Producción y consumo de mensajes

• Configuración de acks, batching y retries

• Ejemplo práctico en Python o Java

5. Kafka Connect y Schema Registry 

• Conectores fuente y sumidero (source/sink connectors)

• Integración con bases de datos y sistemas externos

• Serialización con Avro y uso de Schema Registry

6. Kafka Streams y procesamiento en tiempo real 

• Introducción al procesamiento de flujos

• Creación de aplicaciones con Kafka Streams

• Ejemplo práctico: filtrado y agregación de datos