Amazon Kinesis

Descripción

Kinesis es la familia de AWS para datos en movimiento. La diferencia con una cola es importante y se entiende mejor así: en SQS, un consumidor toma el mensaje y lo borra; en Kinesis, el evento se queda en el flujo durante el periodo de retención y varios consumidores independientes pueden leerlo, cada uno a su ritmo y desde su propia posición.

Eso permite que un mismo flujo alimente a la vez un panel en vivo, un proceso de alertas y un archivado en S3 sin que ninguno interfiera con los demás. Si un consumidor falla y se recupera, retoma desde donde iba en lugar de perder lo ocurrido.

Cómo funciona

1. Los productores —dispositivos, aplicaciones, IoT Core— escriben registros en el flujo, cada uno con su clave de partición.
2. La clave determina el fragmento, que es lo que da orden dentro de su partición y paralelismo entre partes.
3. Los consumidores leen desde su propia posición: Lambda, una aplicación propia o Firehose.
4. Firehose cubre el caso más frecuente sin escribir código: dejar el flujo en S3, Redshift u OpenSearch, con transformación opcional.
5. Pasado el periodo de retención, los registros desaparecen del flujo.

Manos a la obra

• Crea un flujo de datos bajo demanda para no tener que dimensionar fragmentos.
• Publica registros con la CLI en un bucle y observa las métricas de entrada en CloudWatch.
• Conecta una función Lambda como consumidor y escribe cada registro en los registros de la función.
• Crea un flujo de Firehose hacia S3 y comprueba los archivos que aparecen cada pocos minutos.
• Borra el flujo al terminar: es un recurso que cobra por tiempo, no por uso.

Ejemplo visual

Cuando el requisito no es «procesar cada mensaje una vez» sino «que varios sistemas vean lo mismo en tiempo real», la respuesta es un flujo y no una cola.