Was ist Kafka? – Code Fabrik

1- Was ist Kafka?

Kafka ist eine verteilte Platform für Event-Streaming. Es begann als interneres Projekt bei LinkedIn, wird sie heute von Firmen wie Netflix, Uber für riesige Datenströme genutzt.

2- Kafka Nachrichten (Messages)

Eine Nachricht (Message) ist die kleinste Dateneinheit. Sie besteht aus Headern, einem Key(Schlüssel) und einem Value (Wert).

3- Topics und Partitions

Nachrichten landen in einem Topic. Jede Topic ist mehrere Partitionen aufgeteilt. Daten werden lange auf der Festplatte gespeichert und sehr gut Skalierbare.

4- Verteile von Kafka

Kafka kann mehrere Produser und Consumer gleichzeitig bedienen.

5- Kafka Produser

Producer erzeugen Nachrichten, packen sie Batches und schicken sie an einen Kafka-Topic.

6- Kafka Consumer

Consumer lesen Nachrichten. Innerhalb einer Consumer-group teilen sie sich die Arbeit (Jede Partition wird von genau einem Consumer gelesen).

7- Kafka-Cluster

Ein Kafka-Cluster besteht aus mehreren Brokern. Jede Partition wird auf mehrere Broker repliziert, um hohe Verfügbarkeit und Redundanz zu gewährleisten.

8- Typische Anwendungsfälle

Log-analyse, Daten-Streaming(Echtheit Datenströme), Change Data Capture(Datenbankänderungen weiterleiten), System- und Anwendungs-Monitoring.