Kafka verabschiedet sich von ZooKeeper
Apache Kafka ist eine weitverbreitete Plattform zur Echtzeit-Datenverarbeitung und -übertragung. Traditionell war Apache Kafka auf Apache Zookeeper angewiesen, um die Verwaltung von Metadaten und die Koordination innerhalb des Clusters zu handhaben. Dennoch wurde mit den neuen Versionen von Kafka die Möglichkeit eingeführt, ein Kafka-Cluster ohne Zookeeper zu betreiben – bekannt als KRaft (Kafka Raft).
Kafka + Raft = KRaft: Die Zukunft der Metadatenverwaltung
Der Raft-Algorithmus ist ein Konsensalgorithmus, der entworfen wurde, um die Verständlichkeit und Implementierbarkeit im Vergleich zu anderen Konsensalgorithmen wie Paxos zu verbessern. Er stellt sicher, dass sich eine Gruppe von Knoten in einem verteilten System auf eine gemeinsame Wahrheit einigen kann, selbst wenn einige Knoten ausfallen oder Netzwerkprobleme auftreten. Der Raft-Algorithmus wird in verteilten Systemen verwendet, um die Konsistenz und Zuverlässigkeit von Daten zu gewährleisten.
Im Kontext von Apache Kafka mit KRaft dient der Raft-Algorithmus als Konsensmechanismus, um die Metadatenverwaltung und -koordination innerhalb eines Kafka-Clusters ohne Zookeeper durchzuführen.
Goodbye ZooKeeper: Warum Kafka sich von seiner alten Abhängigkeit verabschiedet
Apache ZooKeeper ist ein Open-Source-Server, der für hochgradig zuverlässige verteilte Koordination sorgt. Allerdings ist ZooKeeper auch eine zusätzliche Komponente, die betrieben und gewartet werden muss. Damit geht das Risiko von Betriebsproblemen einher.
Jede weitere Anwendung, die betrieben wird, erhöht die Komplexität der Systemarchitektur und erfordert zusätzliche Infrastruktur-Ressourcen wie CPU, RAM und Speicherplatz – jeder möchte ein Stück vom Kuchen abhaben.
Für Kafka bedeutet die Abhängigkeit von ZooKeeper zudem, dass jede Änderung der Metadaten eine Kommunikation mit ZooKeeper erfordert, was die Latenz erhöht.
Das Ergebnis: Mit Version 4.0 verabschiedet sich Kafka endgültig von dieser alten Abhängigkeit.
“Starting in 4.0 and later, Kafka will always run without ZooKeeper.”, wie auf dem Kafka-Blog zu lesen ist.
Vorteile für Unternehmen und Kunden
Wir bei IONOS haben Event Stream for Apache Kafka von Beginn an ohne ZooKeeper konzipiert und entwickelt.
Für das verantwortliche Team bei IONOS ist dies ein weiterer Hebel, um ein zuverlässiges und kostengünstiges Produkt anzubieten, das uns optimal auf zukünftige Entwicklungen vorbereitet.
Die Zukunft von Apache Kafka ohne ZooKeeper, aber mit mehr Leistung: Vorteile für unsere Kunden
Auf diese Weise können wir unseren Kunden die höchstmögliche Verfügbarkeit und Stabilität zusichern. Zudem sind wir künftig in der Lage, die neuesten Versionen von Apache Kafka schnell auszurollen und bereitzustellen. Wir sind bereits dabei, sicherzustellen, dass wir immer auf dem neuesten Stand sind.
Bleiben Sie dran und probieren Sie unser Managed Kafka doch einfach einmal aus!