Apache Kafka – Die Österreichische Post gilt, mehr als andere KEP-Dienstleister Österreichs, als einer der zuverlässigsten Logistiker auf der sogenannten “letzten Meile”. Das liegt dabei jedoch nicht alleine an den Zusteller:innen selbst, sondern vor allem an der IT. Denn sie kann beispielsweise den Adressaten genau davon informieren, wann dessen Online-Bestellung bei diesem eintrifft oder wo sie deponiert ist, sofern die Erstzustellung an der Haustüre nicht klappt. Aber auch die Umleitung der Sendung, während die Zustellung schon läuft, steuert die IT. Die Open Source-Lösung, welche dahintersteckt, nennt sich Apache Kafka und kommt von Confluent Technologies.
Ein Artikel von HaJo Schlobach
Nur noch vereinzelt können sich Menschen noch an die Zeiten erinnern, in dem eine Brief- oder Paketzustellung gewissermaßen ein staatlicher Hoheitsakt war. Auch der Autor dieser Zeilen hier stand vor gefühlten 100 Jahren in staubigen, etwas überalterten Postfilialen in einer Menschenschlange, darauf wartend, dass sein Paket von einem etwas missmutig wirkenden Postbeamten über den Schaltertisch geschoben wird. Stempel drauf und fertig!
2011 – Als das letzte Postmonopol fiel
Doch dieser Zustand ist noch gar nicht so lange Geschichte. Das letzte Monopol der Österreichischen Post, nämlich das für Briefe, wurde nämlich erst am 1. Jänner 2011 abgeschafft. Vor dieser Liberalisierung hatten die “Gelben Füchse”, noch das alleinige Recht, bestimmte Postdienstleistungen im Land anzubieten. Mit der Abschaffung der Monopole im KEP-Bereich wurden andere Postdienstleister zugelassen, um Wettbewerb und Vielfalt in diesem Bereich zu fördern. Einer der erfolgreichsten ist – neben der Österreichischen Post – mittlerweile Amazon.
Liberalisierung und Daten, Daten, Daten
Seither durchläuft die Österreichische Post einen wahren Modernisierungsmarathon, der sich dem Endkunden nicht nur in modernisierten Filialen, sondern vor allem in komplett neuen Leistungen und Services zeigt. Diese reichen von Postboxes in den Häusern und Filialen, von wo Adressaten ihre Sendungen 24×7 abholen und abgeben können, über Frische-Lieferservices bis hin zum “einfachen” Track & Trace, um nur ein paar Wenige aufzuzählen. Ein Hauptaugenmerk liegt dabei vor allem auf dem fehlerfreien Informationsfluss vom Absender bis hin zum Adressaten und zurück – und zwar in Echtzeit. Das erscheint auf den ersten Blick trivial, aber wenn man bedenkt, dass es sich hier um Millionen Sendungen am Tag handelt (Tendenz steigend), die darüber hinaus aus der ganzen Welt kommen, dann wird ein sehr großer Schuh daraus. Dieser passt nur wenigen in Österreich tatsächlich – wie etwa der Österreichischen Post.
Liberalisierung – Die IT übernimmt das Kommando
Deswegen nimmt der Bereich der IT eine entscheidende Rolle im Business-Development der Österreichischen Post ein. Die IT ist das Rückgrat der KEP-Dienstleistung des österreichischen Marktführers. Dabei sind die Anforderungen hier in diesem Bereich rasant gewachsen, insbesondere wenn es um Big Data geht. Seit 2011 sind die Datenmengen, welche bei der Österreichischen Post generiert werden, geradezu explodiert. Und sie werden weiter rasant wachsen, auch in Hinblick auf die EU-weit geltende Datenschutz-Grundverordnung, DSVGO, aber auch in Hinblick auf die Datensicherheit.
Apache Kafka – Open-Source Lösung für Abwicklung riesiger Datenmengen
Doch wie sind explodierende Daten zu bewältigen, und das noch in Echtzeit? Bei der Österreichischen Post lag die Antwort bei Apache Kafka, wie bei einem Vortrag Michael Niessl, Head of Engineering, Logistics Systems beim österreichischen Marktführer für KEP-Dienstleistungen im Rahmen der Data in Motion Day Vienna 2023 darlegte. Bei Apache Kafka handelt es sich dabei um eine Open-Source-Streaming-Plattform, die entwickelt wurde, um große Datenströme in Echtzeit zu erfassen, zu speichern und zu verarbeiten. Ursprünglich von LinkedIn entwickelt und später als Apache-Projekt eingereicht, hat Apache Kafka schnell an Beliebtheit gewonnen und ist mittlerweile zu einem De-facto-Standard für die Verarbeitung von Big Data in Echtzeit geworden.
Apache Kafka denkt in Ereignissen
Die Grundidee hinter Apache Kafka besteht darin, dass es eine verteilte und hochskalierbare Plattform bietet, um Daten in Form von sogenannten “Events” bzw. “Ereignissen” zu verarbeiten. Das System ist darauf ausgelegt, große Datenmengen von verschiedenen Quellen zu erfassen und diese Ereignisse in Echtzeit an verschiedene Ziele zu verteilen. Hierzu gehören etwa Datenbanken, Data Warehouses, Echtzeit-Analysewerkzeuge oder eben auch die gleichzeitige Verarbeitung Zigtausender Bestellungen und Versendungen von Artikeln wie bei der Post.
Der Producer macht den Anfang
Die Hauptkomponenten von Apache Kafka sind hierbei einerseits die sogenannten Producer. Das sind die Quellen, welche “Datenereignisse” an das System senden. Hierzu zählen beispielsweise die Kunden eines Online-Shops wie etwa shoepping.at, die ihre Bestellungen im Internet aufgeben. Diese Bestellungen setzen somit ganze Ketten von Ereignissen in Gang, die schließlich beim Online-Kunden genau dann enden, wenn die bestellte Ware zugestellt wird.
Apache Kafka und seine Datenbroker
Der Server, der die Daten speichert, nennt sich im System von Apache Kafka “Broker”. Die Lösung verwendet nämlich ein dezentral verteiltes Architekturmodell, bei dem Daten in sogenannten Brokern gespeichert werden. Ein Broker ist somit, vereinfacht dargestellt, nichts anderes als ein Server, der die empfangenen Ereignisse speichert und weiterleitet, wie etwa den Online-Kunden oder die Österreichische Post selbst. Sie werden “Consumer” genannt. Consumer sind also genau die Ziele, die Datenereignisse von Apache Kafka abrufen. Diese Datenereignisse können Daten für Echtzeit-Analysen, Speicherung in Datenbanken oder andere Verarbeitungszwecke für sich nutzen. So kann der Post-Kunde beispielsweise genau verfolgen, wo sich gerade seine Sendung befindet oder wann der Voraussichtliche Liefertermin ist usw.
Das Topic bündelt die Datenströme
Eine weitere, in der Logistik sehr bekannte Komponente, ist das sogenannte Topic. Ein Topic ist ein gebündelter Datenstrom oder ein Kanal in Apache Kafka, in dem Ereignisse mit ähnlichen Eigenschaften oder Themen zusammengefasst werden. Producer senden hierbei Ereignisse an ein bestimmtes Topic, und Consumer lesen Ereignisse von den gewünschten Topics.
Apache Kafka – State of the Art-System für größte Echtzeitanwendungen
Auf diese Weise ist Apache Kafka in der Lage, eine sehr große Anzahl von Ereignissen pro Sekunde zu bewältigen. Das System in der Cloud ist daher für Echtzeitanwendungen, Streaming-Analytik, Log-Verarbeitung und andere Big-Data-Szenarien äußerst nützlich. Und da Apache Kafka eine Open-Source-Plattform ist, gibt es auch viele Tools und Integrationen von Drittanbietern, die es Unternehmen ermöglichen, das System in ihre bestehenden Infrastrukturen zu integrieren und es für spezifische Anwendungsfälle zu erweitern.
Confluent und Apache Kafka
Da Apache Kafka eine Open Source-Lösung ist, kann sie aber auch faktisch auf jeder Systemumgebung von Unternehmen mit eigener Serverarchitektur laufen. Die Österreichische Post hat sich allerdings dafür entschlossen, das System in der Cloud zu nutzen und hierfür im Rahmen eines Service Level-Aggreements den führenden Anbieter für Apache Kafka, Confluent Technologies, beauftragt. Das hat vor allem praktische Gründe, denn auf diese Weise können Unternehmen wie beispielsweise die Österreichische Post sich auf das Business-Development zugunsten der Post-Kunden konzentrieren. Zudem sprechen Themen wie Datensicherheit und Cybercrime dafür, die Daten über die Infrastruktur von Confluent bzw. auch deren Partner wie Google oder Microsoft etc. laufen zu lassen.
Österreichische Post expandiert weiter
Ob es sinnvoll ist, seine Datenströme extern oder intern zu steuern bzw. steuern zu lassen, dürfte nicht zuletzt eine strategische Entscheidung der Verantwortlichen der jeweiligen Unternehmen sein. Für die Österreichische Post jedenfalls zahlt es sich aus, mit einem Partner wie Confluent Technologies zusammenzuarbeiten, war auf dem Data in Motion Day 2023 in Wien zu erfahren. Denn einerseits können so personelle Ressourcen wie etwa in der IT für die spezifischen Aufgaben im Unternehmen eingesetzt werden.
Apache Kafka und Post-Loop
Das ist für den KEP-Dienstleister deswegen besonders wichtig, weil weitere Produkte für die Post-Kunden in der Pipeline stecken und das Unternehmen auf Expansion getrimmt ist. So ist am 20. Juli der Recycle-Service Post-Loop (wir berichteten) in Echtbetrieb gegangen, der gemeinsam mit dem ersten Kunden, dem Telekom-Anbieter “DREI” vorgestellt wurde. Es handelt sich dabei um ein Pfandsystem für Paketboxen, bei dem Kunden von DREI nicht nur in dessen Shop etwa ihre Handys bestellen können, sondern sich auch mit recyclebaren Paketen der Post liefern lassen können – gegen die Hinterlegung eines Pfandbetrages. Die Pakete können dann jederzeit in den Postfilialen wieder in den Kreislauf gebracht werden. Bei der Rückgabe bekommt der Kunde dann den Pfandbetrag gutgeschrieben und kann diesen, ähnlich wie im Suptermarkt, gutgeschrieben. Die Post rechnet damit, dass auf diese Weise eine Paketbox bis zu 30 Mal in den Umlauf gebracht werden kann.
Datensicherheit und Apache Kafka
Gleichzeitig ist so die Datensicherheit wesentlich besser gewährleitet, als wenn das Unternehmen selbst für den sicheren Datenverkehr sorgen würde. Denn gerade das Thema Datensicherheit und Cybercrime verschlingt große Mengen personeller Ressourcen, die ein Unternehmen alleine nur mit einem enormen Kostenaufwand bewältigen kann. Darum dürfte es für viele Unternehmen besser, dieses Thema den besten der Welt zu überlassen.
Wer hinter Confluent steckt
Confluent Technologies gilt in der IT-Welt als führendes Unternehmen, das sich nicht nur auf die Bereitstellung von Apache Kafka spezialisiert hat. Im Gegenteil: Confluent ist faktisch Apache Kafka, denn das Unternehmen wurde im Jahr 2014 von den Entwicklern von Apache Kafka gegründet, darunter auch Jay Kreps, Neha Narkhede und Jun Rao, also den Entwicklern, welche hinter LinkedIn stehen.
post.at | confluent.io | kafka.apache.org
Verwandte Themen
(Mehr als 120 State-of-the-Art Anwenderbeispiele aus der Intralogistik und IT finden Sie in unserer Rubrik BEST PRACTICE in blogistic.net)
(Mehr zur HJS MEDIA WORLD finden Sie hier unter hjs-media-world.at)
