Current 2025 Confluent vereint Streaming- und Batch-Daten für KI-Anwendungen

Anbieter zum Thema

Confluent Germany GmbH

PROFI Engineering Systems AG

WatchGuard Technologies GmbH

mibeca GmbH – Mike Bergmann Akademie

Auf der Kundenkonferenz Current 2025 hat Streaming-Spezialist Confluent eine Reihe Neuerungen vorgestellt, die helfen sollen, Echtzeit-Datenströme mit historischen Daten zu verbinden. Das soll etwa KI-Agenten nützen, die auf unterschiedliche Daten zugreifen wollen.

Das neue Leistungsmerkmal „Tableflow“ soll es Entwicklern und Analysten erlauben, kontinuierliche Streaming-Daten mit historischen Daten zu kombinieren, die traditionell in Batch-Prozessen verarbeitet werden. Hier treffen also zwei verschiedene Konzepte aufeinander. Der Vorteil sind Anwendungen, Services oder KI-Agenten, die in Echtzeit reagieren.

Zwei Dinge sind für Tableflow nötig: ein offenes Tabellenformat wie Apache Iceberg, das bereits unterstützt wird, und Snapshot Queries. „Snapshot Queries, eine neue Funktion in Confluent Cloud für Apache Flink, ermöglicht die gemeinsame Verarbeitung von vergangenen und aktuellen Daten, wodurch KI-Agenten und -Analysen deutlich leistungsfähiger werden. „Das sind also „Schnappschüsse“ von Echtzeitdaten, die sich auswerten lassen, die aber in einem offenen Tabellenformat vorliegen müssen. „Die Snapshots sind eine festgelegte Anzahl von Events innerhalb eines Datenstroms, die mit einem Zeitstempel versehen sind“, erläutert Kai Wähner, der CTO von Confluent. „Der Nutzer kann daher festlegen, welche Zeiträume er betrachten will und so beispielsweise einen Trend identifizieren.“

Snapshot-Abfragen sollen es Teams ermöglichen, historische und Streaming-Daten mit einem einzigen Produkt und einer einheitlichen Sprache zu vereinen. Das schaffe konsistente, intelligente Nutzererlebnisse, sowohl für analytische Zwecke als auch für den Einsatz von agentischer KI.

Integration mit Flink

Apache Flink verarbeitet ähnlich wie Apache Kafka Datenströme, hilft also Echtzeit-basierten Anwendungen. Die Integration von Apache Flink mit der Confluent Cloud schreitet nun weiter voran. Dies soll die Entwicklung von Echtzeit-Anwendungen für KI vereinfachen und beschleunigen helfen. „Data Lakes erlauben ja Batch-Verarbeitung, doch die Process Engine von Flink erledigt die Datenverarbeitung in Echtzeit“, erläutert Confluent-CTO Wähner.

Ein Beispiel: In der Betrugserkennung bei einer Bank sei es ja wenig hilfreich, erst fünf Minuten später von dem Betrug zu erfahren. Vielmehr müsse der Betrugsversuch in Echtzeit erkannt werden und mit einer Vorhersage versehen sein, der zufolge der Nutzer abgewiesen oder akzeptiert wird. „Das gleiche kann man in der Fertigung mithilfe von Sensoren erzielen oder im Einzelhandel mithilfe des aktuellen Kundenprofils, um dem Kunden ein minutenaktuelles Angebot aufs Handy zu schicken.“

Solche Prozesse würden aufgrund der vorhandenen Konnektoren mit unterschiedlichen Datenquellen über verschiedene Plattformen wie SAP, Oracle oder Salesforce hinweg funktionieren. „Aber Flink kann auch Batch-Verarbeitung“, ergänzt Wähner. „Deshalb ist es möglich, Streaming- und Batch-Prozesse aus operativen Systemen wie etwa SAP mit solchen aus analytischen Systemen wie etwa Datenbanken, Data Lakes und Business Intelligence zusammenzuführen. Das erfolgt nun in Tableflow.“ Mit anderen Worten: Nun sind neuartige Anwendungen realisierbar, die in Echtzeit reagieren, aber auch historische Daten verarbeiten.

CEO Jay Kreps bestätigte, dass KI-Agenten, die RAG (Retrieval-augmented generation) nutzen, vom Zugriff auf solche interne oder öffentliche historische Daten profitieren, weil sie auch Verläufe und Trends berücksichtigen können. Die Funktion „Flink Native Inference“ soll komplexe Arbeitsabläufe vereinfachen, weil sie erlaubt, beliebige Open-Source-KI-Modelle wie etwa ChatGPT oder Mistral AI direkt in der Confluent Cloud auszuführen. Schon bald will Confluent alle seine Angebote auf die Optionen umstellen, die die Version 4.0 von Apache Kafka bietet.

Migration als Chance für Partner

„Die meisten unserer Projekte dienen der Migration“, berichtet Wähner. „Die meisten werden von Systemintegratoren wie SVA oder MVG im SAP-Umfeld geleistet.“ Denn dort sei der Bedarf nach Digitaler Transformation derzeit sehr hoch, ebenso wie der Zeitdruck aufgrund der Wartungsfristen. Bekanntlich endet die Wartung für die ERP-Suiten von SAP im Jahr 2027, die Verlängerung ist bis 2030 gegen Aufpreis möglich.

„Confluent tritt mit seinen Partnern als Innovator und Enabler auf“, berichtet Roger Illing, VP Sales für die Region CEMEA bei Confluent. „Denn im Markt sorgen ablaufende Fristen, wie bei SAP, sowie neue Regularien wie DSGVO, DORA und NIS2 für eine erhöhte Nachfrage. Außerdem bieten wir ein besseres Preis-Leistungs-Verhältnis als bisherige Datenverarbeitungs- und Analysesysteme.“

Wie schon erwähnt, wollen immer mehr Anwender Fehler nicht mehr nur sofort feststellen, sondern ihnen auch entgegensteuern, um so beispielsweise Ausschuss auf ein Minimum zu reduzieren. „Im Manufacturing wird bei manchen Kunden bereits auf jedem Prozess KI in Echtzeit eingesetzt, nach dem Motto: Schneller merken, schneller Maßnahmen ergreifen.“ Auch für die Nachverfolgung von Fehlern und Vorfällen ist Streaming gegenüber Batch-Prozessen im Vorteil: Es geht viel schneller. Beim Stromerzeuger E.on ermöglicht beispielsweise Streaming mit KI in Echtzeit die Geschäftsmodelle der Zukunft.

Confluent will die Entwickler bei Partnern ansprechen, so etwa bei Systemintegratoren wie BearingPoint und Accenture, bei SAP-Lösungshäusern wie SVA und MSG. „Wir arbeiten eng mit Technologiepartnern wie AWS, Azure und Google Cloud Platform zusammen“, sagte Illing. So können die Confluent-Kunden die Confluent Cloud auf der Cloud ihrer Wahl betreiben. Die Cloud sei aber keine Vorbedingung für die Confluent-Nutzung, denn Confluent unterstütze die Private- und Hybrid-Cloud.

Neben SAP spiele auch Salesforce eine wichtige Rolle. Denn mit Konnektoren in Confluent kann Salesforce ETL-Prozesse durch Echtzeit-Streams ersetzen, so etwa im Einzelhandel. Der Retailer REWE etwa nutze bereits Kafka und Salesforce, sei aber kein Kunde von Confluent. „Sie sehen: Für Confluent sind Partner als Enabler von zentraler Bedeutung, denn sie erstellen und optimieren Zielsysteme und Prozesse.“

Partnerprogramme

Für die Partner sind Incentives in die verschiedenen Partnerprogramme eingebettet, insbesondere „Accelerate with Confluent“, „Build with Confluent“ und „Connect with Confluent“. Partner profitieren dort u. a. von: technischem und finanziellem Support, so etwa durch Zugang zu Experten, Finanzierungskredite (vorbehaltlich Genehmigung), gebündelte Migrationsangebote, Go-to-Market-Unterstützung, einschließlich gemeinsamer Vertriebs- und Marketingmaßnahmen zur Skalierung von Daten-Streaming-Anwendungsfällen.

Mit dem Programm „Connect with Confluent“ können Technologiepartner native Integrationen mit der Confluent Cloud entwickeln und gemeinsam mit Confluent neue Kunden erreichen. „Die Programme fokussieren sich auf schnelles Onboarding, intensive Zusammenarbeit und die Entwicklung gemeinsamer Lösungen, etwa für Echtzeit-KI-Anwendungen“, fasst Illing zusammen.

Partnererfolg

Der Systemintegrator BearingPoint hat auf der Basis von Confluent Cloud seine Energy-Grid-Lösung „Energy Control Center“ entwickelt. „Confluent Control Center, die Basis dafür, ist ein webbasiertes Tool von Confluent, das zur Überwachung, Verwaltung und Fehlerbehebung von Apache Kafka-Umgebungen dient“, erläutert Roger Illing. „Die neueste Version des Control Centers wurde auf dem Confluent Event in London gelauncht.“

„Die Übergangsphase für den Strommarkt hat zu einer Flut neuer Herausforderungen für das Hochspannungsnetzwerk geführt“, erklärten Richard Putz und Christian Edelsbrunner von der BearingPoint GmbH in ihrem Vortrag in London 2024. „Eines der wesentlichen Probleme sind die Spannungsschwankungen durch Einspeisung erneuerbarer Energien – Stichwort Dunkelflaute. Deshalb muss ein zukunftsfähiges Steuerzentrum flexibel genug sein, um den Bedarf des Strommarktes in Echtzeit decken zu können.“

Bestehende Industriesysteme könnten die Anforderungen heutiger Netzwerk-Admins nicht mehr erfüllen. Die BearingPoint-Projekte seien darauf ausgerichtet, auf diese Herausforderungen mit ausgefeilten ereignisbasierten Architekturen zu antworten, deren Kern Apache Kafka bilde. Diese Architekturen müssen komplexe Anforderungen wie etwa das Umschalten zwischen wichtigen Netzwerkgeräten oder die Kopplung hunderttausender Sensoren erfüllen.

„Wir verwendeten eine Reihe von ereignisbasierten Mustern wie SAGAs, Event Sourcing und mehr, um diese Herausforderungen zu bewältigen“, sagten Richard Putz und Christian Edelsbrunner auf ihrem Vortrag. „Zudem mussten wir die OT-Systeme via IEC- und OPCUA-Standardprotokollen mit diesem modernen Technikstapel integrieren. Manche dieser Projekte befinden sich bereits in der Erprobung und sollten 2025 mit ihren ersten Netzwerkbereichen in Dienst gestellt werden.“

(ID:50439534)