Aktueller Channel Fokus:

Storage&DataManagement

Pipeline-Designer von Talend

Datenintegration für Otto-Normal-User

| Autor: Dr. Stefan Riedl

Es ist kein Zufall, wenn sich Domino’s Pizza per WhatsApp meldet.
Es ist kein Zufall, wenn sich Domino’s Pizza per WhatsApp meldet. (Bild: © igor_kell - stock.adobe.com)

Während Firmen wie Domino's Pizza alles aus ihren Daten rausholen, werden andernorts noch Excel-Tabellen in Selbstbauweise hin- und hergeschoben. Doch die Daten-Branche stecke in einem fundamentalen Wandel, ist man bei Talend überzeugt.

Software-Hersteller Talend hat sich auf ­Datenintegration spezialisiert und wird in diesem Umfeld laut Gartner und Forrester jeweils in den Leader-Quadranten positioniert. Das Unternehmen ist seit 2005 auf dem Markt und seither auf 1.200 Mitarbeiter angewachsen. Zuletzt belief sich das Jahresumsatzwachstum auf 38 Prozent und im Jahr 2018 wurde ein Umsatz von rund 204 Millionen US-Dollar erzielt. Nun will man bei dem Datenintegrations-Spezialisten einen „fundamentalen Wandel“ beim Data Engineering ausgemacht haben. Und dafür gebe es vier Hauptgründe, sagt Thomas Steinborn, VP Product Management: „Zunächst einmal wurde aus der Devise ‚On-Premises first‘ ein ‚Cloud first‘ in neu anstehenden Projekten.“ Außerdem wird produktseitig vom Ansatz manueller, jährlicher Anwendungs-Updates Abstand genommen, zugunsten kontinuierlich und automatisiert ausgerollter Updates. Zudem findet – so die Einschätzung des Daten-Profis – auf Verarbeitungsebene ein Wechsel von Batch-Verarbeitung hin zu Real-Time- und Streaming-Prozessen statt: „Aus dem Bauch heraus würde ich schätzen, dass unsere Kunden zu 40 Prozent auf Batch-Processing und inzwischen zu 60 Prozent auf Real-Time-Processing setzen.“

Der Pipeline-Designer schlägt in diese Kerbe

Thomas Steinborn, VP Product Management, Talend
Thomas Steinborn, VP Product Management, Talend (Bild: Talend)

Der vierte Wandel spielt im Kontext des neuen Talend-Produktes „Pipeline Designer“ eine Rolle, nämlich ein Wechsel der Zielgruppe der Tools. „Waren diese früher hauptsächlich für Integrationsspezialisten ausgelegt, kommen zunehmend Self-Service-Ansätze in den Fokus, welche auf Fachabteilungsebene angesiedelt sind“, sagt Steinborn.

Ein Beispiel für die neuen „Datengetriebenheit“ ist Domino’s Pizza – eine Daten-Company mit der Möglichkeit, Pizza zu bestellen, wenn man so will. Die 1960 gegründete Pizza-Lieferkette geht mit der Zeit. An zentraler Stelle laufen Daten der Bestellungen via Textnachrichten, Twitter, Amazon Echo et cetera zusammen. Das Unternehmen hat sich darum gekümmert, dass ihr Produkt über Smart Watches, Auto-Entertainment-Systeme und Plattformen der Sozialen Medien heraus geordert werden kann. Doch der Pizza-Dienst geht noch weiter, wie Thomas Steinborn, VP Product Management bei Talend ausführt: „Zu unseren Kunden zählt der bekannte Pizzalieferant Domino’s Pizza, der sich intern bereits als Daten-Company sieht. Wenn sich beispielsweise eine kleine Freundesgruppe immer wieder zu einer bestimmten Zeit an einem bestimmten Ort trifft und ein paar Mal dort Pizza bestellt hat, wird irgendwann automatisch nachgefragt: Wie sieht es aus – dürfen wir Euch wieder eine Pizza liefern.“

Der Vergleich von Daten mit Öl (als neuem Rohstoff) mag allein schon deswegen hinken, weil Daten kopiert werden können, während Öl verbraucht wird, aber zweifellos gilt: Intelligenter Umgang mit Daten eröffnet neue Geschäftsmodelle, wie das Beispiel „Domino’s Pizza“ zeigt.

Low-Code-Prinzip für Datenintegratoren

Daten per Low-Code-Ansatz migrieren – der Pipeline-Designer macht es möglich.
Daten per Low-Code-Ansatz migrieren – der Pipeline-Designer macht es möglich. (Bild: Talend)

Besagter „Pipeline Designer“ orientiert sich am Low-Code-Prinzip und nutzt eine grafische Entwickleroberfläche, so dass es ziemlich einfach ist, Rohdaten aus einer gegebenen Datenquelle zu mehreren Zielen zu übertragen. „Per Dashboard werden dem Anwender dabei gleich auch noch nützliche statistische Informationen über die vorliegende Datenqualität geliefert“, sagt der Vice President bei Talend. Wenn man so will, ist der Pipeline Designer eine Kampfansage gegen das vielerorts verbreitete Vorgehen, Daten über selbstgestrickte Excel-Lösungen zu übertragen, was zu vermeiden sei, da die Daten dabei nicht verifiziert sind, veraltet sein könnten oder durch die Übertragung fehlerbehaftet. „Ein paar typische Anwendungsfälle für den Pipeline Designer wären die Übertragung von Daten aus Salesforce in Amazon Redshift oder SQL et cetera oder aus einer Kafka-Datenbanklösung in einen Cloud Data Lake oder von On-Prem-Data zu Amazon Redshift oder eine Snowflake-Umgebung“, so Steinborn und führt aus: „Mit dem Pipeline-Designer ergänzen wir unseren Werkzeugkasten, der dabei hilft, Datenintegrationsaufgaben von der IT in die Fachabteilung zu verlagern.“

Talend arbeitet in dem Zusammenhang mit einem vierstufigen Datenverarbeitungsmodell, bei dem die einzelnen Phasen durch Applikationen ermöglicht werden:

  • Collect,
  • Govern,
  • Transform,
  • Share.

Produkte für jede Phase

In der Collect-Phase geht es im Prinzip darum, Rohdaten beispielsweise in einen Data Lake oder ein Data Warehouse zu laden. „Hier nutzen Kunden unsere Produkte Data Integration oder den neuen Pipeline Designer.“ Die nächste Phase ist „Govern“. Hier geht es um Aufgaben zur Compliance, wie beispielsweise eine Datenanonymisierung, wie sie im DSGVO-Kontext benötigt wird. Produktseitig spielen in dieser Phase die Applikationen Data Preparation, Data Stewardship und Data Catalog eine Rolle. In der Phase Transform geht es um die zweckmäßige Anreicherung der Daten, beispielsweise mit ergänzenden externen Daten oder mit Metadaten. „Das können Verknüpfungen von Kundendaten sein, um Daten aus einem Marketing-System mit Bestellvorgängen zusammenzubringen. Hierbei helfen unsere Produkte Data Integration und der Pipeline Designer“, erläutert der Talend-Manager.

Die letzte Phase – Share – wird produktseitig von Data Integration und API Services abgedeckt. „Hierbei werden die Daten operativen Systemen zugeführt, oder beispielsweise über Unternehmensgrenzen hinweg für Marketing-Kampagnen eingebracht, was wiederum unter Umständen mit einer Anonymisierung einher geht“, so der Vice President.

Kommentare werden geladen....

Sie wollen diesen Beitrag kommentieren? Schreiben Sie uns hier

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45910737 / Digital Transformation)