Grundlagen der Datenintegration

Was ist Datenintegration und warum ist sie notwendig?

Die Herausforderung der Datenvielfalt

In der heutigen Geschäftswelt sind Daten allgegenwärtig und stammen aus unzähligen Quellen: Kund:innendatenbanken (oft strukturierte Daten), Social-Media-Feeds (semi-strukturierte Daten wie JSON oder XML), Sensordaten aus Produktionsanlagen oder E-Mail-Kommunikation (unstrukturierte Daten). Diese Daten liegen oft in unterschiedlichen Formaten und Systemen vor, was eine einheitliche Nutzung erschwert. Die Notwendigkeit der Datenintegration ergibt sich genau aus dieser Herausforderung: Wie können wir diese heterogenen Datenquellen so zusammenführen, dass ein vollständiges, konsistentes und aussagekräftiges Gesamtbild entsteht? Ohne Datenintegration bleiben wertvolle Informationen in isolierten "Datensilos" gefangen, was zu ineffizienten Geschäftsprozessen, redundanter Datenhaltung und verpassten strategischen Chancen führt.

Stell dir vor, du arbeitest für einen Online-Shop. Kund:innendaten werden im CRM-System gespeichert (z.B. Name, Adresse), Bestelldaten im ERP-System (z.B. gekaufte Artikel, Bestelldatum) und Produktbewertungen direkt auf der Webseite (oft als Text). Ohne Datenintegration wäre es extrem aufwendig, personalisierte Produktempfehlungen basierend auf früheren Käufen und positiven Bewertungen ähnlicher Kund:innen zu geben oder den Service optimal zu gestalten, da die Informationen verstreut sind.

Die Ziele der Datenintegration

Die Datenintegration verfolgt mehrere wichtige Ziele, um den Wert der vorhandenen Daten zu maximieren:

• Einheitliche Sicht schaffen: Das Hauptziel ist es, Informationen aus verschiedenen Quellen so zu kombinieren, dass eine konsolidierte und umfassende Sicht auf relevante Geschäftsbereiche entsteht. Für den Online-Shop bedeutet das, ein 360-Grad-Bild der Kund:innen zu erhalten.
• Datenqualität verbessern: Durch das Zusammenführen können Inkonsistenzen (z.B. unterschiedliche Schreibweisen eines Namens), Redundanzen (mehrfach gespeicherte identische Informationen) und Fehler in den Daten identifiziert und bereinigt werden.
• Geschäftsprozesse unterstützen: Integrierte Daten erleichtern den schnellen und zuverlässigen Zugriff auf alle relevanten Informationen, was wiederum effizientere und fundiertere Abläufe ermöglicht, z.B. im Marketing oder im Supply-Chain-Management.
• Datenanalysen ermöglichen: Erst durch die Integration von Daten aus verschiedenen Kontexten können tiefgreifende Analysen durchgeführt werden, um Trends zu erkennen, Prognosen zu erstellen und datengestützte Entscheidungen zu treffen.

Die Berücksichtigung der Datenherkunft (Provenienz) und Datenklassifikation spielt dabei eine wichtige Rolle. So stellt die Kenntnis der Datenherkunft sicher, dass nur vertrauenswürdige Quellen integriert werden, während die Klassifikation hilft, sensible Daten auch nach der Integration gemäß ihrem Schutzbedarf (z.B. nach DSGVO) zu behandeln und die Vertrauenswürdigkeit sowie Sicherheit der integrierten Daten zu gewährleisten.

Wie funktioniert Datenintegration in der Praxis?

ETL: Extract, Transform, Load

ETL ist ein etablierter Ansatz zur Datenintegration, der aus drei Schritten besteht:

• Extract (Extrahieren): Daten werden aus den verschiedenen Quellsystemen (z.B. Datenbanken, CRM-Systemen, Flat-Files) ausgelesen.
• Transform (Transformieren): Die extrahierten Daten werden bereinigt, validiert, in ein einheitliches Format gebracht, gegebenenfalls angereichert oder aggregiert. Hier findet die eigentliche "Harmonisierung" statt, um die Daten für das Zielsystem vorzubereiten.
• Load (Laden): Die transformierten Daten werden in ein Zielsystem geladen, typischerweise ein Data Warehouse oder ein Data Mart, wo sie für Analysen und Berichte zur Verfügung stehen.

Ein Einzelhandelsunternehmen könnte beispielsweise täglich Verkaufsdaten (Extract) aus seinen Filialkassensystemen ziehen, diese um Produktinformationen aus dem Warenwirtschaftssystem anreichern und Währungen umrechnen (Transform), um sie dann in ein zentrales Data Warehouse für Verkaufsanalysen zu laden (Load). ETL-Prozesse eignen sich besonders gut für strukturierte Daten und Szenarien, in denen regelmäßige, batch-orientierte Aktualisierungen ausreichen.

ELT: Extract, Load, Transform

ELT ist eine moderne Variante des ETL-Ansatzes, bei der die Reihenfolge der letzten beiden Schritte vertauscht wird:

• Extract (Extrahieren): Daten werden aus den Quellsystemen ausgelesen.
• Load (Laden): Die Rohdaten werden direkt und oft unverändert in das Zielsystem geladen, häufig ein Data Lake oder eine Cloud-Datenbank mit hoher Verarbeitungskapazität.
• Transform (Transformieren): Die Transformation der Daten erfolgt erst innerhalb des Zielsystems, oft flexibel und bedarfsgesteuert, je nach den Anforderungen der jeweiligen Analyse oder Anwendung.

Ein Social-Media-Analyse-Tool könnte Rohdaten von verschiedenen Plattformen (Extract) direkt in einen Data Lake laden (Load) und erst dort, je nach Analysebedarf, spezifische Transformationen durchführen (Transform), um beispielsweise Stimmungstrends oder Nutzendeninteraktionen zu untersuchen. ELT ist besonders vorteilhaft bei sehr großen Datenmengen (Big Data) und wenn die genauen Transformationsanforderungen nicht von vornherein feststehen, da die leistungsfähigen Verarbeitungskapazitäten moderner Zielsysteme genutzt werden können.

Datenvirtualisierung

Die Datenvirtualisierung bietet einen alternativen Ansatz, bei dem die Daten nicht physisch verschoben oder kopiert werden. Stattdessen wird eine virtuelle Datenschicht geschaffen, die einen einheitlichen Zugriff auf die Daten in ihren ursprünglichen Quellsystemen ermöglicht.

• Funktionsweise: Die Daten bleiben an ihrem Ursprungsort. Eine Virtualisierungssoftware greift bei einer Anfrage in Echtzeit auf die verteilten Datenquellen zu, führt notwendige Transformationen "on-the-fly" (also während des Zugriffs) durch und präsentiert das Ergebnis der anfragenden Anwendung oder der nutzenden Person, als käme es aus einer einzigen, konsolidierten Quelle.
• Anwendungsfall: Ein:e Finanzanalyst:in benötigt für einen Ad-hoc-Bericht aktuelle Kund:innendaten aus dem CRM, Transaktionsdaten aus dem Buchhaltungssystem und Marktdaten von einem externen Anbieter. Statt alle Daten physisch zu kopieren und in einer neuen Datenbank zu konsolidieren, könnte eine Datenvirtualisierungsschicht eine einheitliche Sicht auf diese verteilten Datenquellen bieten. Die analysierende Person kann die Daten abfragen, als wären sie in einer einzigen Datenbank, ohne auf zeitaufwändige ETL-Prozesse warten zu müssen. Dieser Ansatz bietet hohe Flexibilität, Skalierbarkeit und ermöglicht den Zugriff auf Echtzeitdaten, stellt aber auch hohe Anforderungen an die Netzwerkleistung und die Leistungsfähigkeit der Quellsysteme.

Lernziele

• die Notwendigkeit der Datenintegration erklären, indem die Herausforderungen durch heterogene Datenquellen und -formate (strukturiert, semi-strukturiert, unstrukturiert) in modernen Unternehmenslandschaften analysiert werden.
• die Ziele der Datenintegration interpretieren, indem erläutert wird, wie durch die Zusammenführung von Daten eine einheitliche Sicht geschaffen, die Datenqualität verbessert und Geschäftsprozesse sowie Datenanalysen unterstützt werden können, unter Berücksichtigung der Datenherkunft und -klassifikation.
• verschiedene grundlegende Ansätze zur Datenintegration vergleichen, indem die Konzepte von ETL (Extract, Transform, Load), ELT (Extract, Load, Transform) und Datenvirtualisierung anhand ihrer charakteristischen Merkmale und typischen Anwendungsfälle gegenübergestellt werden.