Datenqualitätsmanagement, auch Data Quality Management genannt, ist ein Managementprozess zur kontinuierlichen Sicherung und Überwachung der Qualität geschäftskritischer Daten. Egal, ob die Daten für operative Prozesse, für das Berichtswesen oder zur Automatisierung genutzt werden: Die Qualität geschäftskritischer Daten sollte nicht dem Zufall überlassen werden. Ansonsten drohen teure Prozessstörungen oder krasse Fehlentscheidungen. Aus diesem Grund ist bereits in den 90er Jahren die Managementmethodik des Datenqualitätsmanagements entstanden.
Der Datenqualitätsmanagement-Zyklus ist Kernprozess eines jeden Data Governance Systems und gliedert sich in 6 Phasen, die kontinuierlich durchgeführt werden. Dabei stehen die geschäftskritischen Daten stets im Vordergrund. Denn es ist weder notwendig, noch möglich, alle Daten einem Datenqualitätsmanagement zuzuführen. Im besten Fall setzen Sie das Datenqualitätsmanagement flankierend zur Bereitstellung von Datenprodukten und digitalen Prozessen ein. Dabei gilt der Grundsatz: Je früher ein Datenproblem erkannt und behoben wird, desto weniger Schaden kann es anrichten. Daher sollte das Datenqualitätsmanagement so nah wie möglich am Ursprung der Daten ansetzen. Darüber hinaus hilft eine Datenqualitätsanalyse, die Ursachen für Prozessstörungen zu finden und möglichen Betrug aufzudecken.
Daten entdecken mit Data Profiling
In der Phase „Explore / Entdecken“ identifizieren Sie zunächst die relevanten Datenobjekte, Tabellen und Felder, die einem Qualitätsmanagement zugeführt werden sollen. Dies erfolgt typischerweise auf Basis der Use Cases, der Projektziele oder bezogen auf einen konkreten Schmerzpunkt. Danach erfolgt eine statistische Datenanalyse, auch Data Profiling genannt. Dabei werden Statistiken, wie beispielsweise die Anzahl der NULL-Werte oder die Verteilung der genutzten Werte für ein Feld generiert. Darüber hinaus generieren wir in diesem Schritt mit Machine Learning Algorithmen Vorschläge für Datenqualitätsregeln zur automatisierten Messung der Datenqualität. So erfolgt ein wichtiger Erkenntnisgewinn über Inhalt und Zustand der vorliegenden Quelldaten und über mögliche Algorithmen zur Überwachung der Datenqualität. Mit Werkzeugen, wie der DQMCloud, erzeugen Sie ein übrigens ein Datenprofil auf Knopfdruck.
Datenqualität definieren
Die Phase „Definieren / Define“ ist die mit Abstand wichtigste Phase des Datenqualitätsmanagements. Denn in dieser Phase erfassen Sie für jedes relevante Datenfeld Qualitätsanforderungen. Dadurch wird der Sollzustand der Daten definiert. Dies ist notwendige Voraussetzung für die Messung und Verbesserung der Datenqualität. Nur wenn klar ist, welche Anforderungen an die Daten existieren, ist es möglich, den Zustand der Daten zu messen und Maßnahmen zur Bereinigung der Daten vorzunehmen. Bei Datenfeldern, die von mehreren Bereichen genutzt werden, ist eine Abstimmung der Anforderungen notwendig. Dadurch vermeiden Sie Inkonsistenzen und sorgen dafür, dass alle Aspekte bei der Definition der Datenqualität berücksichtigt werden. Die zuvor generierten Regelvorschläge sind bei der Definition von Datenqualitätsregeln eine große Hilfe. Zudem sollte die Reihenfolge der Definition von Datenanforderungen für einzelne Datenfelder gemäß Ihrer Bedeutung für das Unternehmen durchgeführt werden. Übrigens finden sich Hinweise auf die tatsächliche Nutzung der Datenfelder in den zuvor generierten Datenprofilen (Data Profiling).
Datenqualität messen
Anschließend erfolgt in der Phase „Messen / Measure“ der Vergleich der Datenanforderungen mit den gegenwärtig gespeicherten Daten. Dies erfolgt überlicherweise mit einem regelbasierten Data Quality Tool. So werden Regelverletzungen identifiziert, die auf Datenqualitätsprobleme hinweisen. Anschließend erfolgt die Darstellung der Messergebnisse in Form von Fehlerberichten.
Regelverletzungen analysieren und Ursachen identifizieren
In der Phase „Analysieren / Analyze“ werten Sie die Ergebnisse der Messphase aus. Dabei steht die Identifikation der Ursachen für die Anforderungsverletzungen im Vordergrund. Eine mögliche Ursache für eine Anforderungsverletzung kann auch eine unvollständige oder fehlerhafte Datenanforderung sein. In diesem Fall ist die Regel zur Messung der Datenqualität erneut anzupassen. Ferner können Ursachen für Datenqualitätsprobleme sowohl in technischen Verarbeitungsschritten, als auch in den Geschäftsprozessen für die Datenpflege liegen. Nachfolgend finden sich einige Beispiele für mögliche Ursachen schlechter Datenqualität:
- Fehlende Vorgaben an die Datenpflege
- Daten liegen zum Zeitpunkt der Auswertung noch nicht vor
- Mangelnde Kenntnis der Prozesse, insbesondere der Datenpflegeprozesse
- Individuelle Fehler in der Datenpflege
- Ausbildungsdefizite der Mitarbeiter
- Unterschiedliche Interpretation von Datenfeldern
- Fehlende Zuständigkeiten / Koordination von Datenpflegeprozessen
- Fehler in der Verarbeitung der Daten über Schnittstellen
- Mangelnde Datenqualität im Quellsystem
Datenqualität nachhaltig verbessern
Daraufhin identifizieren Sie in der Phase „Verbessern / Improve“ des Datenqualitätsmanagements geeignete Lösungsalternativen für die Beseitigung der Symptome und Ursachen der Anforderungsverletzungen. Dazu dienen unter anderem nachfolgende Maßnahmen:
- Automatisierte Datenkorrektur mit Data Quality Tools
- Manuelle Datenkorrektur
- Anpassung von Systemen und Schnittstellen
- Anpassung von Geschäftsprozessen
- Schulung von Mitarbeitern in der Datenpflege
- Implementierung von Korrekturprozessen und Quality Gates
Die nachhaltige Beseitigung von Anforderungsverletzungen erfordert meist die Umsetzung mehrere Verbesserungsmaßnahmen gleichzeitig. Dabei sollten die Lösungsalternativen hinsichtlich Ihrer Wirtschaftlichkeit bewertet werden, bevor sie umgesetzt werden. Je nach Größe und Umfang der Verbesserungsmaßnahmen ist gelegentlich die Durchführung eines Datenqualitätsprojektes notwendig.
Datenqualität kontinuierlich überwachen
Schließlich erfolgt in der Phase „Überwachen / Control“ die Überwachung und Bewertung der Datenqualität im Zeitverlauf. Dies geschieht mittels Datenqualitätskennzahlen, die im Zeitverlauf nachverfolgt werden. Dadurch kann zum einen die Wirksamkeit von umgesetzten Verbesserungsmaßnahmen überprüft werden. Zum anderen können Bereiche mit unterdurchschnittlicher Datenqualität identifiziert werden. Zudem unterstützt diese Phase das Festlegen von Prioritäten bei der Verbesserung der Datenqualität.
Unsere Software-as-a-Service, die DQMCloud, ist ein Data Quality Management Tool für Fachbereiche. Die DQMCloud macht das Datenqualitätsmanagement zum Kinderspiel. Also überzeugen Sie sich selbst und testen Sie die DQMCloud vollkommen kostenlos und unverbindlich oder kontaktieren Sie uns unter kontakt@iqinstitute.de.