3 Datenqualität und Bewertung

• Definition Datenqualität:

  • Subjektiv: Gebrauchstauglichkeit oder "fitness for use", d.h. die Eignung der Daten für die vorgesehenen Verwendungszwecke.

  • Objektiv: Der Abstand zwischen der von einem Informationssystem dargestellten Datenansichten und der tatsächlichen Realität.

• Konsequenzen mangelnder Datenqualität:

  • Hohe Prozesskosten

  • Opportunitätskosten, also entgangene Gewinne durch ineffiziente Datenverarbeitung.

• Ursachen für Opportunitätskosten:

  • Wiederholte Dateneingabe, Korrekturen von Daten, verlorene Aufträge etc.

• Möglicher Umgang mit Ausreißern:

  • Entfernen der Ausreißer.

  • Spezifische Auswahl der Ausreißer für eine gesonderte Ausreißer-Erkennung.

  • Nicht filtern der Ausreißer – hierbei ist der Kontext wichtig für die Entscheidungsfindung.

• Dimensionen der Datenqualität:

  • Präzision/Genauigkeit: Die Nähe der Daten zum realen Zustand, d.h. korrekte und fehlerfreie Informationen.

    • Maßnahmen:

      • Auf Datenbankebene: Filterung von unzulässigen Zuständen wie z.B. Ausreißern.

      • Auf Prozessebene: Minimierung von Messfehlern, Prozess-Redesign zur Vermeidung von Fehlern.

  • Vollständigkeit: Die Fähigkeit, jeden relevanten realen Zustand im Datensatz abzubilden; das Ausmaß, in dem alle notwendigen Werte in Daten übernommen werden.

    • Maßnahmen:

      • Interpolation fehlender Werte, systematisches Eliminieren der Ursachen für fehlende Daten.

  • Konsistenz: Die Einhaltung der für den Datensatz definierten semantischen Regeln.

    • Maßnahmen:

      • Auf Datenbankebene: Automatische Integritätsprüfungen und Fehlererkennung, Festlegung zulässiger Bereiche/Regeln.

      • Auf Prozessebene: Gesammelte Durchführung von Prozessänderungen zur Gewährleistung der Konsistenz.

  • Aktualität: Das Alter der Daten und die Verzögerung, bis Zustandsänderungen in Daten übernommen werden.

    • Maßnahmen:

      • Auf Datenbankebene: Kennzeichnung veralteter Daten.

      • Auf Prozessebene: Sicherstellung einer angemessen hohen Abtastrate der Sensoren und Betrieb eines Netzwerks mit hoher Bandbreite für schnelle Datenübertragung.

·       Integrität: Präzision, Vollständigkeit, Konsistenz, Existenz (Daten für alle relevanten Objekte/Zustände vorhanden + vollständig, werden real gemessen)

·       Verfügbarkeit: Menge (je mehr hochwertige Daten desto besser), Wert (der Daten), Vielfältigkeit

·       Interpretierbarkeit (verständlich + aussagekräftig)

·       Relevanz: Aktualität: Alter, Volatilität (Häufigkeit der Veränderung), Geschwindigkeit (Abtastrate); Nutzungskriterien 1-n

Ausreißer = Beobachtung / Teilmengen an Beobachtungen, die inkonsistent mit den übrigen Beobachtungen aus dem Datensatz zu sein scheint

·       Anomaly: ein einzelner Datenpunkt unterscheidet sich von restlichen Datenpunkten

·       Noise: Datenpunkt zeigt zufällig verteiltes Rauschen in den Daten mit anderen Punkten

• Menschliche Fehler: Tippfehler, Fehlercodes von fehlenden Daten werden als echte Daten benutzt, …

• Eingeschränkte Prozesskontrolle: natürliche Varianz der Stichprobe; kaum/nicht kontrollierbare & beeinflussbare Prozesse führen zu signifikant abweichenden Werten

• Stichprobenfehler: z.B. falsche Stichprobenzuordnung

• Gerätefehler: falsche Kalibrierung, defekte Sensoren

• Verhaltensänderung des Systems: falsche Einstellung von Prozessparametern, Änderung des Systems

• Systemfehler/Systemstörung: Softwarefehler (z.B. falsche Uhrzeit), falsche Systemeinstellung (z.B. falsche Einheit)

• Filterung:

  • Entfernt fehlerhafte Werte.

  • Führt Daten nur zu, wenn sie Kriterien der Weiterverarbeitung erfüllen.

  • Steigert Präzision, Vollständigkeit, Aktualität, Relevanz.

  • Ziele: Datensatzgröße reduzieren, Fehler eliminieren, repräsentative Zustände/Objekte beibehalten.

• Interpolation:

  • Fügt fehlende Werte in einem Datensatz hinzu.

  • Anwendbar als linear, akima, quadratic, cubic, spline, etc.

  • Ziel: Vollständigkeit der Daten sicherstellen.