Google+ Followers

Freitag, 23. Oktober 2015

CleanData - Große Datenwäsche

SW wird überall entwickelt, geprüft und getestet. Aber wie sieht es mit Daten aus?

Wer prüft Daten und hat darüber mal ein Buch geschrieben? Ich konnte keine Bücher finden, die sich hauptsächlich mit Datenvalidierung beschäftigen.

Darum schreibe ich jetzt selbst ein Buch mit dem Titel:

DataValidation - Große Datenwäsche

Die Problembeschreibung ist jetzt schon recht vollständig, finde ich.

Wer den aktuellen Stand mal lesen und mir seine Anmerkungen dazu mitteilen möchte, ist herzlich eingeladen.

Kurze Email an ralf.peine /at/ gmx.de genügt, dann sende ich den aktuellen Stand (als HTML) per Email zu.

Wenns denn fertig ist, kann man das Buch als echtes Taschen-Buch und auch als Ebook kaufen. Das wird aber noch mehr als ein Jahr dauern.

VG Grüße an alle Datenspezialisten

Ralf

Rücken-Text / Werbung

Datenprüfung ist ein schwer vernachlässigtes Gebiet der Software-Entwicklung.

Mit den im Buch vorgestellten Software-Techniken zur Daten-Validierung wird die Datenwäsche ein leicht anzuwendendes Standard-Verfahren.

Dadurch werden Entwicklungszeit und -kosten eingespart.

Auftraggeber definieren im Validierungskonzept, welche Validierungen wie und wann durchgeführt werden müssen.

Anwender erhalten Korrektur-Hinweise in der Oberfläche durch standardisierte, verständliche Fehlermeldungen.

Erfahrene Anwender können Validierungsregeln selbständig Daten und Eingabefeldern zuordnen.

Entwickler erhalten eine exakte Markierung der Code-Zeile, in der die verschmutzten Daten entdeckt wurden.

Tester können automatische, isolierte Tests für Validierungsregeln schreiben.

Die SW-Architektur verbessert sich, die Robustheit und Testbarkeit steigen, die Aufwände für Entwicklung und Tests sinken.

Inhaltsverzeichnis

Teil I: Grundlagen
     --> erst mal fertig
Teil II: Anforderungen an die Software
     --> offen
Teil III: Beispielhafte Umsetzung
    --> erste Ansätze
Teil IV: Das Validierungskonzept
    --> offen
Teil V: Abschluss und Anhänge
    --> schon ganz gut gefüllt

Inhaltsverzeichnis - Detail

Rücken-Text / Werbung
Zuallererst
Ziele des Buchs
Leseempfehlungen für dieses Buch
Für Unentschlossene
Für Entschlossene
Für Anwender (User)
Für Entscheider
Für Software-Spezialisten
Für Tester
Wie Lernen funktioniert
Über den Umgang mit dem Buch
Und jetzt: Achtung, ein bischen Technik!

Teil I: Grundlagen
Einleitung
Warum ist Daten-Validierung wichtig?
Daten-Validierung
Aktueller Stand der Daten-Validierung
Der beste Validator
Software und Daten enthalten Fehler
Beispiel für Zustände von Daten
Funktionstests während der Entwicklung
Datenwäsche beim Kunden
Forderung eines standardisierten Daten-Validierungskonzepts
Thematische Abgrenzung
Login-Verfahren
Personenbezogene Daten
Datensicherheit
Beispiel Texterkennung
Einführung in die Datenvalidierung

Definition Daten-Validierung
Schritt 1: Syntaxprüfung
Vertiefung in Beispielen
Schritt 2: Validierungsregeln
Beispielhafte Validierung für Einzelwert-Prüfung
Für Software-Kundige
Test der Validierungsregeln für Einzelwert-Prüfung

Grundsätzliches zu Prüfungen/Entscheidungen
Prüfungsfall ?: Ungeprüft
Prüfungsfall X: Prüfung anstehend
Prüfungsfall R: Prüfung läuft
Prüfungsfall TP: Korrekt bestanden
Prüfungsfall TN: Korrekt durchgefallen
Prüfungsfall FP: Regelwidrig bestanden
Prüfungsfall FN: Regelkonform, aber durchgefallen

Dimensionen der Validierung

Dimension Reinheitsgrad
Reinheitsgrad 0 - Roh
Reinheitsgrad 1 - Ungefährlich
Reinheitsgrad 2 - Grob Klassifiziert
Reinheitsgrad 3 - Fein Klassifiziert
Reinheitsgrad 4 - Mittelfilter
Reinheitsgrad 5 - Feinfilter
Reinheitsgrad 6 - Superfeiner Filter
Reinheitsgrad 7 - Reinraum
Notwendige Reinheit

Dimension Gültigkeitsdauer
Gültigkeit im Millisekundenbereich: ms
Gültigkeit im Sekundenbereich: s
Gültigkeit im Minutenbereich: m
Gültigkeit im Stundenbereich: h
Tägliche Gültigkeit: T
Wöchentliche Gültigkeit: W
Monatliche Gültigkeit: M
Jährliche Gültigkeit: J
Mehrjährige Gültigkeit: VJ
Lebenslange Gültigkeit
Zusammenfassung Gültigkeitsdauer

Dimensionen Datenmenge und Validierungsaufwand

Dimension Komplexität der Daten
Komplexität 0. Einzelwert
Komplexität 1. Komplexer Wert
Komplexität 2. Aufruf-Parameter
Komplexität 3. Instanzdaten
Komplexität 4. Aggregatdaten
Komplexität 5. Zusammengesetztes Aggregat
Komplexität 6. Service
Weitere Stufen der Komplexität

Dimension Validierungsregeln
Gültigkeit von Regeln
Zeitliche Gültigkeit von Regeln
Optionale Regeln
Private Regeln
Kombination der Gültigkeiten für Regeln
Änderung von Regeln
Änderung der Regelimplementierung
Änderung der Elternregeln
Änderung der Gültigkeit
Propagierung von Regeländerungen
Release von Regeln

Dimension Priorität
Priorität von Regeln
Regel-Priorität nach Gültigkeitsdauer
Regel-Priorität nach Versionssprung
manuelle Regelpriorität
Priorität von Daten
Daten-Priorität nach Ablaufdatum
Daten-Priorität nach Einstufung
Manuelle Daten-Priorität

Dimension Ergebnisse
Ergebnis Verarbeitung
Ergebnisse speichern
Ergebnisse verdichten
Ergebnisse analysieren
Ergebnis-Zuordnung
Ergebnisse für Administratoren
Ergebnisse für Entwickler
Ergebnisse für Tester
Ergebnisse für Support
Ergebnisse für externe Prüfer
Ergebnisse für Anwender
Ergebnisse für Shop-Betreiber
Ergebnisse für Shop-Kunden
Ergebnis-Präsentation

Fazit zu Validierungsdimensionen