Open-Source-Datensatz-Diagnostik
Fange Datenqualitätsprobleme ab, bevor sie zu Modellproblemen werden. Dataset Doctor macht fehlende Werte, Duplikate, Ungleichgewichte, verdächtige Merkmale und andere häufige Datensatz-Probleme in einem klaren Bericht sichtbar.
Ein Designkonzept — ein Open-Source-Python-Toolkit im Entstehen. Alle Werte hier sind illustrativ.
Illustrativer Beispielbericht · report.html
Entwickelt für moderne Machine-Learning-Workflows.
Warum es zählt
Die meisten Teams entdecken Datensatz-Probleme zu spät — nach stundenlangem Tuning von Architekturen und Hyperparametern, die nie der Engpass waren. Bis dahin gehört die Korrektur in die Datenaufbereitung, und die Experimente müssen neu durchlaufen.
“Ein Modell, das auf einem kranken Datensatz trainiert, lernt die Krankheit.”
Die Checkliste
Acht Durchgänge über Schema, Statistiken und die Beziehungen dazwischen — die leisen Checks, die darüber entscheiden, ob ein Modell generalisiert.
Durchgang 01 · Vollständigkeit
Nullmuster gruppiert nach Spalte, dtype und Zeilensegment — nicht nur eine traurige Gesamtzahl.
Gefüllte Quadrate zeigen vorhandene Werte, rote Umrisse Nullwerte — 4 von 31 Spalten enthalten Nullwerte · 0,8 % der Zellen
Durchgang 02 · Eindeutigkeit
dupExakte und nahe Duplikate, gefangen über Fingerprint-Hashing, über jedes Spaltenpaar hinweg.
Zeilenbalken zeigen Datensatz-Fingerprints; übereinstimmende Zeilen leuchten bernsteinfarben — 218 Zeilen fallen auf 109 eindeutige Datensätze zusammen
Durchgang 03
Mehrheits- und Minderheits-Priors, sichtbar bevor sie Kennzahlen verzerren.
Durchgang 04
Werte, die weit außerhalb des erwarteten Bereichs ihrer Spalte liegen.
Durchgang 05
Numerisches als Strings gespeichert, Daten als alles außer Datumsangaben.
Durchgang 06
Merkmale, die Antworten halten, auf die sie keinen Zugriff haben sollten.
Durchgang 07 · Beziehungen
Welche Merkmale sich gemeinsam bewegen — und welche zufällig mit dem Ziel mitbewegt sind.
Überblick
Die faktische Form deiner Daten, vor jeder Modellierungsentscheidung.
Datensatz-Health
Dataset Health fasst gängige Qualitätssignale zusammen, um zu zeigen, welche Bereiche vor dem Training Aufmerksamkeit brauchen.
Vollständigkeit
Nullwerte in 4 von 31 Spalten
Konsistenz
gemischte Kodierungen in region
Klassen-Balance
87 / 13 Klassen-Prior
Duplikat-Qualität
218 doppelte Zeilen
Leakage-Risiko
customer_status · ρ 0.94
Vorschau-Konzept — diese Seite ist ein Produktkonzept. Scores und Befunde hier sind illustrativ, nicht aus echten Daten berechnet.
Beispielbericht
Jeder Befund liefert Belege und einen empfohlenen nächsten Schritt — nach Schweregrad sortiert, damit die erste Stunde dem größten Risiko gilt.
Ausgewählte Befunde — der vollständige Bericht listet jeden Check samt Belegen.
Das Merkmal "customer_status" hat eine verdächtig starke Beziehung zum Ziel.
Belege
Empfohlener Schritt
Prüfe, ob diese Spalte zum Zeitpunkt der Vorhersage überhaupt verfügbar wäre.
Training auf dieser Aufteilung wird das Modell zugunsten der Mehrheitsklasse verzerren, sofern nicht gewichtet oder resampelt wird.
Belege
Empfohlener Schritt
Gewichte die Klassen oder resample den Trainings-Split vor dem Fitten; berichte Präzision und Recall je Klasse statt bloßer Genauigkeit.
218 doppelte Zeilen gefunden.
Belege
218
Empfohlener Schritt
Behalte nur eine Kopie jedes Duplikats und regeneriere den Split vor dem Training — oder kläre, warum Duplikate weiter oben in die Pipeline geraten.
So funktioniert's
CSV- oder Parquet-Datensatz.
Automatisierte Qualitäts- und ML-Readiness-Checks.
Probleme vor dem Training beheben.
Workflow-Integration
Führe einen Befehl in CI aus oder importiere den Analyzer neben deinem Notebook. So oder so kommt der Bericht als eine einzige eigenständige HTML-Datei.
Gezeigter Befehl und API sind illustrativ — die Oberfläche wird noch geformt.
$ dataset-doctor inspect dataset.csvAnalysiere Datensatz...✓ 12458 Zeilen✓ 31 Merkmale! 3 Warnungen✕ 2 kritische ProblemeDataset-Health: 68 / 100✓ report.html erstelltOpen source
Dataset Doctor ist als Open-Source-Toolkit gedacht, das Entwickler:innen prüfen, erweitern und in bestehende Workflows integrieren können.
Jeden Check lesen, jede Heuristik auditen, den eigenen Fork shippen.
MIT-Lizenz
Eine geplante Schnittstelle für Notebooks, Skripte und Pipelines.
Geplante Python-Schnittstelle
Ein geplanter Prüfkatalog mit Platz für eigene Validierungen.
Konzept für eigene Prüfungen
Fange offensichtliche Datensatz-Probleme ab, bevor du Zeit mit dem Optimieren des falschen Modells verbringst.
Produktkonzept · durchgehend Beispieldaten