Açık kaynaklı veri kümesi tanılama
Veri kalitesi sorunlarını, model sorunlarına dönüşmeden yakalayın. Dataset Doctor; eksik değerleri, kopyaları, dengesizliği, şüpheli özellikleri ve diğer yaygın veri kümesi sorunlarını net bir raporda görünür kılar.
Tasarım konsepti — gelişmekte olan açık kaynaklı bir Python araç seti. Buradaki tüm rakamlar temsilîdir.
Temsili örnek rapor · report.html
Modern makine öğrenmesi iş akışları için tasarlandı.
Neden önemli
Çoğu ekip veri kümesi sorunlarını çok geç fark eder — hiç darboğaz olmayan mimari ve hiperparametreleri saatlerce ayarladıktan sonra. O noktada düzeltmenin yeri yukarı akıştır ve deneylerin yeniden çalıştırılması gerekir.
“Hasta bir veri kümesinde eğitilen model hastalığı öğrenir.”
Kontrol listesi
Şema, istatistikler ve aralarındaki ilişkiler üzerinde sekiz geçiş — bir modelin genelleştirip genelleştirmeyeceğine karar veren sessiz kontroller.
Geçiş 01 · Tamlık
Sütuna, dtype'a ve satır dilimine göre gruplanan boş kalıplar — yalnızca tek bir üzücü toplam sayı değil.
Dolu kareler mevcut değerleri, kırmızı çerçeveler boş değerleri işaretler — 31 sütunun 4'ünde boş değer var · hücrelerin %0,8'i
Geçiş 02 · Benzersizlik
dupParmak izi karmalamasıyla yakalanan birebir ve yakın kopya satırlar — her sütun çiftinde.
Satır çubukları kayıt parmak izlerini önizler; eşleşen satırlar kehribar rengiyle vurgulanır — 218 satır 109 benzersiz kayda indirgenir
Geçiş 03
Metrikleri bozmadan önce görünür olan çoğunluk ve azınlık öncüleri.
Geçiş 04
Sütunlarının beklenen aralığının çok dışına kayan değerler.
Geçiş 05
Metin olarak saklanmış sayısal değerler, tarih olmaktan uzak tarihler.
Geçiş 06
Erişimleri olmaması gereken cevapları taşıyan özellikler.
Geçiş 07 · İlişkiler
Hangi özellikler birlikte hareket eder — ve hangileri tesadüfen hedefle birlikte hareket eder.
Genel Bakış
Herhangi bir modelleme kararı öncesinde verinizin olgusal biçimi.
Veri Kümesi Sağlığı
Dataset Health, eğitimden önce hangi alanların ilgiyi hak ettiğini belirlemeye yardımcı olmak için yaygın kalite sinyallerini özetler.
Tamlık
31 sütunun 4'ünde boş değer
Tutarlılık
region sütununda karışık kodlamalar
Sınıf Dengesi
87 / 13 sınıf öncüsü
Kopya Kalitesi
218 kopya satır
Sızıntı Riski
customer_status · ρ 0.94
Konsept önizleme — bu sayfa bir ürün konseptidir. Buradaki puanlar ve bulgular örnek amaçlıdır; gerçek verilerden hesaplanmamıştır.
Örnek rapor
Her bulgu kanıt ve önerilen bir sonraki adımla birlikte gelir — önem derecesine göre sıralanır, böylece ilk saat en büyük riske gider.
Seçilmiş bulgular — tam rapor her kontrolü kanıtlarıyla listeler.
"customer_status" özelliği ile hedef arasında şüpheli biçimde güçlü bir ilişki var.
Kanıt
Önerilen adım
Bu sütunun tahmin anında gerçekten kullanılabilir olup olmadığını inceleyin.
Bu ayrımda eğitim, ağırlıklandırılmaz veya yeniden örneklenmezse modeli çoğunluk sınıfına doğru yanlı yapacak.
Kanıt
Önerilen adım
Eğitimden önce sınıfları ağırlıklandırın veya eğitim ayrımını yeniden örnekleyin; doğruluk yerine sınıf başına kesinlik ve geri çağırma raporlayın.
218 yinelenen satır tespit edildi.
Kanıt
218
Önerilen adım
Yinelenen her kaydın tek kopyasını tutup eğitimden önce ayrımı yeniden üretin — ya da kopyaların hattın başındaki nedenini araştırın.
Nasıl çalışır
CSV veya Parquet veri kümesi.
Otomatik kalite ve ML-hazırlık kontrolleri.
Eğitimden önce sorunları çözün.
İş akışı bütünleşmesi
CI'da tek komut çalıştırın ya da analyzer'ı defterinizin yanına içe aktarın. Her iki şekilde de rapor tek ve kendine yeterli bir HTML dosyası olarak gelir.
Gösterilen komut ve API örnektir — arayüz şekillendirme aşamasındadır.
$ dataset-doctor inspect dataset.csvVeri kümesi analiz ediliyor...✓ 12458 satır✓ 31 özellik! 3 uyarı✕ 2 kritik sorunVeri kümesi sağlığı: 68 / 100✓ report.html üretildiAçık kaynak
Dataset Doctor, geliştiricilerin inceleyebileceği, genişletebileceği ve mevcut iş akışlarına bütünleştirebileceği açık kaynaklı bir araç seti olarak kurgulanmıştır.
Her kontrolü okuyun, her sezgiseli denetleyin, kendi çatalınızı yayınlayın.
MIT lisansı
Not defterleri, betikler ve işlem hatları için planlanan arayüz.
Planlanan Python arayüzü
Özel doğrulamalarla genişletilmesi planlanan kontrol kataloğu.
Özel kontrol konsepti
Yanlış modeli optimize etmek için zaman harcamadan önce belirgin veri kümesi sorunlarını yakalayın.
Ürün konsepti · baştan sona örnek veriler