Sınıf Dengesizliği

Sınıf dengesizliği, önemsediğiniz sonucun veride seyrek olduğu durumdur: dolandırıcılık işlemleri, terk eden hesaplar, kusurlu parçalar, güvenlik olayları. İstisna değil olağan durumdur ve hem eğitimin hem değerlendirmenin varsayılan kabullerini bozar. Eğitimde, her örneğe eşit ağırlık veren bir yitim işlevine çoğunluk sınıfı hâkim olur; dolayısıyla modelin hatayı azaltmasının en ucuz yolu neredeyse her zaman çoğunluğu tahmin etmektir. Değerlendirmede doğruluk aynı nedenle bilgi taşımayı bırakır. Alışılmış karşılıklar üç öbekte toplanır. Veriyi değiştirin: çoğunluğu aşağı örnekleyin, azınlığı yukarı örnekleyin ya da sentetik azınlık örnekleri üretin — her zaman bölmeden sonra, asla önce, yoksa aynı örnek hem eğitimde hem testte belirir. Hedefi değiştirin: yitimde azınlık sınıfına daha yüksek ağırlık verin; bu, satır çoğaltmaktan kaçınır ve genellikle daha yalın bir başlangıçtır. Ya da kararı değiştirin: modelin puanlarını koruyun ve bir kaçırmanın yanlış alarma göre gerçek maliyetini yansıtan bir çalışma eşiği seçin — çoğu zaman gerçekten gereken tek değişiklik budur. İki uyarı. Yeniden örnekleme tahmin edilen olasılıkları bozar; dengelenmiş bir küme üzerinde eğitilen model yeniden kalibre edilmedikçe azınlık oranını olduğundan yüksek gösterir. Ve seyrek bir sınıfta test kümesinde az sayıda pozitif örnek bulunur, dolayısıyla bildirdiğiniz ölçüt de gürültülüdür — birkaç puanlık bir fark, taraf değiştiren bir avuç satır olabilir.