Değerlendirme Kümesi Sızıntısı

Değerlendirme kümesi sızıntısı, kendi değerlendirme vakalarınızın değerlendirdiğiniz sistemin içine sızmasıdır. Bu, kamuya açık sınama malzemesinin bir modelin eğitim verisine karışmasıyla ilgilenen kıyaslama bulaşmasının yerel kuzenidir. Buradaki sürüm tümüyle kendi elinizle yaratılır ve yol açması hayli kolaydır. Yollar sıradandır. Kümedeki birkaç çetrefil vaka örnek olarak bir isteme yapıştırılır, çünkü onlar tam da birinin düzeltmeye çalıştığı vakalardır. Sistemin içinden getirme yaptığı belge derlemesi, etiketli örnekleri de içeren bir dışa aktarımla tazelenir. Bir ince ayar veri kümesi, örtüşmeyi kimse denetlemeden değerlendirme malzemesiyle aynı kaynaktan derlenir. Bir istem, puan tatmin edici olana kadar kümeye karşı yinelenerek ayarlanır; bu, aynı şeyin daha yavaş ve daha ince bir sürümüdür: küme, karşısında ölçüm yapılan değil kendisine uydurulan bir şeye dönüşmüştür. Belirti, üretimde kimsenin görebildiği bir karşılığı olmadan basamak biçiminde iyileşen bir puandır ve kazanç çoğu zaman tam da birinin üzerinde çalıştığı vakalarda yoğunlaşmıştır. Bu örüntü, bir kutlama iletisini değil bir kuşkuyu hak eder. Önleme çoğunlukla yordamsaldır. Değerlendirme malzemesini sistemin okuyamayacağı bir yerde tutun ve istem malzemesi için ayrı bir örnek havuzu bulundurun ki hiçbir şey ödünç alınmak zorunda kalmasın. Eğitim ya da getirme kaynaklarıyla küme arasındaki örtüşmeyi hafızayla değil makineyle denetleyin. Ve önlemler ne olursa olsun, defalarca karşısında yineleme yapılmış bir kümenin kısmen tüketilmiş olduğunu kabul edin: nadiren bakılan bir bölümü ayırın ve çalışılan bölümü takvime bağlı olarak tazeleyin; böylece sistemin hiç doğru ayarlanmadığı bir miktar malzeme her zaman bulunur. Bir alışkanlık daha yardımcı olur: her vakanın kümeye girerken nereden geldiğini kaydedin. Köken bilgisi, altı ay sonra bir örnek grubunun başka bir yerde de kullanılıp kullanılmadığını yanıtlamanızı sağlayan şeydir ve yanıtlanamaz bir kuşkuyu bir sorguya dönüştürür.