Eğitim/Test Ayrımı

Eğitim/test ayrımı, bir veri kümesini modelin bir bölümden öğrenip hiç görmediği başka bir bölümde ölçüleceği biçimde böler. Genellikle üç parça vardır: modelin uydurulduğu eğitim kümesi, ayar sırasında seçenekleri karşılaştırmak için kullanılan doğrulama kümesi ve yalnızca en sonda dokunulan ayrılmış test kümesi. Bu ayrım vardır, çünkü bir modelin eğitildiği veri üzerindeki puanı genellemeyi değil ezberi ölçer ve yeterince karmaşık bir model, dünyada ne kadar kötü çalışırsa çalışsın kendi eğitim kümesinde iyi puan alır. Yanıltıcı sonuçların çoğunun arkasında iki hata vardır. Sızıntı: test kümesindeki bilginin eğitim kümesine ulaşması — doğrudan (yinelenmiş satırlar, iki tarafta da bulunan bir örnek) ya da sinsice (bölmeden önce tüm küme üzerinde hesaplanmış bir öznitelik; bir normalleştirme istatistiği ya da hedeften türetilmiş bir toplam gibi). Ve verinin yapısını yok sayan bir bölme. Örnekler kümeliyse — aynı müşteriden birkaç talep, aynı videodan birkaç kare — rastgele bölmek neredeyse aynı örnekleri iki yana da koyar ve puanı şişirir; bölme grup düzeyinde yapılmalıdır. Zamana sıralı veri aynı özeni başka bir biçimde ister: geçmişte eğitip gelecekte sınayın, çünkü rastgele bir bölme modelin henüz olmamış olayları öğrenmesine izin verir. Aynı mantık büyük dil modeli değerlendirme kümeleri için de geçerlidir; oradaki sızıntı karşılığı içeriği ön eğitim verisine karışmış bir ölçüt, gruplu bölme karşılığı ise istemi geliştirirken kullanılan örneklerle aynı şablonlardan kurulmuş bir değerlendirme kümesidir.