Çevrimdışı Değerlendirme

Çevrimdışı değerlendirme, bir modeli, promptu ya da hattı kullanıcılara ulaşmadan önce sabit bir veri kümesine karşı puanlama pratiğidir. Girdiler sabit tutulur, test edilen sistem değiştirilir ve sonuçlar karşılaştırılır. Canlı trafikle ve gerçek insanlarla davranışı ölçen çevrimiçi değerlendirmenin karşılığıdır; ikisi farklı soruları yanıtlar: çevrimdışı bir değişikliği yayımlamanın güvenli olup olmadığını, çevrimiçi ise yayımlamanın değip değmediğini söyler. Değeri tekrarlanabilir olmasından gelir. Veri kümesi yerinden oynamadığı için iki koşu karşılaştırılabilir, bir gerileme belirli bir değişikliğe atfedilebilir ve başarısız bir vaka istendiği anda yeniden üretilebilir. Çevrimdışı değerlendirmeyi dağıtım hattının doğal kapısı yapan da budur: sabit kümede doğruluğu düşüren bir prompt düzenlemesi bir olaya dönüşmeden engellenebilir ve aynı küme aday bir modelde koşturulduğunda göç, bir inanç sıçraması olmaktan çıkıp bir ölçüme dönüşür. Kalite veri kümesinde yaşar. Küme hayal edilmiş örneklerden değil gerçek trafikten çıkarılmalı, asıl önemli vakalara ağırlık vermeli ve kasıtlı olarak zor olanlarla doldurulmalıdır: belirsiz istekler, düşmanca girdiler, iyi bir yanıtı olmayan sorular ve geçmişteki her üretim hatası. Yalnızca temiz girdiler içeren bir test kümesi, kimsenin kullanmadığı bir sistemi ölçer. Her olay bu kümeye eklenen bir satırla bitmelidir; değerlendirmeyi bir ritüel olmaktan çıkarıp bir cırcır dişlisine çeviren şey budur. Diğer yarısı puanlamadır. Belirlenimci denetimler ucuzdur ve yükün olabildiğince büyük kısmını taşımalıdır: çıktı ayrıştırılıyor mu, şemayı karşılıyor mu, zorunlu alanı içeriyor mu, var olan bir kaynağa atıf yapıyor mu. Geriye kalan yargıdır ve ya yazılı bir ölçüte göre insan değerlendiriciler ya da yargıç rolündeki bir model tarafından puanlanır; ikincisi ölçeklenir ama kararlarına güvenilmeden önce insan etiketlerine karşı kendi doğrulamasını ister. Asıl risk, sayıyı gerçeğin kendisi saymaktır. Çevrimdışı puan bir vekildir: kümede yakalanmış dağılımdaki başarımı ölçer ve o dağılım, ürün değiştikçe ve kullanıcılar sistemin nelerde iyi olduğunu öğrendikçe canlı trafikten uzaklaşır. Hiç tazelenmeyen bir küme yavaşça sistemin geçmeyi öğrendiği bir sınava dönüşür; şüpheli ölçüde yüksek bir puan ise genellikle örneklerin promptlara sızdığı ya da kümenin güncel hiçbir şeyi temsil etmediği anlamına gelir. Bunu bir olay gibi değil bir test takımı gibi işletin. Veri kümesini kodla birlikte sürümleyin, promptlarda, getirmede veya model yapılandırmasında her değişiklikte değerlendirmeyi koşturun, sonuçları onları üreten commit'in yanında saklayın ve puanı düşüren her şeyin yayımlanması için bilinçli bir karar şartı koyun. Amaç hedef bir sayıya ulaşmak değil, istemediğiniz bir değişikliği fark etmektir.