Güven Eşiği

Güven eşiği, bir sistemin kendi çıktısına göre hareket etmeyi bırakıp bunun yerine başka bir şey yaptığı noktadır: bir insana yükseltir, daha basit bir yola düşer, açıklayıcı bir soru sorar ya da yanıtlamayı reddeder. Sistemin ne kadar emin olduğuna dair sürekli bir sinyali ayrık bir işletme kararına çevirir; otomatik bir iş akışının gerçekten ihtiyaç duyduğu şey de budur. Güçlük şu ki dil modelleri kendiliğinden güvenilir bir sayı üretmez. Akıcılık güven değildir ve kendi kesinliğini derecelendirmesi istenen bir model, çoğu zaman yanıtın doğruluğuyla pek ilgisi olmayan makul görünen bir rakam üretir. Token olasılıkları daha fazla bilgi taşır ama iddianın doğruluğunu değil ifadenin olabilirliğini ölçer. Bu yüzden pratik sistemler sinyali daha somut şeylerden kurar: yinelenen örnekler arasındaki uyuşma, getirme adımının destekleyici malzeme bulup bulmadığı, yapılandırılmış çıktının doğrulanıp doğrulanmadığı, ikinci bir denetimin ilkiyle hemfikir olup olmadığı ya da geçmişteki doğru ve yanlış yanıtlarla eğitilmiş küçük bir sınıflandırıcı. Sinyal nereden gelirse gelsin, eşiği anlamlı kılan şey kalibrasyondur. Kalibre edilmiş bir puan, belirli bir düzeyde puanlanan çıktıların yaklaşık o sıklıkta doğru olduğu anlamına gelir; ancak o zaman bir kesim noktası seçmek tahmin olmaktan çıkıp bir iş kararına dönüşür. Kalibrasyon varsayılmaz, ölçülür: etiketli bir küme puanlanır ve öngörülen güven, gözlenen doğrulukla karşılaştırılır. Kalibre olmayan bir puan vakaları yine de faydalı biçimde sıralayabilir, ama çizgiyi çektiğiniz o belirli sayının hiçbir yorumu yoktur. Düzeyi seçmek, nadiren eşit olan iki maliyet arasındaki bir takastır. Çizginin altında iş bir insana gider; bu zaman harcar ve kapasiteyi sınırlar. Üstünde hatalar müşteriye ulaşır; bu güvene ve bazen paraya mal olur. Eşiği yuvarlak bir sayıdan değil bu maliyetlerden türetin: belge sınıflayan bir sistem, iade işleyen bir sistemden daha alçak bir çıtayı kaldırabilir ve aynı ürün çoğu zaman eylem başına farklı eşiklere ihtiyaç duyar. Eşiğin altında ne olduğu, eşiğin kendisi kadar önemlidir. Yükseltme ancak yükseltilecek bir yer varsa işe yarar: kapasitesi, bağlamı ve yanıt için bir dönüş yolu olan bir yer. Kimsenin bakmadığı bir kuyruk, özenli bir tasarımı daha yavaş bir başarısızlığa çevirir; yazışma, getirilen belgeler ve yükseltme nedeni olmadan gelen bir devir ise insanı sıfırdan başlamış olacağından daha yavaş kılar. Eşikler kayar. Girdilerin dağılımı değişir, bir model sürümü değişir, bir prompt düzenlenir ve aynı kesim noktası artık trafiğin başka bir dilimini seçer. Yükseltme oranını birinci sınıf bir metrik olarak izleyin; ani bir düşüş genellikle güvenin yükseldiği ama doğruluğun onu izlemediği anlamına gelir ve eşiğin sessizce hiçbir şeyi korumaz hâle geldiği durum tam olarak budur.