Konum Yanlılığı

Konum yanlılığı (position bias), bir LLM'nin bilginin ne söylediğinden çok nerede durduğundan etkilenme eğilimidir — en görünür haliyle model bir yargıç gibi davrandığında ya da seçenekler arasından seçim yaptığında ortaya çıkar. İkili değerlendirmede yargıçlar, kaliteden bağımsız olarak sıklıkla ilk (bazen son) sunulan adayı kayırır; aynı etki çoktan seçmeli görevlerde de görülür: seçeneklerin sırasını değiştirmek cevabı değiştirir. MT-Bench (Zheng vd., 2023) gibi LLM-yargıç çalışmalarında belirgin biçimde belgelenmiştir ve bağlamın ortasına gömülü gerçeklerin yeterince kullanılmadığı 'ortada kaybolma' (lost in the middle) ile ilişkili ama ondan farklıdır. Önemlidir çünkü bir modelin üzerine kurduğunuz her sıralama, yönlendirme ya da seçim işlemini sessizce bozar; ilkeli görünen ama aslında sırayı izleyen sonuçlar üretir. Geliştiriciler için çözümler ucuzdur: konumları değiştirip her iki sıralamayı ortalayın, seçenek sırasını rastgeleleştirin ve küçük, insan-etiketli bir sete karşı kalibre edin. Yalnızca girdileri yeniden sıraladığınızda bir karar değişiyorsa, kararı içerik değil konum yanlılığı veriyordur.