İkili Değerlendirme

İkili değerlendirme (pairwise evaluation), model çıktılarını her birine mutlak bir not vermek yerine ikisini yan yana karşılaştırıp hangisinin daha iyi olduğunu sorarak puanlar. Hem insanlar hem LLM yargıçlar için bilinen bir gerçeğe dayanır: göreli yargılar ('A mı B mi?'), puanların kaydığı ve kümelendiği mutlak yargılardan ('bunu 1–10 arası puanla') çok daha tutarlıdır. Chatbot Arena bu kalıbı ölçekte popülerleştirdi — anonim modeller arasında ikili oylar toplayıp bunları Elo tarzı sıralamalara çevirerek. Geliştiriciler için 'yeni komutum ya da modelim gerçekten daha mı iyi oldu?' sorusunu güvenilir biçimde yanıtlamanın yoludur: değerlendirme setinizdeki her vaka için eski ve yeni çıktıları bir yargıca (ya da insana) gösterin, galibiyet, beraberlik ve mağlubiyetleri sayın. İki şeyi denetleyin: konum yanlılığı — yargıçlar ilk gelen cevabı kayırma eğilimindedir, bu yüzden sırayı değiştirip ortalayın — ve ikiden fazla seçeneği sıralamak için çok sayıda karşılaştırma gerektiğini unutmayın. Tek kırılgan bir ortalama yerine beraberlikleri de içeren galibiyet oranını raporlayın.