Rubric Prompting

Rubric prompting (ölçüt yönergesi ile yönlendirme), modele açık bir puanlama yönergesi verir — adlandırılmış ölçütler, her biri tanımlı bir ölçek ve her puanın ne anlama geldiğinin açıklamasıyla — böylece değerlendirmeleri belirsiz bir sezgi yerine tutarlı ve dayanaklı olur. İki yerde karşınıza çıkar: üretimi yönlendirmede ("bu ölçütleri karşılayacak şekilde yaz") ve daha yaygın olarak, bir modelin başka çıktıları puanladığı LLM-as-judge değerlendirmesinde. Yönerge olmadan, "bu yanıtı 1-10 arası puanla" denen bir LLM savrulur: aynı çıktı her çalışmada farklı puan alır ve ölçek hiçbir şey ifade etmez. Yönerge ölçeği sabitler — örneğin "Doğruluk (1-5): 5 = her iddia doğrulanabilir, 3 = bir küçük hata, 1 = büyük olgusal yanlış." SaaS geliştiricileri için rubric prompting, otomatik kalite değerlendirmelerinin ve içerik puanlamasının belkemiğidir: puanları tekrarlanabilir, denetlenebilir ve komut sürümleri arasında karşılaştırılabilir kılar. İyi uygulama: her seferinde tek bir ölçütü puanlamak, sayıdan önce kısa bir gerekçe istemek ve ölçeklemeden önce puanlarına güvenmek için değerlendiriciyi bir insan puanı örneğiyle doğrulamaktır.