Kanarya Prompt

Kanarya prompt, canlı trafiğin küçük bir kısmına verilen prompt değişikliğidir; geri kalan eski sürümle çalışmaya devam eder. İki grubun metrikleri karşılaştırılır ve değişiklik ya herkese açılır ya geri alınır. Var olma nedeni, prompt düzenlemelerinin kod dağıtımı gibi davranıp daha kötü testlere sahip olmasıdır. Elli vakalık değerlendirme kümenizi iyileştiren bir ifade değişikliği, kümenin kapsamadığı bir kategoriyi bozabilir ve bunu yakalayacak bir derleyici yoktur. Gerçek trafik çok daha büyük ve çok daha az pohpohlayıcı bir test kümesidir. Çoğu ekibin yanlış yaptığı şey neyin karşılaştırılacağıdır. Gecikme ve maliyet ölçmesi kolaydır ama risk nadiren oradadır. Görev düzeyindeki sonuçlara bakın: çözüm oranı, modelin taslağı ile kullanıcının gönderdiği metin arasındaki düzenleme mesafesi, yükseltme oranı, olumsuz oylar. Ve kanaryaya karar verilebilir bir örneklem biriktirecek kadar süre tanıyın; ilk günün gürültüsünü okumayın. Geri almayı önemsiz kılın. Promptlar veri olmalı; sürümlenebilir ve dağıtım gerektirmeden değiştirilebilir. Mühendis ve sürüm penceresi gerektiren bir prompt değişikliği hızlı geri alınmaz, bu da kanaryanın anlamını ortadan kaldırır.