Tekrar Cezası

Tekrar cezası, üretimin döngüye girmesini engellemek için modelin daha önce ürettiği belirteçlerin olasılığını düşüren bir çözümleme parametresidir. Ceza uygulanmazsa model bir oluğa düşebilir — aynı ifadeyi yinelemek, aynı maddeyi yeniden yazmak veya belirteç sınırına çarpana kadar aynı cümleyi üretmek — çünkü her tekrar, bağlam göz önüne alındığında bir sonrakini daha olası gösterir. Uygulamalar farklıdır: bazıları daha önce görülen her belirtecin puanını sabit bir sayıya böler, bazıları sabit bir miktar çıkarır (varlık cezası), bazıları da çıkarılan miktarı belirtecin kaç kez geçtiğine göre ölçekler (sıklık cezası). Ayar yaparken bu ayrım önemlidir: varlık cezası bir sözcüğün ikinci kez geçmesini bile caydırır, sıklık cezası ise ancak sözcük yaygınlaştıktan sonra bastırır. Aşırı cezalandırmanın hatası, düzelttiği hatadan daha sinsidir. Değeri fazla yükseltirseniz model, meşru biçimde yinelemesi gereken sözcüklerden kaçınmaya başlar — bir ürün adı, bir değişken, bir tablo sütun başlığı, bir JSON nesnesindeki aynı anahtar — ve ortaya tuhaf okunan ya da yapılandırılmış üretimde hiç ayrıştırılamayan bir çıktı çıkar. Bu yüzden şeması olan hiçbir iş için tekrar cezası iyi bir araç değildir; oradaki doğru denetim kısıtlı çözümleme ya da JSON kipidir. Serbest metinde ılımlı bir varsayılan olarak bırakın, kendi çıktılarınızdan gerçek bir örnekle doğrulayın ve döngüye girmenin çoğu zaman bir çözümleme sorunu değil, zayıf bir istemin veya aşırı uzun bir bağlamın belirtisi olduğunu unutmayın.