Azami Jeton

Azami jeton, bir modelin yanıtında üretebileceği jeton sayısını sınırlayan bir istek parametresidir. Bir hedef değil katı bir tavandır: model o sayıyı amaçlamaz, ona ulaştığında yalnızca durur. Amacı denetimdir — maliyet üzerinde, gecikme üzerinde ve modelin aksi hâlde yararlı olanın çok ötesinde üretmeyi sürdüreceği en kötü durum üzerinde. Parametre yerini hak eder, çünkü üretim uzunluğu güvenilir biçimde öngörülebilir değildir. Normalde kısa bir yanıt üreten bir prompt, olağandışı bir girdide muazzam uzunlukta bir şey üretebilir ve tavan olmadan bu, yavaş bir istek ve büyük bir fatura hâline gelir. Çok adımlı bir ajanda etki birikir; her adımın çıktısı bir sonrakinin girdisi olduğundan sınırsız bir yanıt, aşağı akıştaki her şeyin maliyetini şişirebilir. Tipik arıza kesilmedir. Sınıra cümlenin ortasında ulaşıldığında yanıt öylece biter ve çağıran taraf, dikkatle okunana kadar tam bir yanıt gibi görünen bir şey alır. En çok yapılandırılmış çıktı zarar görür: kesilmiş bir JSON nesnesi kısa değil geçersizdir ve ayrıştırmanın başarılı olacağını varsayan kod, bir yapılandırma hatası gibi değil bir model hatası gibi görünen biçimde çöker. Bunu düzgün ele almak, yalnızca bir yanıtın varlığını değil sağlayıcının döndürdüğü bitiş nedenini denetlemek demektir. Değeri iyi ayarlamak, yuvarlak bir sayı seçmek değil dağılımı bilmek meselesidir. Görev için iyi yanıtların gerçek uzunluğuna bakın, en uzun meşru olanın üstünde makul bir pay bırakın ve kesilme olaylarını gürültü değil soruşturulacak bir sinyal sayın. Yüz yanıttan birini kesen bir sınır kaliteyi sessizce bozuyordur; hiçbir şeyi kesmeyen bir sınır ise hiç koruma sağlamıyor olabilir. Azami jeton bir tavandır, kısalık isteme yolu değildir. Çıktıyı asıl kısaltan şey, modele promptta belirli bir uzunlukta yanıt vermesini ya da belirli bir yapı üretmesini söylemektir; parametre yalnızca hastalıklı durumu önler. Onu bir uzunluk denetimi olarak kullanmak, özlü değil kesik yanıtlar üretir; bu okuyucu için daha kötüdür ve iyi yönlendirilmiş kısa bir yanıttan ucuz da değildir. Akıl yürütme ağırlıklı modellerde bir etkileşim daha önemlidir: düşünmeye harcanan jetonlar görünür yanıtla aynı bütçeye sayılabilir; dolayısıyla kısa bir yanıt için ayarlanmış bir sınır, yanıtın kendisine yer bırakmayabilir. Sağlayıcının ikisini ayırdığı yerde ayrı bütçeleyin; ayırmadığı yerde tavanı toplam çıktıya göre koyun ve varsayımla değil gerçek vakalarla doğrulayın.