Jeton Verimliliği

Jeton verimliliği, belirli bir çıktı kalitesini daha az girdi ve çıktı jetonuyla elde etme uygulamasıdır. Bir yapay zekâ sisteminde aynı anda üç şeyi birden iyileştiren ender eniyilemelerden biridir: sağlayıcılar jeton başına ücret aldığı için maliyet düşer, işlenecek ve üretilecek şey azaldığı için gecikme düşer ve daha kısa, daha düzenli bir promptu izlemek model için kolay olduğundan doğruluk çoğu zaman yükselir. Son nokta, daha çok bağlamın daha güvenli olduğunu varsayanları şaşırtır. Modeller uzun girdiler boyunca kusurlu biçimde dikkat dağıtır ve büyük bir bağlamın ortasındaki malzemenin ağırlığının düşürülmesi, kenarlardakine göre daha olasıdır. Bir promptu kıyıda köşede kalmış belgelerle doldurmak bu yüzden yalnızca pahalıya mal olmaz; önemli olan yönergeleri ve kanıtları etkin biçimde sulandırabilir. Saldırgan getirme ayarlarının yanıtları hem pahalı hem kötü yapmasının nedeni budur. En büyük kazançlar genelde biçemsel değil yapısaldır. Her istekle gönderilen bir sistem promptu sertçe denetlenmelidir, çünkü içindeki her sözcüğün bedeli her çağrıda ödenir. Getirilen bağlam tipik olarak en büyük ve en kolay şişen bileşendir; daha iyi sıralanmış daha az parça döndürmek genellikle çok sayıda döndürmeyi yener. Tam olarak yeniden oynatılan konuşma geçmişi sınırsız büyür; eski turları özetleyip yakın olanları olduğu gibi tutmak standart uygulamadır. Az örnekli yönlendirmeler jetonlarını yalnızca örüntü kurulana kadar hak eder; ötesinde etkisiz bir maliyettir. Çıktı da aynı titizliği, çoğu zaman daha fazlasını hak eder; çünkü çıktı jetonları genelde pahalı olan türdür. Düzyazı yerine yapılandırılmış bir sonuç istemek, makul bir azami uzunluk koymak, modele soruyu yeniden yazmamasını söylemek ve kimsenin okumadığı açıklamaları istememek harcamayı doğrudan keser. Modelden yanıt vermeden önce akıl yürütmesinin istendiği yerde akıl yürütme gerçek bir iştir ve parasını hak eder; ama yalnızca görevin buna ihtiyacı olduğu yerde. Disiplinin diğer yarısı önbelleklemedir. Sağlayıcının değişmeyen bir prompt ön ekini önbelleğe almayı desteklediği yerde, promptu sabit kısım önce gelecek biçimde sıralamak, yinelenen bir maliyeti çok daha küçük bir maliyete çevirir. Aynı sorular tekrarlandığında yanıtların anlamsal önbelleklenmesi yardımcı olur ve eşzamanlı özdeş isteklerin yalın biçimde yinelenmeden ayıklanması, kimsenin yapmayı istemediği harcamayı kaldırır. Bunu iş birimi başına jeton olarak ölçün — konuşma başına, belge başına, çözülen vaka başına — ve kalite ölçütünün yanına koyup yapılandırmada bir şey değiştiğinde ikisini birden izleyin. Yanında bir kalite ölçümü olmadan kovalanan verimlilik, eninde sonunda parayı kurtaran ve özelliği sessizce bozan kırpmayı bulur.