Bağlam Penceresi Fiyatlaması

Bağlam penceresi fiyatlaması, uzun bağlamlı modellerin pratik sonucudur: pencere kapasitedir ve onu kullanmak yinelenen bir maliyettir. 200.000 token'lık pencere, 200.000 bedava token demek değildir; isterseniz istek başına o kadar harcayabileceğiniz anlamına gelir. Tuzak şudur: pencereyi doldurmak kaliteyi artırmanın en kolay yoludur. Belgenin tamamını yapıştırın, tüm geçmişi ekleyin, getirilen her pasajı koyun — doğruluk yükselir, o konuşmadaki her sonraki istekte fatura da yükselir, çünkü geçmiş her turda yeniden gönderilir. Büyüyen dökümlü on turluk bir konuşma, ilk turların bedelini on kez öder. Standart üç önlem vardır: yapıştırmak yerine getirmek, böylece yalnızca ilgili pasajlar yolculuk eder; bir eşikten sonra konuşmayı birebir göndermek yerine özetlemek; ve sağlayıcı destekliyorsa prompt önbelleklemesi kullanmak — bir kez faturalanıp yeniden kullanılan uzun statik sistem promptu ya da belge öneki genelde en büyük tasarrufu verir. Girdi tokenlerini çıktıdan ayrı ölçün. Çoğu ekip çıktı uzunluğunu iyileştirir ve harcamanın yüzde doksanının girdide olduğunu sonradan fark eder.