Çıkarım Maliyeti

Çıkarım maliyeti, bir modeli isteklere yanıt vermek için çalıştırmanın yinelenen giderdir; bir modeli kurmanın ya da ince ayarlamanın tek seferlik maliyetinden ayrılır. Asla ortadan kalkmayan maliyettir: benimsenmeyle, gönderdiğiniz bağlamın boyutuyla, bir iş akışının kaç adım attığıyla ve her yeniden denemeyle büyür. Yapay zekâ özellikleri yayınlayan çoğu ekip için çıkarım, baskın süregelen maliyettir ve bir özelliğin ölçekte yaşayıp yaşamayacağına karar veren maliyettir. İşleyişi tam olarak anlamaya değer, çünkü sezgiye aykırıdır. Barındırılan modeller genelde girdi ve çıktı jetonlarını ayrı ücretlendirir ve çıktı tipik olarak daha pahalı olandır. Her istekle gönderilen uzun bir sistem promptu, her çağrıya binen sabit bir vergidir. Getirilen bağlam çoğu zaman en büyük girdi bileşenidir ve kazara şişirilmesi en kolay olandır. Akıl yürütme ağırlıklı modeller, görünen uzunluğu kısa olan bir yanıtı üretirken çok sayıda jeton tüketebilir. Çok adımlı sistemler bunların hepsini çarpar. Plan yapan, üç araç çağıran, sonuçları okuyup yanıtını gözden geçiren bir ajan, tek bir kullanıcı eylemi için birkaç model çağrısı yapmıştır ve her biri birikmiş konuşmayı taşır. Bu yüzden izlenecek sayı çağrı başına değil kullanıcı eylemi başına maliyettir; aradaki oran da bir yapay zekâ sisteminin açığa çıkarabileceği en aydınlatıcı ölçütlerden biridir. Kollar üç gruba ayrılır. Daha az gönderin: sistem promptlarını kırpın, daha az ve daha iyi parça getirin, geçmişi yeniden oynatmak yerine özetleyin ve sağlayıcı destekliyorsa promptun değişmeyen ön ekini önbelleğe alın. Daha az kullanın: basit istekleri daha küçük bir modele yönlendirin, pahalı olanı gerçekten gerektiren vakalara saklayın ve görev elverdiğinde çıktı uzunluğunu sınırlayın. Daha az yapın: aynı istekleri yinelemeden ayıklayın, tekrarlanan soruların yanıtlarını önbelleğe alın ve harcamayı sessizce ikiye katlayan yeniden deneme döngülerinden kaçının. Kendi kendine barındırma maliyeti ortadan kaldırmaz, biçimini değiştirir. Kiralanan bir hızlandırıcının parası meşgul olsun olmasın ödenir; dolayısıyla ekonomi sürekli hacme ve sunum yığınının işi ne kadar verimli toplu işlediğine bağlıdır. Belirli bir istikrarlı yükün altında ölçümlü bir uç nokta genelde daha ucuzdur ve geçiş noktası sağlayıcı fiyatlarıyla, model verimliliğiyle ve trafiğinizin ne kadar dalgalı olduğuyla birlikte kayar. Bunu yönetilebilir tutan disiplin, birim değer başına maliyeti en baştan ölçmektir: konuşma başına, işlenen belge başına, çözülen talep başına. Mutlak harcama başarıyla birlikte yükselir ve bu yüzden gerilemeleri gizler; birim rakamı ise bağlam ekleyen prompt değişikliğini ya da sessizce daha fazla trafiği pahalı yola gönderen yönlendirici değişikliğini açığa çıkarır.