Konuşma Başına Maliyet

Konuşma başına maliyet, bir kullanıcı ile bir asistan arasındaki eksiksiz bir alışverişi ilk mesajdan etkileşimin bittiği ana kadar sunmanın toplam çıkarım ve altyapı maliyetidir. Bir toplam değil bir birim ölçütüdür ve değeri, anlamlı bir şeyle karşılaştırılabilmesinden gelir: aynı etkileşimi ele alan bir insanın maliyeti ya da etkileşimin desteklediği gelir. Dürüst bir hesap, yalnızca görünen yanıtları değil konuşmanın yol açtığı her şeyi saymayı gerektirir. Tek bir kullanıcı turu birkaç model çağrısını tetikleyebilir — sorgu yeniden yazımı, getirme, üretim, güvenlik denetimi, geçmiş özeti — ve ajan benzeri bir asistan bunların üstüne araç çağrıları ile planlama adımları ekler. Konuşma geçmişi her turda yeniden gönderildiği için maliyet uzunluktan hızlı büyür: onuncu tur birinciden çok pahalıdır ve konuşma başına ortalamaya alışılmadık uzunluktaki oturumların uzun kuyruğu hâkim olur. Ölçüt, toplam harcamadan yararlı bir biçimde farklı davranır. Toplamlar benimsenmeyle yükselir, bu iyi haberdir ve bu yüzden gerilemeleri gizler. Konuşma başına maliyet verimliliği büyümeden ayırır: bir prompt bir paragraf kazandığında, getirme daha çok parça döndürmeye başladığında, bir yönlendirici daha fazla trafiği pahalı bir modele gönderdiğinde ya da bir değişiklik kullanıcıların yanıt almak için daha çok tur harcamasına yol açtığında kımıldar. Bunların hiçbiri büyüyene kadar aylık faturada görünmez. Yorumlamak için yanına ikinci bir ölçüt gerekir. Yardımcı olmayan ucuz bir konuşma tasarruf değildir, çünkü kullanıcı gidip bir talep açar ve gerçek maliyet ikisinin toplamıdır. Konuşma başına maliyeti çözüm oranıyla, yükseltme oranıyla ya da kullanıcı memnuniyetiyle eşleştirmek onu oynanacak bir hedef değil bir karar aracı yapar; tek başına eniyilemek güvenilir biçimde daha az yardım eden ucuz bir asistan üretir. Dağılım ortalamadan önemlidir. Konuşmaların çoğu mütevazı bir maliyetin çevresinde toplanırken küçük bir oran bunun kat kat fazlasını tüketir; bunun nedeni genelde uzun geçmişler, büyük getirilen bağlamlar ya da sonlanmayan ajan döngüleridir. Ortalamanın yanında yüksek bir yüzdelik dilimi izlemek, ortalamaların gizlediği hastalıklı vakaları bulur ve hem maliyet hem kalite sorunları genelde o vakalarda yaşar. Pratikte en baştan konuşma düzeyinde ölçümleyin: her model çağrısına iliştirilmiş bir konuşma kimliği, jeton sayıları, model sürümü, kiracı ve özellikle birlikte. Bu olmadan konuşma başına maliyet ancak aylık faturayı oturum sayısına bölerek kestirilebilir ve bu, üzerine iş kurulamayacak kadar kaba bir sayıdır.