Bir Yapay Zeka Özelliğinin Çalışma Maliyeti Nasıl Tahmin Edilir

Yayımlanan fiyat neden yanlış başlangıç noktasıdır

Model fiyatlandırması milyon token başına verilir; bu, kulağa küçük gelmek ve aylık bir faturaya çevrilmesi zor olmak üzere tasarlanmış bir birimdir. Önemli olan rakam, ürününüzün yaptığı iş birimi başına maliyettir — ele alınan destek talebi başına, özetlenen belge başına, ayda kullanıcı başına — ve tahminlerin yanlış gittiği yer, birinden diğerine geçiştir. Bu adımı atlayan ekipler gerçek rakamı genellikle ikinci ayda, lansmandan sonra, kullanım bir demo olmaktan çıktığında ve fatura bunu yansıttığında keşfeder. Tahmin işi fiyat listesi üzerinde aritmetik yapmak değildir; özelliğinizin gerçekte ne kadar metin taşıdığı konusunda dürüst olmaktır.

Faturanızı sürükleyen birimi bulun

Faturalanabilir olayı kendi ürününüzün terimleriyle adlandırarak başlayın ve oradan dışa doğru ilerleyin. Bir destek asistanı için bu tek bir konuşmadır. Bir belge aracı için işlenen tek bir dosyadır. Bir kodlama özelliği için tek bir tamamlama isteği olabilir. Ardından gerçek vakalardan temsili bir örneklem üzerinde, o tek olayın kaç model çağrısı tetiklediğini ölçün. İnsanların en sık yanlış tahmin ettiği sayı budur: tek bir çağrı gibi görünen bir özellik sıklıkla üç ya da dört çağrıdır, çünkü bir sınıflandırma adımı, bir getirme adımı, asıl üretim ve bazen çıktıyı denetleyen veya yeniden biçimlendiren ikinci bir geçiş vardır. Olay başına tek çağrı üzerine kurulmuş bir tahmin, yüzdeyle değil katla yanlış olur.

Tokenleri gerçek trafikten ölçün

Olay başına çağrı sayısını öğrendikten sonra, her biri için token sayılarını test ettiğiniz istemden değil gerçek veriden alın. Girdi ve çıktı genellikle farklı fiyatlandırılır, çoğu zaman birkaç kat farkla, dolayısıyla ayrı ayrı sayın. Gerçek üretim ya da beta trafiğinden bir örneklem alın ve ortalamaya değil dağılıma bakın; çünkü yapay zeka iş yüklerinin uzun kuyrukları vardır ve pahalı vakalar nadiren tipik olanlardır. Ortanca bir konuşma ile doksan beşinci yüzdelik dilimdeki bir konuşma bir büyüklük mertebesi farklı olabilir ve trafiğinizin anlamlı bir bölümü o kuyruktaysa faturayı öngören tek rakam ortalamadır.

Herkesin unuttuğu çarpanları sayın

Birkaç şey gerçek toplamı temiz tahminin üzerine şişirir. Yeniden denemeler: başarısız ya da bozuk yanıtlar yeniden denenir ve her deneme faturalanır. Konuşma geçmişi: bir sohbet özelliği her turda birikmiş bağlamı yeniden gönderir, dolayısıyla on turluk bir konuşma tek turun on katından çok daha pahalıdır. Sistem istemleri ve az örnekli örnekler her tek çağrıyla birlikte gider; bu da uzun bir sistem istemini tüm hacminiz üzerinde sabit bir vergiye dönüştürür. Getirme ile zenginleştirilmiş özellikler getirilen belgeleri girdiye ekler ve bunlar çoğu zaman kullanıcının kendi metnini gölgede bırakır. Değerlendirme, test ve iç kullanım da müşteriye dönük hiçbir kullanım tahmininde görünmeyen faturalanabilir trafik üretir.

Rakamı gerçekten hangi kaldıraçların oynattığını bilin

Bir tahmin fazla yüksek geldiğinde, kaldıraçlar emek ve başka yerde size neye mal olduğu bakımından muazzam ölçüde farklılaşır. Basit vakaları daha küçük ve ucuz bir modele yönlendirmek genellikle mevcut en büyük kazanç ve değerlendirmeden en sık sağ çıkanıdır; çünkü tipik bir özellikteki hacmin çoğu, kolaylık olsun diye öncü bir modele gönderilen kolay iştir. İstem önbelleklemesi en çok, uzun ve sabit bir önekin çağrılar arasında tekrarlandığı yerde işe yarar; bu da tam olarak sistem istemi artı getirme biçimidir. Toplu işleme, etkileşimli olmayan işlerde daha düşük bir oran karşılığında gecikmeden ödün verir. Sistem istemini kısaltmak ve konuşma geçmişini sınırlamak gösterişsizdir ve faturayı çoğu zaman herhangi bir zekice çözümden daha çok düşürür. Her birini bedava olduğunu varsaymak yerine kaliteye karşı test edin.

Taahhütlü kapasitenin size henüz uyup uymadığına karar verin

Sağlayıcılar, kullansanız da kullanmasanız da ödeme yapmanız karşılığında rezerve ya da ayrılmış kapasiteyi daha düşük efektif oranla satar. Aritmetiği bir satış görüşmesinden önce yapılacak kadar basittir: dönem için taahhüt edilen maliyeti o dönemdeki gerçekçi hacminize bölün ve isteğe bağlı oranla karşılaştırın. Bir başabaş hacminin üzerinde kazandırır, altında kaybettirir ve ani sıçramalı trafik tam da isteğe bağlıya daha uygun profildir, çünkü boş saatler için de ödersiniz. Taahhüt koşullarını orana gösterdiğiniz özenle inceleyin — iptal edilebilir mi, süre içinde kullanımdan kaldırılabilecek bir model sürümüne mi bağlı ve tek bir bölgeye mi kilitli.

Her ay yeniden çalıştırabileceğiniz bir şey kurun

Bu çalışmanın çıktısı, bir slayttaki tek bir rakam değil, varsayımlarınızın görünür olduğu küçük bir model olmalıdır — ayda olay sayısı, olay başına çağrı, çağrı başına girdi ve çıktı tokeni, yeniden deneme oranı, milyon başına fiyat. Varsayımlar hızlı eskir: fiyatlar düşer, istemleriniz uzar, özellik kitlesini buldukça kullanım örüntüleri değişir. Bunu her ay gerçek faturalara karşı yeniden çalıştırın ve gerçekliğin nerede ayrıştığını not edin; çünkü bu fark size kendi sisteminiz hakkında tahminin öğrettiğinden fazlasını öğretir. Özelliği baştan olay başına tokeni kaydedecek şekilde donatın ki lansmandan sonra bir tahmini savunmak yerine bir ölçümü okuyor olun.