Bir Yapay Zekâ Özelliğinin İşletme Maliyeti Nasıl Düşürülür

Bir şeyi değiştirmeden önce iş birimi başına ölçün

Mutlak harcama benimsenmeyle yükselir, bu iyi haberdir ve bu yüzden verimlilik sorunlarını gizler. İzlenecek sayı iş birimi başına maliyettir — konuşma başına, belge başına, çözülen talep başına — çünkü bu, her etkileşimin ne kadar pahalı olduğunu kaç tane olduğundan ayırır.

Bunu elde etmek faturayı okumayı değil uygulamayı ölçümlemeyi gerektirir. Her model çağrısı girdi ve çıktı jeton sayılarını, modeli ve sürümü, hizmet ettiği özelliği, kiracıyı ve iş akışı adımını kaydetmelidir. Bu alanlar olmadan maliyet, kimsenin ayrıştıramadığı tek bir satırdır ve her eniyileme bir tahmindir.

Jetonların gerçekte nerede olduğunu bulun

Eniyilemeye başlamadan tipik bir isteğin bileşimine bakın. Çoğu sistemde en büyük girdi bileşeni getirilen bağlamdır; onu sistem promptu ve konuşma geçmişi izler. Çıktı hacimce küçüktür ama jeton başına genelde daha pahalıdır ve akıl yürütme ağırlıklı modeller kısa bir görünür yanıt üretirken çok harcayabilir.

Yalnızca ortalamaya değil dağılıma da bakın. Devasa bağlamları ya da uzun ajan döngüleri olan küçük bir istek oranı, çoğu zaman faturanın orantısız bir bölümünü açıklar; o hastalıklı vakaları düzeltmek her şeyi kırpmaktan ucuz ve güvenlidir.

Daha az gönderin: getirme ve prompt geçişi

Daha iyi sıralanmış daha az parça döndürmek genellikle çok sayıda döndürmeyi yener ve sık sık doğruluğu da artırır; çünkü modeller uzun girdiler boyunca kusurlu dikkat dağıtır ve kıyıda kalmış belgeler önemli olanları sulandırır. Küçük bir aday kümesini yeniden sıralamak çoğu zaman elde edilebilecek en ucuz kalite iyileştirmesidir.

Ardından sistem promptunu satır satır denetleyin — her sözcüğün bedeli her çağrıda ödenir — ve büyüdüğünde konuşma geçmişini olduğu gibi yeniden oynatmayı bırakın; eski turları özetleyip yakın olanları bozmadan tutun. Az örnekli yönlendirmeler jetonlarını yalnızca örüntü kurulana kadar hak eder.

Görev elverdiğinde daha küçüğü seçin

Her isteğin en büyük modele ihtiyacı yoktur. Basit ve iyi tanımlanmış işi daha küçük bir modele yönlendirip pahalı olanı gerçekten gerektiren vakalara saklamak genelde eldeki en büyük koldur; ucuz bir yanıt bir denetimi geçemediğinde yükselten bir kademeleme, trafiğin azınlığına üst düzey ücret ödeyerek kaliteyi korur.

Bu yalnızca ucuz yanıtın ne zaman yetersiz kaldığını anlayabiliyorsanız işler. Yapılandırılmış görevler bunu ucuza verir — ayrışıyor mu, şemaya uyuyor mu, atıf verilen kaynak var mı — ucu açık üretimi güvenle yönlendirmek ise çok daha zordur.

Daha az tekrarlayın: önbellek ve yineleme ayıklama

Sağlayıcının değişmeyen bir prompt ön ekini önbelleğe almayı desteklediği yerde, promptu sabit kısım önce gelecek biçimde sıralamak yinelenen bir maliyeti çok daha küçüğüne çevirir. Bunun ötesinde eşzamanlı özdeş istekleri tek bir yürütmeye indirin, gerçekten tekrarlanan soruların yanıtlarını önbelleğe alın ve her önbelleği kiracıya ve kullanıcıya göre kapsayın ki paylaşılan bir yanıt bir izin sınırını aşmasın.

Kazara harcamayı durdurun

İşlemin gerçek gecikmesinin altına ayarlanmış bir zaman aşımından sonraki yeniden denemeler maliyeti sessizce ikiye katlar. Adım sınırı olmayan ajan döngüleri bir şey durdurana kadar koşabilir. Geri çekilme olmadan yeniden denenen başarısız üretimler, bir sağlayıcı olayını büyük bir faturaya çevirir. Bunların her biri bir eniyileme fırsatı değil bir hatadır ve her biri genelde bir haftalık prompt kırpmasından değerlidir.

Bunu yaparken kaliteyi koruyun

Her değişikliği yayınlamadan önce sabit bir değerlendirme kümesine karşı koşun ve üretimde kalite ölçütünü maliyetin yanında izleyin. Tek başına kovalanan maliyet düşürme, eninde sonunda parayı kurtaran ve özelliği bozan kırpmayı bulur: bir yönergeyi düşüren kısa bir prompt, zor vakalarda çuvallayan küçük bir model, bayat bir yanıt sunan bir önbellek.

Son olarak bir sonraki sürprizi durduracak korkulukları kurun: harcama tavanları, kiracı başına sınırlar, toplama değil birim maliyete kurulmuş bütçe uyarıları ve ürünün hayatta kalabileceği bir şeye düşen bir acil kapatma anahtarı.