Toplu Çıkarım

Toplu çıkarım, model isteklerini etkileşimli bir çağrı yerine kuyruğa alınmış bir iş olarak çalıştırır. Çok sayıda girdi gönderirsiniz, sağlayıcı kapasite oldukça işler ve sonuçları sonra alırsınız — genelde saatler içinde ve eşzamanlı fiyata göre ciddi indirimle. Bir işin toplu işe uygun olup olmadığının testi basittir: bunu bekleyen biri var mı? Dünkü destek taleplerini sınıflandırmak, ürün kataloğunu zenginleştirmek, bir korpus için gömme üretmek, gece boyunca belge özetlemek — kimse dönen ikonu izlemiyorsa gecikmenin maliyeti yoktur ve indirim doğrudan marja yazılır. Mühendislik farkı çoğunlukla hata yönetimidir. Etkileşimli çağrılar yüksek sesle başarısız olur ve anında yeniden denenir; toplu iş ise saatler sonra, klavye başında kimse yokken kısmen başarısız olur. Sonuçları artımlı yazın, girdilerle eşleyin ki kısmi yeniden çalıştırma mümkün olsun ve işi atomik değil devam ettirilebilir sayın. SaaS için stratejik nokta şudur: toplu çıkarım neyin karşılanabilir olduğunu değiştirir. Etkileşimli fiyatlarla anlamsız özellikler — her kaydı gece yeniden puanlamak, tüm korpusta değerlendirme koşturmak — aynı tokenler yarı fiyatına olduğunda rutin hâle gelir.