Prompt Önbellekleme

Prompt önbellekleme, Anthropic, OpenAI ve diğer sağlayıcılar tarafından sunulan, bir promptun statik, tekrarlanan bir bölümünün (uzun bir sistem promptu, referans belgeleri, az-atış örnekleri veya araç tanımları) bir kez işlenip sunucu tarafında önbelleğe alınmasına izin veren bir API özelliğidir; böylece aynı öneki tekrar kullanan sonraki API çağrıları o bölümü yeniden işlemeyi tamamen atlar -bu da değişmeyen büyük miktarda bağlamı tekrar tekrar gönderen herhangi bir uygulama için hem maliyeti (önbelleğe alınmış girdi tokenleri genellikle %90 daha ucuza, çarpıcı bir indirimle faturalandırılır) hem de gecikmeyi (önbelleğe alınmış önekte hesaplamayı atlamak ilk tokene kadar geçen süreyi hızlandırır) çarpıcı şekilde düşürür. Bu, üretim LLM uygulamalarındaki en büyük gizli maliyet merkezlerinden birini doğrudan ele alır: birçok gerçek dünya promptu büyük, kararlı bir bölümden (sistem talimatları, bir bilgi tabanı alıntısı, uzun bir az-atış örnek kümesi, araç/fonksiyon tanımları) artı küçük bir değişken bölümden (gerçek kullanıcı mesajı) oluşur ve önbellekleme olmadan, kararlı bölümün tamamı değişmemiş olmasına rağmen her tek çağrıda tamamen yeniden işlenir ve faturalandırılır. Örneğin Anthropic'in uygulaması, geliştiricilerin belirli prompt kesme noktalarını önbelleğe alınabilir olarak işaretlemesine izin verir; önbellek kısa bir pencere boyunca kalıcı olur (tipik olarak yaklaşık 5 dakika, her kullanımda yenilenir, bazı sağlayıcılar farklı bir fiyat noktasında daha uzun süreli önbellek seçenekleri sunar) -bu, o pencere içindeki bir sohbet oturumunun veya ilgili API çağrılarının bir patlamasının önemli ölçüde fayda sağladığı, gerçekten yeni oturumlar için ise pencere sona erdikten sonra önbellek faydalarının sıfırlandığı anlamına gelir. SaaS geliştiricileri için prompt önbellekleme, bir yapay zeka özelliği gerçek üretim trafiğine ulaştığında mevcut en yüksek yatırım getirili, en az çaba gerektiren optimizasyonlardan biridir: tipik olarak yalnızca promptu, statik bölüm önce gelecek ve açıkça önbelleğe alınabilir olarak işaretlenecek şekilde yeniden yapılandırmayı gerektirir, prompt içeriğinde veya model davranışında değişiklik olmadan -bu da onu sıkıştırmaya (içeriği gerçekten kısaltmayı gerektiren ve bilgi kaybı riski taşıyan) veya model düşürmeye (doğruluk kaybı riski taşıyan) kıyasla neredeyse "bedava" bir maliyet ve gecikme kazancı haline getirir. Somut örnek: bir hukuki belge analizi SaaS aracı, her tek belge inceleme isteğiyle birlikte 12.000 tokenlik bir sistem promptu (ayrıntılı bir hukuki analiz kriteri artı 8 az-atış örneği) gönderir ve günde kabaca 3.000 belge işler. Önbellekleme olmadan, bu 12.000 tokenlik önek günde 3.000 kez tamamen faturalandırılır ve yeniden işlenir. Prompt önbellekleme etkinleştirildiğinde ve statik kriter/örnekler önbelleğe alınabilir önek olarak işaretlendiğinde, yalnızca her önbellek penceresindeki ilk istek o önek için tam fiyat öder -önbellek penceresi içindeki sonraki istekler bunun yerine çarpıcı önbellek okuma indirimini öder- ekibin günlük girdi token maliyetini gerçek analiz kalitesinde herhangi bir değişiklik olmadan yarıdan fazla düşürür, çünkü önbelleğe alınan içerik zaten yeniden işlenecek olanla bayt bayt aynıdır.