Semantik Önbellekleme

Semantik önbellekleme, LLM uygulamaları için, kaydedilmiş bir yanıtın sunulup sunulmayacağına gelen isteğin anlamını öncekilerle karşılaştırarak karar veren bir önbellekleme stratejisidir; istek dizgisini harfi harfine eşleştirerek değil. Geleneksel bir önbellek girdinin hash'i üzerine anahtarlanır: tek bir karakter değişsin, ıskalar. Semantik önbellek gelen sorgunun gömmesini çıkarır, daha önce yanıtlanmış sorguların vektör indeksinde arama yapar ve en yakın komşu yapılandırılmış benzerlik eşiğinin üstündeyse önbellekteki yanıtı döndürür. Gerekçe şudur: doğal dildeki istekler anlam olarak sürekli, biçim olarak neredeyse hiç tekrarlanmaz — "planımı nasıl iptal ederim", "aboneliği nereden iptal ediyorum" ve "faturalandırmayı durdurun" birebir eşleşen bir önbellek için üç ıskadır, semantik olan için tek bir isabettir. Önbellekten dönen yanıtın üretim maliyeti sıfır olduğu için isabet oranı doğrudan daha düşük çıkarım harcamasına ve üretim süresinde değil, arama süresinde dönen bir yanıta çevrilir. Tasarımda vektör deposu seçiminden daha çok önem taşıyan üç parametre vardır: benzerlik eşiği, önbellek anahtarının kapsamı ve tahliye politikası. Tehlikeli olan eşiktir. Fazla yüksek tutarsanız önbellek neredeyse hiç isabet etmez, yani fayda sağlamadan gecikme ve altyapı ekler; fazla düşük tutarsanız anlamca ayrı sorular çakışır — "para iademi alabilir miyim" ile "indirim alabilir miyim" gömme uzayında yakındır ve doğru yanıtları farklıdır. Kapsam önemlidir, çünkü bir yanıt yalnızca aynı bağlamı paylaşan istekler için yeniden kullanılabilir: anahtarı yalnızca kullanıcının sorusu olan bir önbellek, bir kiracının yanıtını gönül rahatlığıyla başka bir kiracıya sunar ya da artık değiştirilmiş bir belge sürümünde doğru olan bayat bir yanıtı döndürür. Pratikte anahtar; kiracıyı, yerel ayarı, modeli, prompt sürümünü ve getirilen belgelerin sürümünü içermelidir ki bunlardan herhangi birinin değişmesi yanlış bir isabet değil, bir ıska üretsin. Tahliye genellikle zamana dayalıdır, çünkü soru değişmese bile altındaki bilgi değişir. SaaS geliştiricileri için dürüst çerçeve şudur: semantik önbellekleme, yanına iliştirilmiş bir doğruluk maliyeti olan bir maliyet ve gecikme optimizasyonudur ve yeri yüksek hacimli, düşük değişkenlikli yüzeylerdir — destek talebi azaltma, sık sorulan soruların yanıtlanması, tekrarlayan iç sorgular — kişiselleştirilmiş ya da işlemsel hiçbir şey değil. Pratik not: her isabeti benzerlik skoru ve yerine geçtiği yanıtla birlikte loglayın ve bunları örnekleyerek inceleyin. Bu kayıt olmadan, sessizce fazla hoşgörülü kalmış bir eşik, hiçbir hata oranının bildirmeyeceği yavaş bir yanıt kalitesi kayması olarak ortaya çıkar.