Anlamsal Önbellek

Anlamsal önbellek, önceki model yanıtlarını saklar ve yeni istek eskisiyle aynı anlama geliyorsa onu döndürür. Sıradan önbellekten farkı, dizeleri karşılaştırmamasıdır: gelen isteği gömer ve vektör uzayında ona yakın kayıtlı bir istek arar. Ekonomisi yüzünden tercih edilir. Destek ve dokümantasyon asistanları aynı yirmi soruyu yüz farklı ifadeyle görür; başka sözcüklerle sorulanı anlayan bir önbellek hem harcamayı hem p95 gecikmesini belirgin biçimde düşürür — önbellek isabeti üretim değil, okuma demektir. Risk bunun aynasıdır: iki soru gömme uzayında yakın, önemli olan noktada farklı olabilir. 'Planımı iptal edebilir miyim?' ile 'Planımı iptal edip para iademi alabilir miyim?' yan yana durur ama yanıtları ayrıdır. Benzerlik eşiğini sezgiye göre değil gerçek trafiğe göre ayarlayın; para, yetki veya hukuki ifade söz konusuysa muhafazakâr tutun. İşin diğer yarısı geçersiz kılmadır. Belgelere dayanan yanıtlar, o belgeler değiştiğinde sona ermelidir; yoksa önbellek geçen çeyreğin fiyatını sonsuza dek kendinden emin biçimde sunar.