Özetleme (Summarization)

Özetleme, daha uzun bir kaynak metni, temel bilgilerini, ana noktalarını ve (ideal olarak) amacını koruyan daha kısa bir versiyona indirgemek için bir LLM'in kullanılmasıdır. İki ana teknik yaklaşım vardır: kaynaktan en önemli mevcut cümleleri seçip birleştiren çıkarımsal (extractive) özetleme (daha eski, LLM öncesi bir teknik; hâlâ hız açısından kritik veya düşük halüsinasyon riski gereken uygulamalarda kullanılır) ve kaynağın anlamını yorumlayan/sıkıştıran tamamen yeni cümleler üreten soyutlayıcı (abstractive) özetleme — modern LLM'lerle baskın yaklaşım, çünkü nüansı yakalayabilir ve daha doğal, okunabilir çıktı üretebilir; bunun bedeli küçük bir halüsinasyon riskidir (modelin makul görünen ama kaynakta aslında bulunmayan bir şey söylemesi). SaaS geliştiricileri için neden önemli: özetleme, mevcut bir ürüne eklenebilecek en yüksek yatırım getirili, en düşük sürtünmeli yapay zeka özelliklerinden biridir — toplantı notu araçlarının dökümleri eylem maddelerine özetlemesi, e-posta istemcilerinin uzun konuşma dizilerinin "özet" önizlemelerini sunması, hukuk teknolojisi araçlarının sözleşmeleri anahtar madde özetlerine indirgemesi, araştırma araçlarının makaleleri özetlemesi ve müşteri destek araçlarının ajan devri için uzun bilet geçmişlerini özetlemesi. Uygulaması ucuzdur (mevcut bir LLM API çağrısına karşı iyi hazırlanmış tek bir komut) ve son kullanıcılar için hemen belirgin, gösterilebilir bir değeri vardır. Somut bir örnek — devir için biletleri otomatik özetleyen bir müşteri destek SaaS'ı: (1) bir bilet yeni bir ajana yeniden atandığında, uygulama tam konuşma geçmişini çeker; bu, haftalarca süren ileri-geri yazışmalarla kolayca 50'den fazla mesaj olabilir; (2) şu komutu gönderir: "Bu destek konuşmasını, devralan yeni bir ajan için 100 kelimenin altında özetle. Şunları dahil et: müşterinin temel sorunu, şimdiye kadar denenenler ve mevcut durum. Konuşma: {geçmiş}"; (3) LLM, bilet görünümünün en üstünde, tam ham mesaj dizisinin üzerinde sabitlenmiş görünen sıkı bir özet döndürür; (4) yeni ajan, 50 mesajı kaydırıp bağlamı yeniden inşa etmek yerine özeti birkaç saniyede okur ve yalnızca belirli bir ayrıntıyı doğrulaması gerekirse tam diziyi genişletebilir. Modelin bağlam penceresini aşan çok uzun belgeler için (tam bir yıllık destek geçmişi, uzun bir hukuki sözleşme, kitap uzunluğunda bir döküm), geliştiriciler kaynağı örtüşen segmentlere böler ve bir eşle-indirge (map-reduce) özetleme kalıbı kullanır: her parçayı bağımsız olarak özetler, ardından bu parça düzeyindeki özetleri modele son bir geçiş için girdi olarak geri besleyerek özetleri tutarlı tek bir bütüne özetler — bu, tek bir isteğe sığmayacak kadar uzun bir belgeyi saf bir şekilde kesmekten kaynaklanan doğruluk kaybını önler.