Chunking (Parçalama)

Chunking (parçalama), büyük bir belgeyi veya metin gövdesini bir yapay zeka pipeline'ı tarafından işlenmeden önce daha küçük, daha yönetilebilir parçalara ("chunk"lara) bölme sürecidir — en yaygın olarak retrieval-augmented generation (RAG) için hazırlık adımı olarak kullanılır; burada belgelerin, tek tek embedding'e dönüştürülecek, bir vektör veritabanında indekslenecek ve ilgililiğe göre getirilecek kadar küçük, ama her chunk'ın kendi orijinal belge bağlamı olmadan daha sonra bir prompta eklendiğinde bağımsız olarak anlamlı kalacak kadar büyük parçalara bölünmesi gerekir. Chunking stratejisinin RAG sistemi kalitesi üzerinde orantısız, genellikle hafife alınan bir etkisi vardır: chunk çok küçük olursa (tek bir cümle veya paragraf parçası), getirilen chunk'lar, alma adımı belgenin ilgili genel alanını doğru şekilde tespit etse bile, bir soruyu tam veya belirsizlik olmadan cevaplamak için gereken çevresel bağlamdan sık sık yoksun kalır; chunk çok büyük olursa (birden fazla sayfalık bir belge bölümünün tamamı), o chunk'ı temsil eden embedding, birçok farklı alt konunun sulandırılmış bir ortalaması haline gelir ve bu da anlamsal almanın hassasiyetini azaltır, aynı zamanda bir prompta getirildiğinde ilgisiz çevresel materyal için bağlam penceresi bütçesini boşa harcar (bağlam-doldurma (context-stuffing) problemiyle doğrudan bağlantılı). Yaygın chunking stratejileri şunları içerir: sabit boyutlu chunking (her N token'da bölme, basit ama düşüncenin ortasında cümle veya paragraf sınırlarını naif bir şekilde kesme), özyinelemeli/yapısal chunking (doğal belge sınırları boyunca bölme — paragraflar, ardından bir paragraf hâlâ çok büyükse cümleler — sabit boyutlu bölmeye göre anlamsal tutarlılığı daha iyi koruma), anlamsal chunking (bitişik cümleler arasındaki embedding benzerliğini kullanarak gerçek konu sınırlarını tespit etme ve rastgele bir boyutta değil orada bölme) ve örtüşmeli chunking (her chunk, bitişik chunk'tan küçük bir örtüşen metin penceresi içerir, böylece bir chunk sınırının yakınındaki bilgi her iki taraftaki bağlamından kopmaz veya kaybolmaz). Bir belge külliyatı üzerinde herhangi bir yapay zeka özelliği oluşturan SaaS geliştiricileri için — bir dokümantasyon Soru-Cevap botu, bir sözleşme analiz aracı, bir bilgi tabanı arama asistanı — chunking stratejisi, RAG kalitesi için en yüksek getirili, en yaygın şekilde yetersiz yatırım yapılan kaldıraçlardan biridir ve genellikle uçtan uca doğruluk için hangi embedding modelinin veya hangi LLM'in alt akışta kullanıldığından daha fazla önem taşır. Somut örnek: bir dokümantasyon chatbot SaaS aracı başlangıçta yardım merkezi makalelerini yapıya hiç dikkat etmeden sabit 500 token'lık pencerelerle parçalar ve kullanıcılar botun prosedürel "nasıl yapılır..." sorularına sık sık eksik cevaplar verdiğini bildirir — çünkü sabit boyutlu bir chunk sınırı genellikle numaralandırılmış bir adım listesinin ortasına düşer ve 6 adımlık bir sürecin yalnızca 1-3 adımlarını getirirken 4-6 adımları bir sonraki, alınmayan chunk'a düşer. Yapısal chunking'e geçmek (markdown başlıkları boyunca bölmek ve her tam numaralandırılmış listeyi veya prosedürü tek bir chunk içinde bütün tutmak, sınırlarda 50 token örtüşme ile) embedding modelinde, alıcıda veya üretim promptunda herhangi bir değişiklik yapmadan değerlendirme setlerindeki yanıt tamlığını ölçülebilir şekilde iyileştirir — chunking stratejisinin tek başına doğruluk darboğazı olduğunun açık bir kanıtı.