Ortada Kaybolma (Lost in the Middle)

Ortada kaybolma, dil modellerinin bilgiyi en iyi bağlamın (context) başında veya sonunda yer aldığında, en kötü ise ortasına gömüldüğünde kullandığı bulgusudur. Devasa bağlam pencereleri reklamı yapan modeller bile bu U-biçimli örüntüyü gösterir: anahtar pasajı uzun bir prompt'un ortasına koyun; model onu gözden kaçırmaya ölçülebilir biçimde daha yatkın olur. Bu davranış 2023'teki bir araştırmada belgelenmiştir ve bir prompt'a bol miktarda metin dolduran herkes için gerçek sonuçları vardır. Geliştiriciler için — özellikle RAG'de — bu, doğru belgeyi getirmenin (retrieval) tek başına yetmediği anlamına gelir; onu nereye yerleştirdiğiniz önemlidir. Pratik not: en önemli getirilen parçaları ortaya değil, bağlamın başına ve sonuna sıralayın; sırf yapabildiğiniz için bağlamı en üst düzeye çıkarmak yerine prompt'ları görevin izin verdiği kadar sıkı tutun ve getirme doğruluğunu gerçekçi bağlam uzunluklarında test edin. En iyi kanıtı kenarlara taşıyan bir yeniden sıralama (reranking) adımı, cevapları anlamlı ölçüde iyileştirebilir.