Konumsal Kodlama

Konumsal kodlama, bir dönüştürücünün bir belirtecin dizideki yerini nasıl öğrendiğidir. Dikkat mekanizması yapısı gereği sıraya kördür: her belirteç çifti arasındaki ilişkiyi hangisinin önce geldiğine dair hiçbir kavram olmadan hesaplar, dolayısıyla ham bir dönüştürücü cümleyi bir sözcük torbası gibi okurdu. Konumsal kodlama bunu, belirteç temsillerine konum bilgisi ekleyerek çözer — tarihsel olarak sabit sinüzoidal örüntülerle, sonra öğrenilen konum vektörleriyle, güncel modellerin çoğunda ise doğrudan dikkat hesabının içine uygulanan bir döndürmeyle; böylece modelin gördüğü şey iki belirtecin mutlak sırası değil, aralarındaki göreli uzaklık olur. Pratik sonuçlar bağlam penceresinin kenarlarında ortaya çıkar. Çoğunlukla kısa diziler üzerinde eğitilmiş bir model çok büyük konum farklarını az görmüştür; bu yüzden kalite genellikle ilan edilen bağlam sınırına tam olarak varıldığında değil, ondan önce bozulmaya başlar — küçük ve iyi seçilmiş birkaç pasaj veren bir erişim sisteminin her şeyi yapıştıran bir sistemden hâlâ daha iyi çalışmasının nedenlerinden biri budur. İstemdeki sıralamanın önemli olmasının sebebi de konum işleyişidir: yönergeler, getirilen bağlam ve kullanıcının sorusu üretilen belirteçlere farklı uzaklıklarda durur ve kritik bir yönergeyi uzun bir istemin ortasından sonuna almak üslupla ilgili değil, ölçülebilir gerçek bir değişikliktir.