Transformer

Transformer, 2017 yılında Google'ın "Attention Is All You Need" makalesinde tanıtılan ve modern yapay zeka dil modellerinin temeli olarak önceki tekrarlayan (RNN/LSTM) mimarilerin yerini alan bir sinir ağı mimarisidir. Temel yeniliği, modelin her token'ı işlerken girdideki diğer her token'ın alaka düzeyini — sıralı değil, paralel olarak — tartmasına olanak tanıyan öz-dikkat (self-attention) mekanizmasıdır; bu, transformer'ları hem metindeki uzun menzilli ilişkileri yakalamada daha yetenekli hem de modern GPU/TPU donanımında eğitim için çarpıcı biçimde daha verimli kılar, çünkü dikkat hesaplamaları birçok işlemci üzerinde aynı anda iyi paralelleşir. Bu, geliştiriciler için çoğunlukla bir arka plan bilgisi olarak önemlidir: entegre olacağınız neredeyse her LLM — Claude, GPT, Gemini, Llama, Mistral — bir transformer'dır (veya yakın bir mimari varyantıdır); bu yüzden temel şekli anlamak, gerçek ve gözlemlenebilir davranışları açıklar. Bir transformer, metni yığılmış katmanlar aracılığıyla işler; her katman bir öz-dikkat alt katmanını (hangi token'ların hangi diğer token'ları etkilemesi gerektiği) ve bir ileri beslemeli (feed-forward) alt katmanı (her token'ın temsilini daha da dönüştürme) birleştirir; son katman, bir sonraki token'ın ne olacağına dair kelime dağarcığı üzerinde bir olasılık dağılımı üretir. Basitleştirilmiş somut bir örnek: "Kedi ___ üzerinde oturdu" girdisi verildiğinde, transformer'ın dikkat mekanizması modelin "kedi" ve "oturdu"nun bir sonraki kelimeyi tahmin etmekle yüksek derecede alakalı olduğunu fark etmesini sağlar, bunlara "üzerinde"den daha fazla ağırlık verir ve "paspas", "zemin" veya "sandalye" gibi kelimeleri ağırlıklı olarak destekleyen bir olasılık dağılımı çıkarır. Mimari olarak transformer'lar farklı görevlerle ilgili üç türde gelir: yalnızca kodlayıcı (encoder-only, BERT gibi; anlama/sınıflandırmada iyi, birçok embedding modelinin gücü), yalnızca kod çözücü (decoder-only, GPT ve Claude gibi; üretimde iyi, bir sonraki token'ı otoregresif olarak tahmin eder) ve kodlayıcı-kod çözücü (encoder-decoder, T5 gibi; çeviri gibi diziden diziye görevlerde iyi). Neredeyse tüm modern sohbet odaklı LLM'ler yalnızca kod çözücülü (decoder-only) transformer'lardır. Bunu bilmek, LLM'lerin girdiyi neden sıralı olmayan bir şekilde işlediğini (tüm token'lara aynı anda dikkat edilir, bir insan gibi soldan sağa okunmaz), neden daha uzun girdilerin daha fazla hesaplamaya mal olduğunu (orijinal tasarımda dikkat maliyeti dizi uzunluğuyla kabaca ikinci dereceden ölçeklenir, ancak daha yeni teknikler bunu hafifletir) ve aynı temel mimarinin hem küçük bir cihaz üstü modele hem de trilyon parametreli bir uç modele nasıl güç verdiğini açıklamaya yardımcı olur. Transformer'ın paralelleştirilebilir tasarımı, aynı zamanda mevcut yapay zeka ölçeklenme çağını mümkün kılan tam olarak şeydir: her token'ın dikkat hesaplaması, eski tekrarlayan mimarilerin gerektirdiği gibi bir önceki token'ın bitmesini beklemek yerine birçok GPU çekirdeği üzerinde eş zamanlı çalışabildiğinden, transformer'lar çok daha büyük veri kümeleri üzerinde çok daha kısa gerçek zamanda eğitilebildi — küçük araştırma modellerinden bugünün devasa uç LLM'lerine sıçramayı doğrudan mümkün kılan bir donanım/mimari uyumu. Geliştiricilerin transformer'ın iç işleyişini kendileri uygulamalarına gerek yoktur (neredeyse her model bir API veya önceden oluşturulmuş bir kütüphane aracılığıyla erişilir), ama bu paralel, dikkat güdümlü yapıyı anlamak, prompt sıralamasının ve yapısının çıktı kalitesini neden gerçekten etkilediğini ve alakasız bağlamı azaltan retrieval gibi tekniklerin neden sonuçları iyileştirme eğiliminde olduğunu açıklar.