Gecikme (Latency)

AI sistemleri bağlamında gecikme (latency), bir modele bir isteğin gönderilmesi (bir API çağrısı veya yerel bir çıkarım isteği) ile yanıtın alınması arasında geçen süredir — genellikle ilk token'a kadar geçen süre (TTFT — herhangi bir çıktının görünmeye başlaması ne kadar sürer) ve toplam üretim süresi (tam yanıtın tamamlanması ne kadar sürer) olarak ikiye ayrılır. Gecikme, üretim AI ürünlerindeki en önemli, hakkında az konuşulan kısıtlamalardan biridir, çünkü hangi UX kalıplarının uygulanabilir olduğunu doğrudan şekillendirir: 200ms gecikmeye sahip bir özellik anlık hissettirebilir ve her tuş vuruşunda tetiklenebilir (otomatik tamamlama gibi), oysa 8 saniyelik gecikmeye sahip bir özellik bir yükleme durumu gerektirir, kritik bir kullanıcı akışında eşzamanlı çalışamaz ve bunun yerine asenkron/arka plan bir işe taşınması gerekebilir. Gecikme, birkaç birleşen faktör tarafından yönlendirilir: model boyutu (daha büyük modeller, üretilen token başına daha uzun sürer), çıktı uzunluğu (daha fazla token üretmek daha fazla zaman anlamına gelir, çünkü çoğu LLM token'ları otoregresif olarak birer birer üretir), sağlayıcı API'sine ağ gidiş-dönüş süresi, sağlayıcıda sunucu yükü/kuyruklama ve streaming kullanılıp kullanılmadığı (streaming, tam yanıtı beklemek yerine token'ları üretildikçe gönderir; toplam üretim süresi değişmese bile algılanan gecikmeyi dramatik şekilde iyileştirir). Somut bir örnek: bir kod editörü AI otomatik tamamlama özelliğinin, yazarken duyarlı hissetmesi için yaklaşık 200-300ms'lik sert bir gecikme bütçesi vardır — bu, bu belirli özellik için büyük sınır modelleri devre dışı bırakır (bir Claude Opus sınıfı çağrı 1-3+ saniye sürebilir) ve geliştiricileri, bu gecikme bütçesi için özellikle optimize edilmiş, küçük, hızlı, genellikle yerel olarak çalışan veya uç (edge) dağıtılmış modellere yönlendirir; hatta bu ödünleşim için biraz daha düşük çıktı kalitesini kabul eder. Bunu, kullanıcıların beklemeyi beklediği ve ilerleme göstergesiyle 10-15 saniyelik bir yanıtın tamamen kabul edilebilir olduğu, geliştiricinin çok daha büyük, daha yüksek kaliteli bir model kullanmasına izin veren "çeyreklik raporumu oluştur" özelliğiyle karşılaştırın. Geliştiriciler gecikmeyi model seçimi (gecikmeye kritik yollar için daha küçük/damıtılmış modeller), algılanan hızı iyileştirmek için akış (streaming) yanıtları, prompt önbellekleme (tekrarlanan bağlam için yeniden hesaplamayı atlamak) ve toplu özetleme, rapor oluşturma gibi gecikmeye toleranslı görevleri UI'yi bloke etmek yerine asenkron çalıştırmak gibi mimari seçimler yoluyla yönetir. Gecikme ayrıca çok adımlı bir AI hattı boyunca, hafife almanın kolay olduğu şekillerde birikir: bir embedding çağrısı, bir vektör veritabanı sorgusu, bir reranking çağrısı ve son olarak LLM üretim çağrısı içeren bir RAG özelliğinin, bir değil dört ardışık gecikme kaynağı vardır — ve bu adımları kesinlikle sıralı çalıştıran naif bir uygulama, her bir bireysel adım makul ölçüde hızlı olsa bile fark edilir derecede yavaş bir kullanıcı deneyimi üretebilir. Üretim RAG ve agentic sistemleri, genellikle bağımsız adımları paralelleştirir (örneğin birden fazla alma sorgusunu eş zamanlı çalıştırmak) ve kümülatif gecikmenin kabul edilebilir hissetmesi için streaming'i agresif şekilde kullanır; çünkü algılanan gecikme (kullanıcının bir şeylerin olduğunu ilk gördüğü an) toplam tamamlanma süresi kadar UX için önemlidir.