Spekülatif Kod Çözme (Speculative Decoding)

Spekülatif kod çözme, modelin çıktısını değiştirmeden token üretimini hızlandıran bir çıkarım optimizasyonudur. Küçük ve hızlı bir "taslak" model birkaç token'ı önden önerir; büyük hedef model ise bunların tümünü tek bir ileri geçişte doğrular, hemfikir olduklarını kabul eder ve ilk uyuşmazlığı düzeltir. Birden fazla token'ı aynı anda doğrulamak, onları tek tek üretmekten çok daha ucuz olduğu için, büyük modelin üreteceğinin tıpatıp aynısını çoğu zaman iki-üç kat daha hızlı elde edersiniz. Bu kayıpsız bir hiledir — çıktı dağılımı, standart kod çözmeyle kanıtlanabilir şekilde aynıdır. SaaS geliştiricileri bunu genelde kendileri uygulamaz, ancak bazı API uç noktalarının ve kendi barındırdığınız sunum yığınlarının (vLLM, TensorRT-LLM) neden aynı kalitede çok daha düşük gecikme sunduğunu bu açıklar. Bir çıkarım sağlayıcısını değerlendirirken veya kendiniz barındırırken spekülatif kod çözmenin — ya da Medusa ve EAGLE gibi akrabalarının — etkin olup olmadığını sorun: iş yükünüzde, tartılacak bir kalite ödünü olmadan hem gecikmeyi hem de token başına maliyeti belirgin biçimde düşürebilir. Benimsemeyi olağandışı biçimde güvenli kılan özellik, hızlanmanın kanıtlanabilir şekilde kalite bedeli taşımamasıdır. Hedef model önerilen her token'ı kendi dağılımına karşı doğrular; dolayısıyla kabul edilen dizi, standart kod çözmenin üreteceğiyle istatistiksel olarak aynıdır — bu, kuantizasyon ya da daha küçük bir model katmanı gibi kaliteyi hıza takas etmek değildir ve çıktı üzerinde A/B testi yapılacak bir şey yoktur. Değişen şey, gerçekte ne kadar hızlanma elde ettiğinizdir. Genellikle mütevazı bir kat aralığında kalan kazanç, tamamen kabul oranına bağlıdır: küçük taslak modelin tahminleri, büyük modelin seçeceğiyle ne sıklıkla örtüşür. Öngörülebilir, kalıplaşmış metin — yapılandırılmış veri çıkarımı, standart kod, kısıtlı JSON — yüksek kabul oranı ve en büyük kazancı getirir. Son derece yaratıcı ya da gerçekten öngörülemez üretim ise sık reddedilir ve her ret taslak işini boşa çıkarır; tekniğin serbest yazımda çok daha az yardımcı olmasının, uç durumlarda neredeyse hiç fayda sağlamamasının nedeni budur. Taslak model ayrıca hedefe iyi eşleşmelidir; uyumsuz ya da fazla zayıf bir taslakçı kabul oranını düşürür ve faydayı yer. Çoğu ekip için bu, verdikleri bir karar değil platformun bir özelliğidir, çünkü sunum yığınının içinde uygulanır ve istek parametresi olarak dışarı açılmaz — ama barındırılan sağlayıcıları karşılaştırırken veya kendi sunucunuzu yapılandırırken sormaya değer, zira çoğu gecikme optimizasyonunun aksine çıktı sadakatinden hiçbir şey götürmez ve bu yüzden tartılacak bir dezavantajı yoktur. Ayrıca taslak modelin kendisi de bellek ve hesaplama tüketir; çok küçükse kabul oranı düşer, çok büyükse tasarruf ettiği zamanı kendi çalıştırması yer. Uygulamada bu denge, ölçmeden kestirilemeyeceği için gerçek iş yükünüzde ölçülmesi gereken bir ayardır.