Test Anı Hesaplaması (Test-Time Compute)

Test anı hesaplaması (çıkarım anı hesaplaması olarak da bilinir), bir modelin daha iyi cevaplar üretmesini yalnızca daha büyük olmasına ya da daha uzun eğitilmesine değil, soruyu sorduğunuz anda daha fazla hesaplama harcamasına dayandıran fikirdir. Model ilk aklına geleni yazmak yerine daha uzun bir düşünce zinciri üretir, birkaç aday cevap örnekleyip aralarında oylama yapar ya da olası çözümler üzerinde arama yürütür. Akıl yürüten modellerin ardındaki motor budur. Çarpıcı bulgu şudur: cömert bir test anı hesaplama bütçesi verilen küçük bir model, zor işlerde çok daha büyük bir modele yetişebilir — kapasiteyi model boyutu yerine çıkarım maliyetiyle satın alırsınız. SaaS geliştiricileri için bu bir kaldıraçtır: zor bir istekte düşünme bütçesini artırıp kaliteyi yükseltebilir, kolay isteklerde ise minimumda tutarak paradan ve gecikmeden tasarruf edebilirsiniz. Takas doğrudandır — daha fazla test anı hesaplaması, faturalanan daha fazla token ve daha yavaş cevaplar demektir — bu yüzden onu her yere uygulamak yerine işin zorluğuna bağlayın.