Işın Arama (Beam Search)

Işın arama, her adımda tek bir belirteci kesinleştirmek yerine birden çok aday devamı aynı anda canlı tutan bir çözümleme stratejisidir. Çözücü, sabit sayıda kısmi diziyi — ışın genişliğini — elinde tutar, her birini genişletir, sonuçları birikimli olasılığa göre puanlar ve en iyi birkaçını saklar. Sonunda en yüksek puanlı tam diziyi döndürür. Her zaman yerel olarak en olası belirteci seçen ve erken yapılmış kötü bir tercihten dönemeyen açgözlü çözümlemeye kıyasla ışın arama, ağacın yeterince büyük bir kısmını gezerek başlangıcı umut vermeyen ama sonu iyi biten dizileri bulabilir. Doğal alanı, tek bir doğru yanıtı olan görevlerdir: makine çevirisi, konuşma yazıya dökme, yapılandırılmış çıkarım, ayrıştırılabilmesi gereken kod. Uçu açık üretim için ise çok daha az uygundur. Toplam olasılığı en iyilemek sistematik olarak kısa, güvenli ve tekrarlayan metni öne çıkarır; serbest biçimli asistanların bunun yerine genellikle sıcaklık ve top-p ile yönetilen örnekleme yöntemleriyle sunulmasının nedeni budur. İkinci mesele maliyettir: dört genişliğinde bir ışın, aynı çıktı uzunluğu için açgözlü çözümlemenin kabaca dört katı hesaptır. Barındırılan sohbet API'lerinin çoğu ışın aramayı hiç açmaz; dolayısıyla pratikte bu, modeli kendiniz çalıştırdığınızda ve tek bir doğru çıktının bulunduğu bir görevde defalarca örnekleyip seçmek yerine bedelini ödemeyi tercih ettiğinizde başvurduğunuz bir koldur.