Model Kademelemesi

Model kademelemesi, bir isteğin önce küçük, hızlı ve ucuz bir modelce ele alındığı ve ucuz denemenin yetersiz bulunduğu durumda daha büyük bir modele geçirildiği bir çıkarım örüntüsüdür. Çoğu iş yükünün paylaştığı bir dağılıma dayanır: isteklerin çoğu kolaydır, azınlığı zordur ve hepsi için üst düzey ücret ödemek, çoğu için fazla ödemek demektir. Tasarım sorusu tamamen yükseltme sinyaliyle ilgilidir: sistem ilk yanıtın yeterince iyi olmadığına nasıl karar verir. Seçenekler arasında modelin kendi ifade ettiği belirsizlik, çıktıyı bir şemaya ya da kurala karşı denetleyen bir doğrulayıcı, yanıtı puanlayan bir denetçi model, iki ucuz denemenin uyuşması ya da uzunluk, dil veya konu gibi girdi sezgileri vardır. Her biri kusurludur ve kademelemenin niteliği, iki modelden değil bu kararın ne kadar iyi verildiğinden sınırlanır. Ödünleşimi iki arıza kipi belirler. Çok seyrek yükseltmek zayıf yanıtların geçmesine izin verir; bu, ucuz modeli hiç kullanmamaktan kötüdür, çünkü kendinden emin görünen yanlış bir yanıt yavaş bir yanıttan pahalıya mal olur. Çok sık yükseltmek aynı istekte iki modelin de maliyetine girer ve her şeyi doğrudan büyük modele göndermekten pahalı çıkabilir. Hangi tarafta olduğunuzu bilmenin tek yolu, yükseltme oranıyla istek başına maliyeti birlikte ölçmektir. Gecikme burada maliyetten farklı davranır. Kademeleme, yükseltilen her isteğe ucuz modelin gecikmesini ekler; dolayısıyla ortalama ucuzlarken dağılımın kuyruğu yavaşlar. Etkileşimli özelliklerde bu önemlidir ve açıkça zor olan istekleri, başarısız bir ucuz denemeyi beklemek yerine girdi sinyalleriyle doğrudan büyük modele yönlendirmek çoğu zaman değerlidir. Kademelemeler doğruluğun denetlenebilir olduğu yerde en iyi işler. Yapılandırılmış çıkarma, sabit bir kümeye sınıflandırma, derlenmesi gereken kod ve getirilen bir kaynağa atıf vermesi gereken yanıtların hepsi, yükseltmeyi sürebilecek ucuz ve nesnel bir sınama sunar. Kalitenin bir yargı meselesi olduğu ucu açık üretimi iyi kademelemek çok daha zordur, çünkü tek güvenilir hakem büyük modelin kendisi kadar pahalı olabilir. İşletimsel olarak kademelemeyi tek bir sürümlenmiş yapılandırma sayın: iki model, sürümleri, yükseltme kuralı ve eşikleri. Bütünü sabit bir vaka kümesine karşı tek parça olarak değerlendirin ve üretimde yükseltme oranını izleyin; girdiler değiştikçe kayar ve ucuz modelin ya da eşiğin artık uygun olmadığının genelde ilk işaretidir.