Açıklanabilirlik

Açıklanabilirlik, bir modelin belirli bir çıktıyı neden ürettiğini, bir insanın denetleyebileceği terimlerle söyleyebilmektir. Sıkça birbirine karıştırılan üç ayrı nedenle istenir. Bir düzenleyici ya da bir müşteri, birini etkileyen bir kararın savunulabilir bir gerekçesini ister. Bir mühendis yanlış bir yanıtta hata ayıklamak ister. Bir kullanıcı ise önündeki çıktıya güvenip güvenmeyeceğine karar verecek kadar bağlam ister. Bu üç izleyici farklı ürünlere ihtiyaç duyar ve birini karşılayan bir yöntem diğeri için işe yaramaz olabilir. Eldeki teknikler insanların sandığından daha zayıf soruları yanıtlar. Öznitelik atıf yöntemleri, çıktının hangi girdilere en duyarlı olduğunu bildirir; bu, dünya hakkında değil model hakkında bir ifadedir, dolayısıyla yüksek atıf alan bir öznitelik bir neden değil bir vekil olabilir. Örnek temelli yöntemler en yakın eğitim örneklerini gösterir; bu, uzman olmayan biri için genellikle ağırlık grafiğinden daha ikna edicidir. Dil modellerinde, üretilmiş bir akıl yürütme açıklaması, yanıtı üreten sürecin ürettiği metindir; bu yüzden akıcı, akla yatkın ve gerçek hesaplamayla ilgisiz olabilir. Böyle bir açıklama gözden geçirme için yararlıdır ama kanıt olarak güvensizdir. Buradan iki pratik sonuç çıkar. Bir açıklamanın savunulabilir olması gerektiğinde güvenilir yol çoğu zaman daha basit bir modeldir ya da saydam bir kuralın sonuç doğuran kararı verdiği, karmaşık modelin ise sıralama veya ön eleme yaptığı melez bir kurgudur. Ve gereksinim aslında yorum değil izlenebilirlikse yanıt matematik değil mühendisliktir: model sürümünü, girdileri, getirilen bağlamı ve çıktıyı kaydedin ki karar birebir yeniden kurulabilsin. Bu kayıt denetim sorularının çoğunu yanıtlar ve bir atıf grafiğinden farklı olarak kimsenin bir yoruma inanmasını gerektirmez.