Otomasyon Yanlılığı (Automation Bias)

Otomasyon yanlılığı, bir makinenin çıktısına kanıtın haklı çıkardığından daha çok güvenme ve makine konuştuktan sonra kanıtı hiç aramayı bırakma eğilimidir. Havacılıkta ve klinik karar desteğinde on yıllardır çalışılmıştır ve bir yapay zekâ özelliğinin ekibi daha iyi mi yoksa yalnızca yanılmakta daha hızlı mı yaptığına karar veren insan etmenidir. İki yönde ortaya çıkar. İnsanlar yanlış ama makul bir öneriyi kabul eder; çünkü kontrol etmek emek ister ve sistem genelde haklıdır. İnsanlar ayrıca sistemin işaretlemediği bir şeye karşı harekete geçmez; çünkü uyarının yokluğu her şey yolunda diye okunur. İkincisi daha tehlikelidir, çünkü hiçbir yanı karara benzemez ve hiç verilmemiş bir yargıdan geriye iz kalmaz. Akıcılık, üretken sistemleri özel bir durum yapar. Dildeki kendinden eminlik, insanların birbirinin güvenilirliğini yargılarken kullandığı bir sinyaldir ve bir modelin üretmesi neredeyse bedavadır; bu yüzden en az temellendirilmiş çıktı en ikna edici olan olabilir. Çekingen ve kötü yazılmış doğru bir yanıt, bunu bilerek telafi etmeyen hemen her inceleme sürecinde cilalı ve yanlış olana yenilir. Karşı önlemler uyarılar değil tasarım seçimleridir. Yanıtın neye dayandığını gösterin — kaynağı, kaydı, hesabı — ve bunu kontrol etmeyi güvenmekten kolay kılacak kadar yakına koyun. Anlaşmazlığı ve belirsizliği düzleştirmek yerine yüzeye çıkarın. Gözden geçirenin vermesi gereken kararı önceden doldurmayın. Ve incelemenin gerçek olup olmadığını ölçün: büyük bir hacimde neredeyse sıfır olan bir geçersiz kılma oranı, sistemin okunduğu değil, ona itibar edildiği anlamına gelir. Alıcılar için bir demonun göründüğünden az şey kanıtlamasının nedeni budur. Asıl soru, aracın çoğu zaman haklı olup olmadığı değil; birkaç ay boyunca çoğu zaman haklı çıkmasının ardından ekibin kendi teyakkuzuna ne olduğudur — çünkü aracın yanıldığı vaka tam o zaman gelir ve o zamana kadar kimse bakmıyordur.