Kör Değerlendirme

Kör değerlendirme, bir çıktıyı puanlayan kişinin ya da sürecin onu hangi sistemin ürettiğini bilmemesi demektir. Son derece güvenilir ve neredeyse tümüyle bilinçdışı bir yanlılık için mevcut en ucuz düzeltmedir: yeni yaklaşımdan geldiği bilinen bir çıktı, aynı çıktının eskiye atfedilmiş hâlinden daha cömert okunur; özellikle de okuyan kişi iki haftasını yeni yaklaşımı kurmakla geçirmişse. Etki, dürüstsüzlük gerektirmez ve insanlar uyarıldığında ortadan kalkmaz. Körleştirmek çoğunlukla mekaniktir. Çıktılardan etiketleri sıyırın, sırayı karıştırın ki bir sistem sürekli başta olmasın ve biçimlendirmede kaynağı ele veren bir şey kalmadığından emin olun — bir yanıta başlamanın kendine özgü bir biçimi, yalnızca tek bir sistemin ürettiği bir uzunluk, metinde kalmış bir işaret. İki çıktının yan yana karşılaştırıldığı yerde her birinin hangi tarafta görüneceğini rastgeleleştirin; çünkü nitelikle hiçbir ilgisi olmayan, ölçülebilir bir konum tercihi vardır. Puanlayıcı olarak bir model kullanıldığında da aynı disiplin geçerlidir: adayları rastgele sıraya koyun ve hangisinin mevcut olduğunu söylemeyin. Sistem adının ötesinde birkaç şeyi daha körleştirmeye değer. Birden çok ekip yarışıyorsa çıktının hangi ekipten geldiğini. Bir vakanın daha önce sistemin başarısız olduğu bir vaka olup olmadığını, çünkü bunu bilmek dikkati kaydırır. Ve ayarlanabildiği yerde müşterinin ya da hesabın kimliğini; aksi hâlde kendi beklentilerini içeri taşır. Bunların hiçbiri pahalı değildir ve atlanmasının olağan nedeni sonucun önceden apaçık hissedilmesidir — ki bu, yanlılığın en güçlü işlediği koşulun ta kendisidir. Bir çekince: körleştirme karşılaştırmayı korur, ölçütü değil. Puanlama yönergesinin kendisi hoşgörülüyse, kör puanlama o hoşgörüyü her şeye eşit uygular ve iki sistem de olduğundan iyi görünür. Kör değerlendirme hangisinin yeğlendiğini söyler; herhangi birinin yeterince iyi olup olmadığını söylemez.