Tavan Etkisi

Tavan etkisi, bir değerlendirme kümesindeki neredeyse her vakanın doğru yanıtlanması ve kümenin iki sistemi birbirinden ayırt edememeye başlaması durumudur. Sayı mükemmel görünür ve neredeyse hiç bilgi taşımaz: işleri anlamlı biçimde iyileştiren bir değişiklik ile hiçbir şey yapmayan bir değişiklik aynı sonucu üretir, çünkü farkı gösterecek yer kalmamıştır. Ayna görüntüsü, yani neredeyse her şeyin başarısız olduğu ve iyileşmelerin aynı biçimde görünmez kaldığı durum, pratikte daha seyrektir ve aynı biçimde davranır. Kümeler tavana iki yoldan ulaşır. Sistemler iyileşir; bu mutlu sürümdür — malzeme yazıldığında uygundu ve iş onun ötesine geçti. Ya da küme, toplanması kolay vakalardan derlenmiştir; bunlar genelde açık, düzgün kurulmuş ve tipik olanlardır ve küme en baştan ayırt edici olamamıştır. Her iki durumda da belirti aynıdır: yüksek bir ortalama, çöken bir yayılım ve gürültünün içinde kalan aydan aya hareketler. Bunu erken görünür kılan şey, ortalamayı değil dağılımı izlemektir. Sayı yüksekse, her sistemin doğru bildiği vaka sayısına bakın; çünkü o kesir karşılaştırmada ölü ağırlıktır. Yanıt, puanlayıcıyı sertleştirmek değil malzeme eklemektir; kolay vakalara uygulanan sert bir ölçü, daha fazla bilgi üretmeden daha düşük sayılar üretir. Zor vakalar zaten bildiğiniz yerlerden gelir: küme kurulduğundan beri toplanan arızalar, sınıflandırmada inatçı kalan kategoriler, kullanıcıların gerçekte gönderdiği ve kimsenin yazmayacağı girdiler. Kolay vakaları bir gerileme tabanı olarak saklayın, çünkü kötü bir sürümü yakalayan onlardır; ve iki grubu ayrı raporlayın ki zor malzemedeki iyileşme, kıpırdayamayan bir sayının içinde ortalanmak yerine görünür olsun. Aynı etki, önceki bir projeden devralınan bir kümenin ilk koşuda neden bu kadar sık iltifat edici göründüğünü de açıklar. O küme artık var olmayan bir sisteme göre ayarlanmıştır ve ürettiği güven verici sayı, sizinki hakkında değil o sistem hakkında bir ifadedir.