İnsan Temel Çizgisi

İnsan temel çizgisi, ölçülen sistemle aynı değerlendirme kümesinde, aynı yönergeler ve aynı puanlama kuralları altında insanların aldığı puandır. Var olma nedeni, yalıtılmış bir puanın yorumlanamaz olmasıdır. Vasat duyulan bir sonuç, gerçekten belirsiz bir görevde kimsenin daha iyisini yapamadığı düzeye yakın olabilir; güçlü duyulan bir sonuç, eğitimli bir kişinin bir dakikada yaptığının epeyce altında olabilir. Karşılaştırma olmadan hangi durumda olduğunuzu anlamanın yolu yoktur ve sistemin yeterince iyi olup olmadığı tartışması sezgiyle yürür. Doğru ölçmek, insanlara daha iyisini değil aynı koşulları vermek demektir. Aynı vakalar, aynı yönergeler, aynı zaman baskısı ve aynı kuralla puanlama — bu, insan yanıtının da sistem için kullandığınız hangi puanlayıcı varsa onunla notlandırılması gibi rahatsız edici kısmı içerir; böylece ikisi de aynı tuhaflıklara maruz kalır. Birden fazla kişiyi ölçmekte de yarar var; çünkü bireyler arasındaki açıklık çoğu zaman tartıştığınız farktan geniştir ve tek bir uzmanın puanı bir temel çizgi değil bir veri noktasıdır. İki uyarı. Temel çizgi, genel olarak insan yeteneğini değil bu kümedeki ve bu yönergeler altındaki başarımı betimler; onu ikincisi diye aktarmak, ölçülü bir ölçümün şişirilmiş bir iddiaya dönüşme yoludur. Ve insan sayısına ulaşan bir sistem bu nedenle bir yerine geçme değildir, çünkü hatalar farklı dağılacaktır: insanlar sıkıcı ve aceleye gelmiş olanda, sistemler alışılmadık ve eksik tanımlanmış olanda hata yapma eğilimindedir ve benzer bir ortalama, birinin tam da arızanın en pahalı olduğu yerde arızalandığını gizleyebilir. Küme değişiyorsa bir kez ölçmek de yetmez. Temel çizgi, değerlendirme malzemesinin bir sürümüne aittir ve bu çeyreğin sistem puanını geçen yılın vakalarında üretilmiş bir insan sayısıyla karşılaştırmak, aynı adı taşıyan iki farklı görevi karşılaştırmaktır.

İlgili terimler

Daha fazla MLOps Süreçleri terimi