Эффект потолка

Эффект потолка возникает, когда почти каждый случай в оценочном наборе отвечается верно и набор перестаёт различать две системы. Число выглядит отличным и не несёт почти никакой информации: изменение, которое заметно улучшило дело, и изменение, которое не сделало ничего, дают один и тот же результат, потому что места показать разницу не осталось. Зеркальная картина, где почти всё проваливается и улучшения одинаково невидимы, на практике встречается реже и ведёт себя так же. К потолку наборы приходят двумя путями. Системы улучшились — это счастливая версия: материал был уместен, когда его писали, а работа ушла вперёд. Или набор собрали из случаев, которые легко было собрать, а это обычно ясные, хорошо сформулированные, типичные, и различать он не умел с самого начала. В обоих случаях симптом один: высокое среднее при схлопнувшемся разбросе и помесячные сдвиги в пределах шума. Заметить это рано помогает наблюдение за распределением, а не за средним. Если число высокое, посмотрите, сколько случаев верно решают все системы: эта доля — мёртвый груз сравнения. Ответ — добавить материал, а не ужесточить оценщика: суровая шкала, применённая к лёгким случаям, даёт более низкие числа, не давая больше сведений. Трудные случаи приходят оттуда, где вы уже смотрите: отказы, накопленные с момента сборки набора; категории классификации, оставшиеся упрямыми; входы, которые пользователи реально присылают и которые никто не стал бы придумывать. Лёгкие случаи сохраните как регрессионный пол — именно они ловят плохой релиз, — и отчитывайтесь по двум группам отдельно, чтобы улучшение на трудном материале было видно, а не усреднялось в число, которое не может сдвинуться. Тот же эффект объясняет, почему набор, унаследованный от прошлого проекта, так часто выглядит лестно на первом же прогоне. Он калиброван под систему, которой больше нет, и успокаивающее число, которое он выдаёт, — утверждение о той системе, а не о вашей.