Шум в метках

Шум в метках — это ошибки в самих эталонных ответах: случаи, когда записанный как верный ответ верным не является. Это не то же самое, что расхождение разметчиков, которое измеримо и часто содержательно. В шум входят и случаи, где все согласны и все ошибаются: инструкция, которую вся команда прочитала одинаково неправильно; категория, значившая другое в момент сборки набора; партия, размеченная в конце длинного дня; правило, изменившееся на полпути без возврата к более ранним строкам. Практическое следствие — потолок. Если часть эталонных ответов неверна, ни одна система не наберёт по этому набору идеально, а хуже того, ближе всего к идеалу окажутся те, что научились воспроизводить ошибки. Выше некоторого уровня измеренного качества вы сравниваете системы уже не с реальностью, а с её дефектной расшифровкой, и улучшения перестают проявляться в числе, оставаясь настоящими. Это одна из причин, по которым застывшую метрику стоит расследовать со стороны набора, а не только со стороны системы. Найти шум дешевле, чем думает большинство команд. Возьмите случаи, где система расходится с меткой наиболее уверенно, и прочитайте их вручную: заметная их доля обычно оказывается ошибками разметки, а не системы, и каждая найденная — одновременно исправление и симптом, указывающий на породившую её инструкцию. Почините метку, затем инструкцию, затем проверьте, не сидит ли то же непонимание в строках, куда никто не заглядывал. И фиксируйте исправления, а не правьте молча: набор, меняющийся под метрикой, делает два прогона одной системы несравнимыми так, что этого никто не замечает. Стоит признать и наличие пола. С некоторого момента метки нельзя сделать чище за разумные деньги, и честный ответ — заявить тот уровень шума, который, по вашей оценке, несёт набор, и перестать отчитываться о различиях меньше него, а не публиковать число с точностью, которой материал не выдерживает.