Разрешение разногласий

Разрешение разногласий — это заданная процедура для случая, когда двое разметчиков одного и того же примера разошлись. Измерение согласия говорит, как часто это происходит; разрешение — это то, что вы с этим делаете, и разметка без такой процедуры копит спорные строки, которые в итоге решает тот, кто выгружает файл. Обычные механизмы просты. Третий человек разбивает ничью, не видя первых двух ответов. Или старший рецензент решает и записывает почему. Или два исходных разметчика обсуждают и приходят к совместному ответу — медленнее, но объяснения получаются лучшими. Работает любой из них; не работает молча взять первую метку или большинство из трёх, когда все трое гадают, потому что и то и другое прячет разногласие вместо того, чтобы его снять. Главный результат — не решённая метка. Это причина и то изменение инструкций, которое из причины следует. Случай, который двое обученных людей прочитали по-разному, почти всегда случай, не покрытый инструкцией, и запись решения в инструкцию — это то, что не даёт следующим двадцати примерам того же рода тоже стать спорными. Набор, по которому разногласия сняли, но инструкции не поправили, даст те же расхождения на следующей партии, и никто не поймёт, почему доля не улучшилась. Ведите учёт строк, потребовавших разрешения, и считайте этот список картой мест, где задача действительно трудна. Это же предупреждение о метрике: если заметная доля набора нуждалась в разбитии ничьей, доверие к посчитанным по нему оценкам должно быть ниже, чем подсказывает арифметика, а раздельная отчётность по двум группам честнее, чем их слияние. Стоит заранее решить и то, что делать, когда разногласие не снимается вовсе. Часть примеров действительно неоднозначна, и принуждение к единственному ответу превращает честное неизвестно в неверный эталон. Пометка таких строк как исключённых, с указанием причины, держит их вне оценки и сохраняет то, что они показывают о задаче.