Эталонный ответ

Эталонный ответ — это образец, с которым сравнивают выход системы: метка, говорящая, каким был правильный результат для этого случая. Само слово эталон намекает на нечто найденное, как скальное основание, а самое полезное знание о нём в том, что он изготовлен. Кто-то принял решение, по определённому набору инструкций, в конкретное время, и оценка, которую вы потом публикуете, наследует все свойства этого решения. Для узкой задачи изготовление бесспорно: сумма в счёте либо сходится, либо нет, и два внимательных человека согласятся. Для большинства того, что на деле поручают функции на основе искусственного интеллекта, это не так. Была ли выжимка верной источнику? Был ли ответ уместен для раздражённого клиента? Была ли классификация правильной, если в сообщении действительно два намерения? У таких вопросов есть несколько защитимых ответов, и в момент, когда набор из них заморожен как истина, разногласие перестаёт быть видимым и начинает считаться ошибкой. Отсюда три следствия, с которыми стоит что-то делать. Записывайте, кто решал и по какой версии инструкций: метка — это датированное суждение, а инструкции меняются. Сохраняйте разногласия, а не выбрасывайте их; случаи, где обученные люди разошлись, — самые содержательные строки набора, и усреднение убирает ровно тот материал, который показал бы, где задача действительно неоднозначна. И разделяйте два отказа, которые может означать низкая оценка: система, помеченная как ошибшаяся, могла выдать ответ, который разумный человек принял бы, тогда как в эталоне записан другой. Там, где истина спорна, говорите об этом на странице, а не в сноске, и отчитывайтесь по неоднозначным случаям отдельно от тех, у которых один защитимый ответ. Та же осторожность нужна, когда эталонный набор приходит извне. Набор, собранный кем-то другим, кодирует его инструкции, его решения по краевым случаям и момент, когда они принимались, — ничего из этого в файле не видно. Поэтому первое полезное действие с ним: попросить двух своих людей разметить выборку и посмотреть, согласны ли они с набором.