Воспроизводимость

Воспроизводимость в оценке — это свойство, при котором повторный запуск того же измерения даёт тот же ответ, а там, где не даёт, вы можете точно сказать почему. Она важна потому, что любое утверждение об улучшении есть сравнение двух прогонов, а сравнение осмысленно только тогда, когда различие между прогонами и есть то, что вы поменяли. Где это не так, команды празднуют улучшение, которого коллега не видит, и спор обычно решается тем, кто запускал последним, а не свидетельствами. Чтобы прогон был воспроизводим, закрепить нужно несколько вещей, и очевидны лишь некоторые из них. Версию оценочного набора, включая строки, тихо исправленные с прошлого раза. Версию инструкций или шкалы, по которой ставились оценки. Версию проверяемой системы, включая материал подсказки и всё, что она подтягивает: шаг извлечения, читающий меняющийся индекс, делает вчерашний прогон неповторимым, даже когда всё остальное закреплено. Оценщика — человека, скрипт или модель — и его собственную настройку. Порядок предъявления случаев. И случайность в генерации, где зерно есть один рычаг, а не весь ответ. Полная детерминированность часто недостижима, и гнаться за ней — неверная цель. Достижимая и полезная версия в том, что каждый из этих факторов записан рядом с числом, и когда два прогона расходятся, список возможных причин короток и поддаётся проверке. Файл результатов, в котором есть оценка и больше ничего, — это не измерение, а воспоминание о нём, и оно перестаёт заслуживать доверия в момент, когда кто-то задаёт о нём второй вопрос. Самая дешёвая привычка, покупающая большую часть этого, — записывать конфигурацию прогона в файл результатов автоматически, а не в сообщение постфактум. Всё, что зависит от того, вспомнит ли человек пометить, что он менял, остаётся точным примерно две недели.