Разброс между прогонами

Разброс между прогонами — это расхождение, которое получается, когда одну и ту же систему оценивают дважды на одном наборе, ничего не меняя. Это не то же самое, что ошибка выборки, связанная с выбором случаев: здесь речь о том, что система и измерение дают разные ответы на одинаковых входах. Вносят вклад несколько источников. Генерация может быть выборочной, а не фиксированной. Извлечение может вернуть другой набор фрагментов по мере обновления индекса или из-за иного разрешения ничьих. Оценивающая модель приносит собственную вариацию. Порядок, пакетирование и параллельность меняют результат в системах, где ранняя работа влияет на позднюю. Инфраструктура может уронить по тайм-ауту один случай из сотни занятым днём и не уронить спокойным. Следствие практическое и его регулярно игнорируют: разница между двумя прогонами, меньшая этого разброса, результатом не является, как бы аккуратно ни выглядела арифметика и как бы команде этого ни хотелось. На повторные объяснения изменений, которые были шумом, уходят недели, а хуже того, на их основании выкатывают правки. Лекарство дёшево. Прежде чем что-либо сравнивать, прогоните одну и ту же неизменную конфигурацию несколько раз и посмотрите, насколько число гуляет само по себе. Эта величина становится разрешающей способностью вашего прибора, и её следует публиковать рядом с оценкой, а не держать в чьей-то голове. Если предполагаемое улучшение меньше разброса, либо измеряйте больше, либо снижайте вариацию там, где можете, либо честно скажите, что изменение вашей установкой не обнаруживается: это законная находка, а не провал, и она заметно лучше объявления, которое тихо разворачивается в следующем месяце. Разброс стоит показывать и тем, кто читает результаты, а не только тем, кто их производит. Заинтересованная сторона, увидев одно число, сочтёт его точным; а когда число во второй раз сдвинется не туда, разговор пойдёт куда легче, если все уже знают, какое движение не значит ничего.