[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-run-to-run-variance::ru":3,"gloss-cluster-run-to-run-variance::ru":23,"gloss-next-run-to-run-variance::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"run-to-run-variance","mlops","Разброс между прогонами","Разброс между прогонами — это расхождение, которое получается, когда одну и ту же систему оценивают дважды на одном наборе, ничего не меняя. Это не то же самое, что ошибка выборки, связанная с выбором случаев: здесь речь о том, что система и измерение дают разные ответы на одинаковых входах. Вносят вклад несколько источников. Генерация может быть выборочной, а не фиксированной. Извлечение может вернуть другой набор фрагментов по мере обновления индекса или из-за иного разрешения ничьих. Оценивающая модель приносит собственную вариацию. Порядок, пакетирование и параллельность меняют результат в системах, где ранняя работа влияет на позднюю. Инфраструктура может уронить по тайм-ауту один случай из сотни занятым днём и не уронить спокойным. Следствие практическое и его регулярно игнорируют: разница между двумя прогонами, меньшая этого разброса, результатом не является, как бы аккуратно ни выглядела арифметика и как бы команде этого ни хотелось. На повторные объяснения изменений, которые были шумом, уходят недели, а хуже того, на их основании выкатывают правки. Лекарство дёшево. Прежде чем что-либо сравнивать, прогоните одну и ту же неизменную конфигурацию несколько раз и посмотрите, насколько число гуляет само по себе. Эта величина становится разрешающей способностью вашего прибора, и её следует публиковать рядом с оценкой, а не держать в чьей-то голове. Если предполагаемое улучшение меньше разброса, либо измеряйте больше, либо снижайте вариацию там, где можете, либо честно скажите, что изменение вашей установкой не обнаруживается: это законная находка, а не провал, и она заметно лучше объявления, которое тихо разворачивается в следующем месяце. Разброс стоит показывать и тем, кто читает результаты, а не только тем, кто их производит. Заинтересованная сторона, увидев одно число, сочтёт его точным; а когда число во второй раз сдвинется не туда, разговор пойдёт куда легче, если все уже знают, какое движение не значит ничего.","Разброс между прогонами — расхождение при повторной оценке той же системы. Откуда он берётся и почему меньшие различия не результат.",null,[11,14,17,20],{"slug":12,"name":13},"ab-testing","A\u002FB-тестирование",{"slug":15,"name":16},"non-determinism","Недетерминированность (Non-Determinism)",{"slug":18,"name":19},"seed-control","Контроль сида (Seed)",{"slug":21,"name":22},"statistical-significance","Статистическая значимость",[24,28,31,35,38,41,44,47,50,53,56,59],{"slug":25,"category":5,"name":26,"updated_at":27},"acceptance-threshold","Порог приёмки","2026-09-10T03:30:02+00:00",{"slug":29,"category":5,"name":30,"updated_at":27},"adjudication","Разрешение разногласий",{"slug":32,"category":5,"name":33,"updated_at":34},"annotation-guidelines","Инструкции по разметке","2026-09-08T21:32:36+00:00",{"slug":36,"category":5,"name":37,"updated_at":34},"baseline-model","Базовая модель (baseline)",{"slug":39,"category":5,"name":40,"updated_at":34},"batch-inference","Батч-инференс",{"slug":42,"category":5,"name":43,"updated_at":27},"blind-evaluation","Слепая оценка",{"slug":45,"category":5,"name":46,"updated_at":34},"canary-prompt","Канареечный промпт",{"slug":48,"category":5,"name":49,"updated_at":27},"ceiling-effect","Эффект потолка",{"slug":51,"category":5,"name":52,"updated_at":34},"champion-challenger","Чемпион–претендент (A\u002FB-тестирование моделей)",{"slug":54,"category":5,"name":55,"updated_at":34},"class-imbalance","Дисбаланс классов",{"slug":57,"category":5,"name":58,"updated_at":34},"continuous-batching","Continuous Batching (непрерывная пакетная обработка)",{"slug":60,"category":5,"name":61,"updated_at":27},"coverage-gap","Пробел в покрытии"]