Выборочная проверка

Выборочная проверка — это небольшое, регулярное, ручное чтение настоящих выходов, выполняемое как контроль над автоматическим измерением, а не как его замена. Человек садится, берёт горсть случаев и смотрит, что система на самом деле произвела. Звучит слишком просто для практики и ловит класс проблем, недоступный никакому сводному числу, потому что каждое автоматическое число считает механика, которая сама может быть тихо сломана. Подсчёт может молча пропускать всё после правки оценщика. Шаг разбора может отбрасывать ту часть ответа, которая и была важна, и оценивать остаток. Конвейер может проверять устаревшую версию. Выходы могут ухудшаться так, как шкала не спрашивает: тон стал резким, формат уехал, появилась привычка отвечать на вопрос более узкий, чем заданный. Всё это даёт здоровую панель. Делать это хорошо — в основном вопрос того, что попадает в выборку. Включайте успехи, а не только отказы: цель проверить оценщика не меньше, чем систему, а ошибающийся оценщик обычно ошибается в том, что пометил как верное. Берите выборку, не выбирая её. Смотрите на сырой выход, а не на его отрисованную сводку: именно при отрисовке чаще всего теряются сведения. И держите проверку короткой и частой, а не длинной и редкой: горсть случаев еженедельно лучше большого разбора раз в квартал, потому что ценность в том, чтобы заметить изменение вскоре после его начала. Записывайте, что проверяли и что увидели, даже когда всё было в порядке. Именно запись позволяет потом сказать, когда поведение началось, а не только что оно есть. Это же практика, которую вероятнее всего бросают, когда команда занята, и первым признаком того, что её бросили, обычно оказывается инцидент, который панель несколько недель показывала как норму. Закрепление за названным человеком и фиксированным днём переживает нагрузку лучше, чем закрепление за командой.