Разбор ошибок

Разбор ошибок — это практика читать отдельные отказы и группировать их, вместо того чтобы читать оценку. Оценка отвечает на вопрос сколько; разбор отвечает на вопрос что, и только второй говорит, что строить дальше. Метод невзрачен. Выньте случаи, где система ошиблась, возьмите несколько десятков, прочитайте каждый и запишите короткую фразу о том, что на самом деле пошло не так, — не отметку, а причину. Потом разложите фразы по группам и посчитайте. Почти всегда выясняется, что небольшое число различных проблем даёт большую часть отказов и что это не те проблемы, которые команда обсуждала. Шаг извлечения не вернул ничего полезного для целого класса вопросов. Система ответила не на тот вопрос, который задавали. Ответ был верным, но в формате, который отверг следующий шаг. Это четыре разные работы с четырьмя разными владельцами, и сводная оценка не содержала ничего из этого. Чтобы делать это хорошо, нужна дисциплина в нескольких местах. Берите выборку, а не выбирайте вручную: запоминающиеся отказы редко бывают частыми. Читайте вход, а не только выход: удивительная доля ошибок оказывается случаями, на которые в такой постановке ответить было нельзя. Держите заметки в файле, а не в совещании, чтобы второй заход можно было сравнить с первым. И повторяйте разбор после исправления, а не доверяйте подтверждение оценке: оценка может вырасти, тогда как выбранная вами группа осталась нетронутой, а тихо сжалась другая. Результат хорошей сессии — упорядоченный список причин, у каждой из которых есть счёт и имя, и это сырьё и для списка задач, и для классификации. Это ещё и самый дешёвый способ обнаружить, что система отказывает бесшумно. Сводные оценки считаются по случаям, которые дали ответ; те, что упали по тайм-ауту, вернули пустоту или были отброшены до подсчёта, часто вообще отсутствуют в знаменателе, и замечает это обычно тот, кто читает выборку сырых прогонов, а не таблицу результатов.