Пробел в покрытии

Пробел в покрытии — это вид случаев, которых в вашем оценочном наборе нет вовсе. Это самая недоисследованная слабость любой измерительной программы, потому что пробел не производит отказов: систему просто не проверяют на отсутствующем материале, ничего не краснеет, а публикуемое число оказывается уверенным утверждением о мире более узком, чем тот, в котором живёт продукт. Пробелы возникают обычными путями. Набор собрали из среза трафика, взятого до выхода функции, поэтому эту функцию ничто не задействует. Его вытянули из одного рынка, или одного языка, или тех аккаунтов, что случайно попали в выгрузку. Позже пришёл сегмент клиентов и принёс тип документов, которого никто не видел. Интеграция начала слать запросы в форме, какой у исходных случаев не было. Всё это невидимо изнутри результатов, и ничто из этого не проявляется как более низкая оценка. Искать пробелы — значит сравнивать набор не с самим собой. Основную работу делают два сравнения. Возьмите свежий срез живых входов и спросите по каждой грубой категории в нём, сколько случаев есть в наборе; для нескольких ответ обычно ноль. И возьмите список того, в чём захотела бы получить уверенность заинтересованная сторона, — по сегменту, языку, объёму, чувствительности — и проверьте, о чём из этого набор вообще способен говорить. Затем честно решите, какие пробелы закрывать, а какие объявлять. Закрыть все невозможно, а набор, растущий без предела, становится слишком медленным для прогона и слишком дорогим для разметки. Объявить — более дешёвая половина: скажите в отчёте, каких категорий число не покрывает, чтобы читатель не выводил охват из самого факта существования оценки. Быстрее всего открывается пробел, созданный вашими же примечаниями к релизу. Любая новая возможность начинает жизнь вовсе без оценочных случаев, поэтому первые недели её существования измеряет набор, собранный до неё, и оценка остаётся успокаивающей ровно тогда, когда риск наиболее высок.