mlops
Словарь ↗Порог приёмки
Порог приёмки — это оценка, о которой договорились заранее и при которой систему считают достаточно хорошей для выпуска. Вся его ценность в словах договорились заранее. Порог, установленный после того, как результат известен, порогом не является: это описание результата, и разницу чувствуют все в комнате, даже если никто не говорит об этом вслух. Запись до измерения — это то, что превращает решение о выпуске из переговоров о трактовке в проверку. Это не то же самое, что порог уверенности для отдельного ответа, который решает во время работы, что делать: ответить, отложить или передать человеку. Порог приёмки относится к системе целиком на фиксированном наборе, и указывать его нужно с достаточным числом уточнений, чтобы он пережил встречу с настоящим результатом. Какой набор и какой его версии. Какое правило подсчёта. И, что важно, что требуется по сегментам, а не только в среднем: среднее проходит с запасом, тогда как один язык, один тип документов или один размер клиента сидит далеко внизу, и обычно именно этот сегмент кто-нибудь заметит первым. Одновременно стоит договориться ещё о двух пунктах. Что произойдёт, если порог не взят: выпустить на подмножество, выпустить с человеческой проверкой или не выпускать, — потому что порог без названного последствия при первом же неудобстве становится рекомендацией. И когда его пересматривают: планка, поставленная в начале проекта, обычно отражает то, что тогда казалось достижимым, а не то, что работе нужно теперь, и порог, к которому не возвращались год, либо бесспорен, либо игнорируется. Порог должен ещё и называть, с чем идёт сравнение. Достаточно хорошо — это отношение, а не абсолют: по сравнению с системой, которая сейчас в проде, с тем, что делает человек на тех же случаях, или с тем, чтобы не делать ничего. Эти три сравнения часто расходятся, и число, приведённое без указания одного из них, будет прочитано так, как удобнее читателю.
Похожие термины