dev-tools
Словарь ↗Тихий отказ (Silent Failure)
Тихий отказ — это отказ, который не порождает ошибки. Ничто не падает, ничто не сигналит, все коды состояния такие, каких вы хотели, а система продолжает возвращать вывод, который случайно неверен. Это характерный вид отказа для всего, что построено на языковой модели, и именно поэтому обычный мониторинг даёт такие успокоительные ответы про ИИ-функции. Причина структурная. Традиционная система отказывает, будучи не в состоянии продолжить: пустая ссылка, отклонённое соединение, тайм-аут. У генеративной всегда есть что вернуть, поэтому пропавший документ, обрезанный контекст, инструмент, тихо вернувший пустой список, или правка промпта, сместившая тон всех ответов, — всё сводится к беглому ответу, доставленному вовремя. Доступность, задержка и доля ошибок при этом могут выглядеть отлично. Та же форма встречается далеко за пределами модели. Синхронизация, переставшая забирать новые записи, но продолжающая рапортовать об успехе; фильтр прав, переставший фильтровать; задание по расписанию, которое запускается и ничего не обрабатывает; директива, убирающая сайт из результатов поиска, — ни одно из этого ничего не поднимает. Общее у них то, что проверяется, отработал ли процесс, а не сделал ли он то, ради чего существует. Обнаружение требует утверждений об исходах, а не о выполнении. Ожидаемые объёмы и их отсутствие, распределения, которые должны быть стабильны, выборочные ответы, оценённые по критериям, небольшой набор известных входов, ответы на которые проверяются по расписанию, и сверка со вторым источником, которому пришлось бы ошибиться точно так же. Каждое из этого — больше работы, чем обработчик ошибок, поэтому его и пропускают. Организационный признак — путь обнаружения. Если отказы находит клиент, случайно заглянувший коллега или квартальный разбор, у системы есть тихие отказы, какими бы зелёными ни были её дашборды; а сокращать стоит промежуток между началом отказа и моментом, когда кто-то это заметил.
Похожие термины