Предвзятость к автоматике (Automation Bias)

Предвзятость к автоматике — склонность доверять выводу машины больше, чем позволяют основания, и вовсе переставать искать эти основания после того, как машина высказалась. Явление десятилетиями изучают в авиации и в системах поддержки клинических решений, и именно этот человеческий фактор решает, делает ли ИИ-функция команду лучше или просто быстрее ошибающейся. Проявляется оно в двух направлениях. Люди принимают неверную, но правдоподобную рекомендацию, потому что проверка требует усилий, а система обычно права. И люди не реагируют на то, что система не отметила, потому что отсутствие предупреждения читается как «всё чисто». Второе опаснее: в нём ничто не похоже на решение, и от суждения, которого не было, не остаётся следа. Беглость делает генеративные системы особым случаем. Уверенность речи — сигнал, по которому люди судят о надёжности друг друга, а модели он достаётся почти даром, поэтому наименее обоснованный вывод может оказаться самым убедительным. Осторожный и плохо написанный верный ответ проиграет отполированному неверному почти в любом процессе проверки, который не компенсирует это намеренно. Контрмеры — это решения в конструкции, а не предупреждения. Показывайте, на чём стоит ответ: источник, запись, расчёт, — и настолько близко, чтобы проверить было легче, чем поверить. Выносите разногласия и неопределённость наружу, а не сглаживайте их. Не подставляйте заранее то решение, которое должен принять проверяющий. И измеряйте, реальна ли проверка: доля отклонений около нуля на большом объёме означает, что системе доверяются, а не читают её. Для покупателей отсюда следует, почему демонстрация доказывает меньше, чем кажется. Вопрос не в том, права ли программа в большинстве случаев, а в том, что произойдёт с бдительностью самой команды через несколько месяцев её правоты, — потому что случай, где программа ошибётся, придёт именно тогда, и к этому моменту никто уже не смотрит.