[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"guide-how-to-tell-whether-an-ai-agent-is-actually-working::ru":3,"guide-related-how-to-tell-whether-an-ai-agent-is-actually-working::ru":17},{"slug":4,"title":5,"excerpt":6,"body":7,"meta_title":5,"meta_description":8,"keywords":9,"category":15,"published_at":16,"updated_at":16},"how-to-tell-whether-an-ai-agent-is-actually-working","Как понять, работает ли ИИ-агент на самом деле","Оценить один ответ — решённая задача; судить систему, которая сама выбирает шаги, — нет. Измерения, выдерживающие прод: записанный путь, знаменатель, кто ставит оценку и отказы без ошибок.","\u003Ch2>Это другой вопрос, чем оценка одного ответа\u003C\u002Fh2>\n\u003Cp>Оценить один вывод ИИ — задача достаточно решённая: зафиксируйте набор настоящих входов, опишите, как выглядит приемлемый ответ, и повторяемо ставьте баллы. Агенту нужно другое, потому что судят здесь не один ответ, а целую задачу, выполненную за много шагов, где шаги система выбрала сама и может не повторить тот же маршрут дважды.\u003C\u002Fp>\n\u003Cp>Это меняет то, что считается доказательством. Итоговый ответ сам по себе — слабое доказательство, демонстрация поставщика — не доказательство вовсе, а впечатления, собранные парой попыток, прямо вводят в заблуждение на системе, которая на одинаковом входе ведёт себя по-разному. Ниже — небольшой набор измерений, выдерживающих встречу с продом.\u003C\u002Fp>\n\u003Ch2>Судите путь, а не только пункт назначения\u003C\u002Fh2>\n\u003Cp>Записывайте прогон целиком: каждый вызов модели, каждый вызов инструмента с аргументами и результатами и итоговый вывод, по порядку. Два прогона могут дать один и тот же верный ответ, но один вызвал три инструмента, а другой — одиннадцать, шесть раз повторил падающий эндпоинт и дошёл по удаче. Работать через месяц будет только один из них, и в ответе их ничто не различает.\u003C\u002Fp>\n\u003Cp>Прочитать несколько таких записей целиком, руками, — самый продуктивный час в первые недели любого внедрения агента. Именно там обнаруживается, что он дважды зовёт дорогой инструмент, потому что два описания пересекаются, что он тихо бросил шаг и пошёл дальше или что треть шагов уходит на перечитывание контекста, который у него уже был. Ничего из этого не видно в агрегате.\u003C\u002Fp>\n\u003Ch2>Считайте пришедшее, а не то, за что он взялся\u003C\u002Fh2>\n\u003Cp>Самое частое завышение в агентной метрике живёт в знаменателе. Доля успеха, посчитанная по задачам, за которые система решила взяться, исключает всё, от чего она отказалась, что бросила или не распознала как задачу, — а это ровно трудный край распределения. Считайте долю по всему поступившему, а долю по попыткам приводите отдельно, если она нужна. Разрыв между ними тоже полезная цифра: это часть проблемы, которой агент сейчас не касается.\u003C\u002Fp>\n\u003Cp>Явно решите, чем считается частичное выполнение. Прогон, сделавший большую часть работы и аккуратно остановившийся, — иной исход, чем завершённый с неверным результатом, и оба отличаются от остановки на середине, когда в живой системе уже что-то изменено. Свести все три к провалу — спрятать различие, важное при выборе того, что чинить; засчитать первое в успех — польстить агенту.\u003C\u002Fp>\n\u003Ch2>Перестаньте позволять агенту проверять себя\u003C\u002Fh2>\n\u003Cp>Спросить модель, выполнила ли она задачу, — значит попросить её оценить собственную работу в той манере, в какой она её писала, и ответ обычно «да». Самозаявленный успех — наименее надёжный сигнал в системе и при этом тот, на котором построено большинство дашбордов.\u003C\u002Fp>\n\u003Cp>Везде, где задача позволяет, замените его проверкой, которую делает что-то другое: прошедший тест, валидирующая схема, запись, которая теперь существует с ожидаемыми значениями, сумма, сошедшаяся со вторым источником. Там, где такой проверки нет, применяйте человеческий разбор случайной выборки, а не случаев, которые кто-то открыл сам: выборка, выбранная любопытством, измеряет любопытство. Вторая модель в роли судьи — разумный промежуточный шаг, если вы сперва сверили её согласие с человеческими оценками на выборке и пересверяете при смене любой из моделей.\u003C\u002Fp>\n\u003Ch2>Следите за работой, которая не исчезла\u003C\u002Fh2>\n\u003Cp>У каждого процента автоматизации есть честный противовес: доля прогонов, в которые пришлось вмешаться человеку. Считайте явные эскалации, но также тихие правки, внесённые потом получателем вывода, случаи, переоткрытые клиентами, прогоны, брошенные и переделанные вручную, и согласования, которые действительно прочитали. Считать только то, что агент эскалировал сам, — измерять его самосознание, а не работу.\u003C\u002Fp>\n\u003Cp>Разбивайте по срезам, потому что среднее скрывает форму. Вмешательства концентрируются: в одном типе запроса, в одном сегменте клиентов, в одной интеграции с неудобными данными, в одном часе суток, когда медленна вышестоящая система. Высокая доля из-за узкой полосы — решаемая инженерная задача; та же доля, размазанная ровно, — вопрос охвата, и ответ здесь сузить то, за что агент берётся, а не продолжать его настраивать.\u003C\u002Fp>\n\u003Cp>Читайте её и рядом со стоимостью. Обещанная экономия труда уходит именно во вмешательства, поэтому агент с ничем не примечательной долей, но дорогими вмешательствами — старшие сотрудники, долгое восстановление контекста, раздражённый клиент — может быть хуже того, кто вмешивается чаще, но дёшево.\u003C\u002Fp>\n\u003Ch2>Исходите из того, что отказы будут тихими\u003C\u002Fh2>\n\u003Cp>Агент редко отказывает падением. Он возвращает нечто беглое и вовремя, что оказывается неверным, или доходит до конца, тихо не сделав ничего: поиск вернул пусто, инструмент отдал пустой список вместо ошибки, фильтр перестал фильтровать. Доступность, задержка и доля ошибок при этом выглядят отлично — поэтому обычный мониторинг так успокаивает насчёт ИИ-функций и так мало о них сообщает.\u003C\u002Fp>\n\u003Cp>Обнаружение должно утверждать об исходах, а не о выполнении. Ожидаемые объёмы и их отсутствие. Распределения, которые должны быть стабильны, — шагов на прогон, инструментов на прогон, стоимости на задачу, — где резкое движение уже сигнал, даже пока непонятно, о чём он. Небольшой фиксированный набор известных входов, перезапускаемый по расписанию и проверяемый. И сверка с чем-то, чему пришлось бы ошибиться точно так же, чтобы с вами согласиться.\u003C\u002Fp>\n\u003Cp>Организационная версия этой проверки — путь обнаружения. Если отказы находят клиенты, случайно заглянувший коллега или квартальный разбор, они тихие, какими бы зелёными ни были дашборды, и сокращать стоит промежуток между началом отказа и моментом, когда его заметили.\u003C\u002Fp>\n\u003Ch2>Перемеряйте, когда что-то сдвинулось\u003C\u002Fh2>\n\u003Cp>Цифры агента — тренд, а не факт о следующей неделе. Они движутся при смене модели, при правке промпта или описания инструмента, когда вышестоящая система начинает отдавать другие данные и когда сдвигается состав входящих запросов, — и последнее вызывает больше необъяснённых просадок, чем остальные три вместе, ведь в самой системе не менялось ничего.\u003C\u002Fp>\n\u003Cp>Храните записанные прогоны и после каждого изменения воспроизводите их против фиксированных ответов инструментов, чтобы видеть, какие ранее работавшие пути разошлись. И приводите любую долю рядом с распределением задач, на котором её измерили. Доля успеха без этого контекста — не измерение, а лозунг.\u003C\u002Fp>","Измерение многошагового агента в проде: судить путь, чинить знаменатель, убрать самооценку, считать вмешательства и ждать, что отказы будут тихими.",[10,11,12,13,14],"оценка ии-агента","доля успешных задач","доля вмешательств","мониторинг агента","траектория агента","how-to","2026-09-05T03:30:02+00:00",[18,23,27,31,36,41],{"slug":19,"title":20,"excerpt":21,"updated_at":22},"ai-tool-pricing-models-seat-vs-usage-vs-credits","Модели ценообразования AI-инструментов: за место, за использование и по кредитам","Три распространённых способа тарификации AI-инструментов — за место, за использование и по кредитам — и как понять, какой из них окажется дешевле именно для того, как работает ваша команда.","2026-08-05T14:32:26+00:00",{"slug":24,"title":25,"excerpt":26,"updated_at":22},"how-ai-image-generators-differ-diffusion-vs-the-rest","Чем различаются ИИ-генераторы изображений: диффузия и всё остальное, простыми словами","Нетехническое объяснение того, как работают ИИ-генераторы изображений, почему диффузионный подход стал доминирующим и каких практических различий стоит ждать от разных инструментов.",{"slug":28,"title":29,"excerpt":30,"updated_at":22},"how-to-automate-your-workflow-without-code","Как автоматизировать процесс без кода","Практическая последовательность для автоматизаций, которые выживают: выбрать подходящий процесс, описать его до того, как открывать инструмент, и предусмотреть сбои, ломающие большинство первых попыток.",{"slug":32,"title":33,"excerpt":34,"updated_at":35},"how-to-build-a-chatbot-without-coding","Как собрать чат-бота без программирования","Практический путь к работающему чат-боту на no-code инструментах: определить границы, подключить свой контент, обработать вопросы без ответа и понять реальную стоимость.","2026-08-05T14:32:27+00:00",{"slug":37,"title":38,"excerpt":39,"updated_at":40},"how-to-build-an-evaluation-set-that-does-not-go-stale","Как собрать оценочный набор, который не устареет","Большинство оценочных наборов собирают один раз, из того, что было легко достать, и они тихо перестают представлять работу. Как собрать набор из уже имеющихся отказов, подпитывать его из продакшена, защищать от системы, которую он измеряет, и понимать, когда он исчерпан.","2026-09-09T03:30:02+00:00",{"slug":42,"title":43,"excerpt":44,"updated_at":45},"how-to-change-a-prompt-without-breaking-production","Как менять промпт, не ломая прод","Промпты правят в текстовом поле и выкатывают за секунды — поэтому они ломают вещи тихо: ни компилятора, ни стектрейса, ни очевидного момента сбоя. Дайте им релизную дисциплину кода.","2026-08-24T03:30:02+00:00"]