Стоимость диалога

Стоимость диалога — это суммарная стоимость вывода моделей и инфраструктуры на обслуживание одного полного обмена между пользователем и ассистентом, от первого сообщения до конца взаимодействия. Это удельная метрика, а не итог, и её ценность в том, что её есть с чем сравнить: со стоимостью человека, обрабатывающего то же взаимодействие, или с выручкой, которую оно поддерживает. Честный подсчёт означает учитывать всё, что вызвал диалог, а не только видимые реплики. Одна реплика пользователя способна запустить несколько вызовов модели — переформулировку запроса, поиск, генерацию, проверку безопасности, сжатие истории, — а агентный ассистент добавит сверху вызовы инструментов и шаги планирования. История пересылается с каждым ходом, поэтому стоимость растёт быстрее длины: десятый ход куда дороже первого, и потому среднее по диалогам определяется длинным хвостом необычно долгих сессий. Метрика ведёт себя иначе, чем общие траты, и это полезно. Итоги растут с внедрением, а это хорошая новость, и потому они прячут регрессы. Стоимость диалога отделяет эффективность от роста: она сдвигается, когда промпт прибавил абзац, когда поиск начал возвращать больше фрагментов, когда маршрутизатор отправил больше трафика в дорогую модель или когда изменение заставило пользователей тратить больше ходов на получение ответа. Ни одно из этого не видно в месячном счёте, пока не станет крупным. Толковать её нужно вместе со второй метрикой. Дешёвый диалог, не решивший задачу, — не экономия: пользователь всё равно откроет обращение, и настоящая стоимость складывается из обоих. Пара «стоимость диалога плюс доля решённых» или «плюс доля эскалаций» превращает её в инструмент принятия решений, а не в цель для подкрутки: оптимизация одной только стоимости надёжно даёт более дешёвого ассистента, который меньше помогает. Распределение важнее среднего. Большинство диалогов кучкуются около скромной стоимости, а небольшая доля потребляет во много раз больше — обычно из-за длинной истории, крупного найденного контекста или агентных циклов, которые не завершаются. Наблюдение за высоким процентилем рядом со средним находит патологические случаи, которые среднее прячет, а именно в них обычно живут и стоимость, и проблемы качества. Практически: инструментируйте на уровне диалога с самого начала — идентификатор диалога на каждом вызове модели вместе с числом токенов, версией модели, арендатором и функцией. Без этого стоимость диалога можно только оценить делением месячного счёта на число сессий, а это слишком грубая цифра, чтобы по ней действовать.