Доля успешных задач (Task Success Rate)

Доля успешных задач — часть попыток, которые автоматическая система довела до правильного результата от начала до конца. Для всего агентного это заглавная цифра, и почти любой спор о ней на деле является спором о знаменателе и о том, кто решает, что считается правильным. Основное завышение живёт в знаменателе. Доля, посчитанная по задачам, за которые система взялась сама, исключает всё, от чего она отказалась, что бросила или вовсе не распознала как задачу, — а это ровно трудные случаи. Доля, посчитанная по всему поступившему, куда менее лестна и куда полезнее. Если приводятся обе, информативен и разрыв между ними: это часть проблемы, которой система сейчас не касается. Второй вопрос — кто судит. Самооценка слабее всего: система, неверно понявшая задачу, обычно так же неверно оценивает и то, выполнила ли она её. Там, где задача позволяет, лучше проверяемые критерии — прошедший тест, сошедшаяся запись, значение, совпавшее с известным ответом. Человеческая проверка дорога и потому обычно выборочна; это нормально, пока выборка случайна, а не состоит из случаев, на которые кто-то случайно посмотрел. Частичное выполнение нужно обработать намеренно, иначе оно обработается случайно. Задача, прошедшая большую часть пути и аккуратно остановившаяся, — это иной исход, чем завершённая с неверным результатом, и оба отличаются от остановки на середине, когда что-то уже изменено. Свести все три к провалу — потерять различие, важное в эксплуатации; засчитать первое в успех — польстить системе. Показатель — тренд, а не факт о завтрашнем дне. Он движется, когда меняется модель, меняется промпт, инструмент начинает отдавать другие данные и когда сдвигается состав входящих запросов, — и последнее вызывает больше необъяснённых провалов, чем первые три. Долю успеха можно толковать только рядом с распределением задач, на котором её измерили.