Как провести оценку поставщика ИИ-инструмента

Начинайте с процесса, а не со списка функций

Сравнение функций вознаграждает широту, а широк любой зрелый продукт. Запишите вместо этого два-три куска работы, которые вы действительно хотите изменить: кто их делает сегодня, сколько времени они занимают, как часто случаются и как выглядит хороший результат. Это описание и есть спецификация, относительно которой измеряет оценка, и оно переживает все демонстрации.

Конкретность к тому же сужает поле быстрее любого упражнения с шорт-листом. Инструмент, отличный в черновиках и посредственный в классификации, — правильный для одного процесса и неправильный для другого, а обобщённая таблица баллов не подскажет, на какой из них вы сейчас смотрите.

Согласуйте критерии и веса до того, как что-то увидите

Запишите критерии и расставьте веса, пока никто ещё не впечатлился. Соответствие, риск, полная стоимость, качество поддержки и выход — обычные семейства, и честность живёт в весах: если важно всё одинаково, по умолчанию побеждает самый широкий продукт.

Отделите критерии-ворота от критериев-баллов. Место хранения данных, обязательная сертификация или возможность выгрузить свои данные — не то, на что сила в другом месте должна покупать пропуск, поэтому считайте их зачётом или незачётом и прекращайте оценивать кандидата, провалившего один из них.

Соберите фиксированный набор проверок из своих случаев

Самый ценный артефакт в оценке ИИ — фиксированный набор настоящих входных данных с известными хорошими исходами. Возьмите их из реального трафика, сместите в сторону коммерчески важных случаев и намеренно включите неудобные: двусмысленные запросы, враждебные входы, вопросы без хорошего ответа и провалы, за которые было стыдно в прошлом квартале.

Прогоняйте один и тот же набор по каждому кандидату. Именно это превращает три отдельные демонстрации в одно сравнение, и работать это продолжает после покупки: тот же набор становится регрессионной проверкой, когда поставщик меняет модель.

Оценивайте то, что человеку всё ещё приходится делать

Точность сама по себе слабый сигнал, потому что ценность инструмента — в снятой работе. Измеряйте, как часто вывод принимают без правки, как часто нужна небольшая коррекция и как часто его выбрасывают и переделывают руками. Последняя категория самая дорогая: неверный ответ, выглядящий верным, обходится дороже, чем отсутствие ответа.

Там, где нужно суждение, напишите короткую шкалу и пусть оценивают независимо несколько человек. Расхождение между проверяющими — само по себе находка: обычно оно означает, что задача определена хуже, чем всем казалось.

Проверяйте эксплуатационную поверхность, а не только вывод

Спросите, что происходит, когда всё идёт не так, а затем устройте часть этого сами. Посмотрите на поведение при лимитах запросов, на форму ответов с ошибкой, на задержку при вашей нагрузке и на то, есть ли способ выключить функцию без выкладки. Проверьте, закрепляет ли поставщик версии моделей, как объявляется снятие с поддержки и сколько предупреждения вы получите.

Считайте всю сумму, а не лицензию

Складывайте лицензию, потребление, инженерную работу по интеграции, внутреннее время на эксплуатацию и обучение. Для тарификации по потреблению оцените реалистичный месячный объём по пилоту, а не по дорожной карте, и спросите, какие есть механизмы контроля — лимиты расходов, оповещения о бюджете, ограничения на клиента: продукт без потолка — это продукт с неограниченным счётом.

И задайте вопрос о выходе, пока у вас есть рычаг: что возвращается, в каком формате, как быстро и за какие деньги. Поставщик, не отвечающий на это до подписания, лучше не ответит и после.

Заканчивайте решением и датой пересмотра

Назначьте дату решения до начала оценки, назовите того, кто решает, и зафиксируйте, какие данные будут у него перед глазами. Затем поставьте в календарь дату пересмотра к первому продлению и сохраните набор проверок, чтобы вопрос при продлении звучал не «нравится ли всем инструмент», а «делает ли он ещё ту работу, ради которой его купили».