Компьютерное зрение

Компьютерное зрение — область, занятая извлечением смысла из изображений и видео: что на картинке, где это находится, что изменилось между кадрами, какой текст или структуру она содержит. Семейство задач стоит называть точно, потому что вендоры их размывают, а по сложности они различаются колоссально. Классификация говорит, что это за изображение. Детекция говорит, что на нём, и рисует рамки. Сегментация помечает каждый пиксель. Оптическое распознавание вытаскивает текст. Оценка позы находит суставы. Трекинг следит за объектом между кадрами. Продуктовая потребность, сформулированная как «хотим, чтобы ИИ посмотрел на фото», обычно сводится к одной из них, и определение того, к какой именно, меняет и данные, которые надо собрать, и точность, на которую можно рассчитывать. Глубокие свёрточные сети сделали область практичной в 2010-х, начав выучивать визуальные признаки вместо опоры на придуманные вручную, а мультимодальные модели с тех пор свели значительную часть работы к промптингу: теперь можно передать изображение общей модели и задать вопрос словами, что переворачивает подход к разовым и длиннохвостым задачам. Но для высокого объёма, чувствительной задержки или критичной точности специально обученный детектор по-прежнему выигрывает по цене, скорости и стабильности — тот же компромисс, что и в языковых задачах. Для разработчиков SaaS типичные применения неброски и полезны: прочитать чек или документ, проверить, что загруженное фото соответствует стандарту объявления, модерировать пользовательские изображения, извлечь поля из отсканированной формы, убедиться, что товар присутствует на фото в маркетплейсе. Каждое из этих применений — конвейер, а не один вызов модели, и работа живёт именно в конвейере: справиться с поворотом, блеском и разбросом телефонных камер, выбрать порог уверенности, ниже которого смотрит человек, и логировать то, что видела модель, чтобы неверное решение можно было объяснить потом. Два режима отказа стоит спланировать заранее. Модели зрения чувствительны к сдвигу распределения так, что предугадать это трудно: освещение, модель камеры, разрешение и фон сдвигают измеренную точность. И они несут реальный вес приватности и справедливости, потому что на входе — изображения людей, а ошибки распределены среди них неравномерно.