Обучение с учителем

Обучение с учителем — постановка, в которой к каждому обучающему примеру приложен ответ. Вы передаёте модели пары: письмо и метку «спам», запись о клиенте и факт его ухода, фотографию и объект на ней, — а обучение подстраивает модель, пока её предсказания не совпадут с заданными ответами настолько, чтобы обобщаться на невиданные примеры. Это самая коммерчески распространённая форма машинного обучения, потому что большинство бизнес-вопросов естественно имеет именно такую форму: по тому, что мы знаем об объекте, предскажи интересующее нас поле. Два подтипа — классификация, где ответ является категорией, и регрессия, где он является числом. Выбор между ними обычно очевиден, но граница важна для того, как вы оцениваете результат: точность (accuracy) — разумная мера для сбалансированной классификации и грубо обманчивая, когда 98% примеров принадлежат одному классу; тогда модель, всегда предсказывающая большинство, выглядит великолепно и бесполезна. При перекошенных классах — а в бизнес-данных они перекошены почти всегда — вас на самом деле интересуют precision, recall и компромисс между ними. Цена обучения с учителем — это метки, и здесь практическое узкое место. Кто-то должен определить эталонный ответ для тысяч примеров, последовательно, включая неоднозначные, — а непоследовательная разметка ставит жёсткий потолок достижимой точности, который не поднимет никакой выбор модели. Команды систематически это недооценивают: обычная разница между работающим классификатором и заброшенным — качество разметки, а не архитектура модели. Там, где метки уже существуют как побочный продукт продукта, обучение с учителем становится дешёвым. Тикеты поддержки, которые агенты уже категоризировали; письма, которые пользователи уже пометили как спам; счета, которые кто-то уже завёл руками; подписки, которые уже отменились или нет, — каждый такой набор представляет собой размеченный датасет, за который вам не пришлось платить. Заметить эту бесплатную «учительскую» разметку, спрятанную в собственной базе, — самый рычажный ход из доступных, и это обычно упражнение в продуктовом мышлении, а не в машинном обучении.