Самообучение с учителем из данных

Самообучение (self-supervised learning) обучает модель на неразмеченных данных, превращая сами данные в разметку. Спрятать токен и попросить модель его предсказать; закрыть фрагмент изображения и попросить его восстановить; взять два кадрирования одной фотографии и потребовать, чтобы их представления совпали. Разметчик не участвует, но обучающий сигнал такой же точный, как в обучении с учителем, — именно это позволяет работать с корпусами, которые никто не смог бы разметить вручную. Этот подход не заменяет две прежние категории, а стоит между ними. Обучение с учителем требует человеческой цели для каждого примера и ограничено бюджетом на разметку. Обучение без учителя ищет структуру вообще без цели. Самообучение изготавливает цель из входных данных и потому получает градиенты как при обучении с учителем, но на объёмах данных как без учителя. На этом держатся современные языковые модели, большинство эмбеддинг-моделей и значительная часть работ по речи и зрению. Для практика главное следствие в том, где разметка всё ещё нужна. Самообучение даёт общее представление; чтобы превратить его в классификатор, ранжировщик или адекватного ассистента, размеченные примеры всё равно потребуются — просто на порядки меньше, чем при обучении с нуля. Поэтому при адаптации модели небольшой чистый датасет под конкретную задачу часто ценнее, чем большой сырой скрап.