Перенос обучения (Transfer Learning)

Перенос обучения — это повторное использование того, что модель выучила на одной задаче, как отправной точки для другой. Вместо случайной инициализации сети и обучения всему с нуля вы берёте модель, уже обученную на большом общем корпусе — текстов, изображений, кода, — и адаптируете её под свою более узкую задачу. Представления, построенные ею при освоении общей задачи, несут большую часть того, что нужно вашей задаче; вы добавляете лишь последнюю милю. Это единственная идея, сделавшая современный ИИ доступным компаниям без исследовательских бюджетов. Обучение сильной языковой или визуальной модели с нуля требует данных и вычислений, которых почти ни у кого нет. Адаптация такой модели требует сотен или тысяч примеров и одного вечера. Любой практический процесс, с которым вы столкнётесь, — дообучение модели с открытыми весами на ваших переписках поддержки, обучение классификатора поверх эмбеддингов, промпт с парой примеров для флагманской модели, — это в том или ином виде перенос обучения, и различаются они в основном тем, насколько сильно вы трогаете исходную модель. Эти варианты образуют шкалу, о которой стоит знать. На самом дешёвом конце вы полностью замораживаете предобученную модель и учите небольшую «голову» на её выходах либо вовсе обходитесь без обучения, положив примеры в промпт. В середине находятся параметрически эффективные методы вроде LoRA, которые учат небольшой набор дополнительных весов и не трогают базовую модель. На дорогом конце вы обновляете всю сеть: это подходит для самых резких сдвигов домена и несёт наибольший риск катастрофического забывания — стать лучше в своей задаче и тихо просесть в общих способностях. Две практические оговорки. Перенос работает, когда исходный и целевой домены разделяют структуру: модель, предобученная на английском вебе, хорошо адаптируется к тикетам поддержки вашего продукта и плохо — к по-настоящему чужому сигналу вроде сырой телеметрии датчиков. И предобученная модель приносит вместе со способностями свои смещения, лицензионные условия и дату отсечения знаний: вы наследуете не только полезную часть. Выбрать самый лёгкий вариант, который проходит вашу планку точности, почти всегда верное значение по умолчанию.