Глубокое обучение

Глубокое обучение — это машинное обучение на нейросетях, достаточно глубоких, чтобы выучить признаки самостоятельно. В классическом машинном обучении человек решал, что измерять: частоты слов, гистограммы пикселей, придуманные вручную сигналы, — а алгоритм взвешивал эти входы. Глубокой сети дают более или менее сырые данные и множество уложенных друг на друга слоёв, и каждый слой выучивает представление, построенное на предыдущем: границы, затем формы, затем объекты; символы, затем слова, затем смысл. Эти промежуточные понятия никто не задаёт — именно поэтому подход масштабировался на задачи, где конструирование признаков забуксовало, и поэтому же он лежит в основе практически всех сильных языковых, визуальных, речевых и видеомоделей. Сработали три вещи, и все три практические, а не теоретические. Данные: слоям с миллионами и миллиардами параметров нужны огромные обучающие наборы, которые дал интернет. Вычисления: задействованная матричная арифметика хорошо ложится на GPU, поэтому обучение, занявшее бы годы, стало занимать недели. И архитектура: свёртки для изображений, а затем трансформеры для последовательностей дали сетям правильное структурное смещение под их домен. Уберите любую из трёх — и область останется на уровне 2010 года. Издержки — зеркальное отражение выгод. Поскольку модель выучивает собственное представление, прочитать её рассуждение по весам нельзя: именно из-за глубоких моделей интерпретируемость стала научной областью, а не пунктом код-ревью. Поскольку им нужен масштаб, обучение флагманской модели с нуля недоступно почти никому, и поэтому практический путь — взять предобученную модель и адаптировать её: дообучить или, чаще, просто попросить промптом. И поскольку они интерполируют внутри своего обучающего распределения, а не рассуждают по правилам, они ломаются иначе, чем системы на правилах: уверенно, гладко и на входах, которые выглядят ничем не примечательными. Для разработчика SaaS вывод такой: глубокое обучение — это редко то, что вы делаете; это то, что вы потребляете через API, а инженерные усилия уходят на данные, которые вы ему даёте, и на ограждения вокруг того, что он возвращает.