Обработка естественного языка (NLP)

Обработка естественного языка — область, занятая тем, чтобы компьютеры работали с человеческим языком: классифицировали его, извлекали из него структуру, переводили, суммировали, порождали. Она старше нынешней эпохи моделей на десятилетия, и история важна, потому что объясняет, как выглядят сегодняшние инструменты. Первое поколение было основано на правилах: грамматики, парсеры, вручную собранные лексиконы и немало лингвистической экспертизы, закодированной руками. Второе было статистическим и рассматривало язык как распределение, оцениваемое по корпусам. Третье — нейросетевое, и большие языковые модели впитали столько ранее раздельных задач, что «NLP-конвейер» теперь часто означает один вызов модели. Именно это впитывание и есть главная практическая новость. Распознавание именованных сущностей, классификация тональности, перевод, суммаризация и ответы на вопросы — каждая задача раньше была отдельной моделью со своим обучающим набором и своей оценкой. Сильная модель общего назначения сегодня делает их все приемлемо по одному промпту, и это сжимает месяцы работы под конкретную задачу в один вечер. Но «приемлемо» не всегда «достаточно», и именно здесь команды обжигаются: специализированный классификатор, обученный на ваших размеченных данных, обычно побеждает общую модель на вашем распределении, работает за малую долю стоимости, отвечает за миллисекунды и ведёт себя завтра так же, как сегодня. Классический словарь всё ещё полезен, потому что он называет режимы отказа, с которыми вы столкнётесь. Токенизация определяет, что модель вообще видит, — и именно из-за неё счёт символов и слов расходится с биллингом. Неоднозначность — лексическая, синтаксическая, референциальная — причина того, что резюме может быть гладким и неверным. Смещение домена объясняет, почему модель, справляющаяся с отзывами о товарах, спотыкается на клинических записях. А оценка — то место, где NLP по-настоящему трудна: единственно верного резюме не существует, поэтому судить порождённый текст приходится либо людьми, либо по рубрике, либо моделью, судящей модель, и у каждого варианта своё смещение. Выбор между общей и обученной моделью — в основном вопрос объёма, бюджета задержки и того, насколько жёстко нужно закрепить поведение.