LLMOps

LLMOps — операционная дисциплина эксплуатации LLM-функций в продакшене, аналог MLOps для эпохи языковых моделей. Если MLOps сосредоточен на обучающих конвейерах и реестрах моделей, то LLMOps — на том, что команды реально меняют изо дня в день: промпты, конфигурация ретривала, выбор модели, ограждения (guardrails). Ключевые практики: версионировать промпты как код, прогонять наборы оценок перед каждым изменением, трассировать каждый запрос от начала до конца (промпт, извлечённый контекст, вывод, токены, стоимость), следить за дрейфом качества после обновлений моделей у провайдера и держать бюджеты затрат на фичу. Предотвращаемый сбой знаком каждому, кто выпускал AI-функцию: кто-то правит промпт в дашборде, качество тихо деградирует, и никто не замечает, пока не пожалуются клиенты. Минимальный стек LLMOps для SaaS-команды — реестр промптов, золотой датасет с автооценками в CI и трассировка на уровне запросов: этого хватает, чтобы менять модель и промпты так же безопасно, как деплоить код.