Логирование промптов

Логирование промптов — практика сохранять входные данные, отправленные модели, и полученные ответы, чтобы поведение можно было отлаживать, оценивать и проверять постфактум. В серьёзной ИИ-системе без этого почти не обойтись: без логов нельзя расследовать жалобу на неверный ответ, нельзя собрать набор для оценки из реального трафика и нельзя связать регрессию по стоимости или задержке с тем, что изменилось. Это же и момент, в который ИИ-функция тихо превращается в хранилище чувствительных данных. В промпт попадает всё, что положил туда пользователь или слой поиска: записи клиентов, обращения в поддержку, документы, случайно вставленные учётные данные. Значит, лог промптов — это копия части самого чувствительного текста в продукте, лежащая в системе, спроектированной для инженеров, а не для субъектов данных, и нередко реплицируемая дальше, к поставщику наблюдаемости. Меры, делающие это переносимым, обычны — важно применять их осознанно. Маскируйте до записи, а не после: шаг маскирования, срабатывающий позже, всё равно оставляет сырой текст в передаче и на диске. Задайте срок хранения, достаточно короткий, чтобы его можно было защитить, и достаточно длинный, чтобы он был полезен, и обеспечивайте его удалением, а не текстом политики. Ограничьте доступ так же строго, как к исходным данным: агент поддержки, не имеющий права открыть файл клиента, не должен читать промпт, содержащий этот файл. Отдельно решите, что пишется целиком, а что — только метаданными. Счётчики токенов, версия модели, задержка, версия промпта, вызовы инструментов и идентификатор трассы отвечают на большинство эксплуатационных вопросов и почти не несут персональных данных. Полный текст промпта и ответа нужен оценке и разбору жалоб — и именно его стоит сэмплировать, маскировать и хранить настолько недолго, насколько допускает сценарий. Напишите обо всём этом там, где прочитают пользователи и покупатели, и проверьте сторону поставщика: хранит ли вендор модели промпты, как долго и используются ли они для обучения — это договорный вопрос, у большинства имеющий ответ с нулевым хранением, и он не совпадает с тем, что делают ваши собственные логи.