Золотой датасет

Золотой датасет (golden dataset) — тщательно отобранный и версионируемый набор репрезентативных входов в паре с заведомо верными ожидаемыми выходами (или критериями приёмки), которым тестируют ИИ-функцию так же, как юнит-тесты страхуют обычный код. Это недостающее звено, превращающее «на демо всё выглядело нормально» в настоящую проверку регрессий: прежде чем менять промпт, заменить модель или обновить провайдера, вы прогоняете новую конфигурацию по золотому набору и сравниваете оценки. Случаи должны отражать продакшн — не только happy-path, но и «грязные» краевые случаи, состязательные входы и известные вам режимы отказа. Для разработчиков это привычка с самым высоким рычагом для надёжного ИИ: начните с 20–50 размеченных вручную случаев, растите набор, повышая реальные сбои до постоянных тест-кейсов, и оценивайте точным совпадением, ассертами или LLM-судьёй. Оговорки: держите его вне любого обучающего или few-shot контекста, чтобы избежать загрязнения, периодически пересматривайте разметку (ваше понятие «хорошо» смещается) и помните, что маленький смещённый набор даёт ложную уверенность.