Карточка модели

Карточка модели — короткий структурированный документ, который сопровождает обученную модель и сообщает, для чего она предназначена, на чём обучалась и проверялась, как ведёт себя на значимых подгруппах и где применять её не следует. Формат был предложен, чтобы ограничения модели были видны так же ясно, как заглавная метрика: агрегированная точность скрывает ровно ту информацию, которая нужна внедряющей стороне, — на каких группах, входах и условиях модель вообще не тестировалась. Полезная карточка конкретна, а не успокоительна. Она называет целевое применение и применения вне области; описывает происхождение обучающих данных хотя бы по типу, включая известные пробелы; приводит результаты в разбивке по группам, важным для задачи, а не одним числом; перечисляет известные режимы отказа; фиксирует версию, дату и ответственного, чтобы читатель понял, описывает ли карточка ещё ту модель, что работает в проде. Карточки без негативных разделов — маркетинговые материалы в техническом оформлении. Командам, строящим на сторонних моделях, карточка даёт один из немногих артефактов, на котором держится настоящая оценка поставщика, а её отсутствие или расплывчатость сами по себе являются выводом. Командам, выпускающим свои модели, включая дообученные, которые наследуют ограничения базовой и добавляют свои, написать карточку дёшево и окупается в закупках, ревью безопасности и разборе инцидентов, где первый вопрос после плохого ответа всегда один: в чём эта модель вообще должна быть хороша.