[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"guide-what-to-do-when-your-evaluation-and-your-users-disagree::ru":3,"guide-related-what-to-do-when-your-evaluation-and-your-users-disagree::ru":17},{"slug":4,"title":5,"excerpt":6,"body":7,"meta_title":5,"meta_description":8,"keywords":9,"category":15,"published_at":16,"updated_at":16},"what-to-do-when-your-evaluation-and-your-users-disagree","Что делать, когда ваша оценка и ваши пользователи расходятся","Панель говорит, что с функцией всё в порядке, а люди, которые ею пользуются, говорят обратное. Этот разрыв — находка, а не помеха, и есть короткая последовательность проверок, которая обычно его локализует: в шкале, в наборе, в оценщике или в самой оценке.","\u003Ch2>Ситуация\u003C\u002Fh2>\n\u003Cp>Оценка гоняется еженедельно, и число комфортное. Тем временем поддержка копит жалобы на ту же функцию, менеджер по работе с клиентом переслал три примера, а кто-то из руководителей начал фразу словами я попробовал сам и. Два источника свидетельств расходятся, и инстинкт в комнате — защищать тот, который защищать проще, то есть число: оно точное, повторяемое и у него есть график.\u003C\u002Fp>\n\u003Cp>Это не текст про один плохой ответ и час после него — им занят материал о том, что делать, когда функция на основе ИИ ошиблась. И не про бизнес-метрику, неожиданно сдвинувшуюся, — это разбирает материал о том, как понять, действительно ли число сдвинулось. Здесь речь о стойком расхождении между офлайн-измерением и живым опытом, и относиться к нему стоит как к находке, а не к помехе: измеряется нечто, не совпадающее с тем, что людям важно, и это исправимая и вполне конкретная проблема.\u003C\u002Fp>\n\u003Ch2>Начните с допущения, что правы пользователи\u003C\u002Fh2>\n\u003Cp>Не из вежливости. Это более дешёвая гипотеза. Оценка — модель задачи, модели ошибаются перечислимыми способами, и список этих способов короток настолько, что его можно пройти за один вечер. Тогда как альтернативная гипотеза — что группа людей, ежедневно пользующихся продуктом, коллективно заблуждается о собственном опыте — дорога в проверке и почти никогда не верна в той форме, в какой её сначала произносят.\u003C\u002Fp>\n\u003Cp>Проверки ниже упорядочены по тому, как часто они оказываются ответом, а не по тому, насколько они лестны.\u003C\u002Fp>\n\u003Ch2>Жалуются ли они на то, что вы измеряли?\u003C\u002Fh2>\n\u003Cp>Это самое частое разрешение и самое лёгкое, чтобы его пропустить. Прочитайте сами жалобы и запишите, о чём каждая. Очень часто шкала спрашивает, был ли ответ верным, а жалобы совсем о другом: слишком долго; тон не подходил ситуации; формат сломал процесс, куда ответ вставляли; ответили на более узкий вопрос, чем задавали; всё правильно, но бесполезно без контекста, который пользователю пришлось искать самому.\u003C\u002Fp>\n\u003Cp>Любое из этого может неограниченно сосуществовать с высокой оценкой правильности, потому что в измерении ничто об этом не спрашивает. Лекарство — не спорить, а добавить недостающее в шкалу или поставить рядом второе измерение и публиковать оба.\u003C\u002Fp>\n\u003Ch2>Есть ли их случаи в наборе вообще?\u003C\u002Fh2>\n\u003Cp>Возьмите жалобы и поищите их эквиваленты в оценочном материале. Удивительно часто их там нет: жалующиеся пользователи находятся в сегменте, языке, отрасли или размерной группе, из которых набор никогда не собирали, либо они задействуют возможность, вышедшую уже после сборки набора.\u003C\u002Fp>\n\u003Cp>Пробел такого рода никогда не выглядит как отказ. Систему просто не проверяют на этом материале, поэтому оценка остаётся высокой, ничего не говоря ровно о той аудитории, которая недовольна. Если ответ в этом, число не было неверным: оно отвечало на вопрос более узкий, чем кто-либо предполагал.\u003C\u002Fp>\n\u003Ch2>Согласен ли оценщик с людьми?\u003C\u002Fh2>\n\u003Cp>Возьмите горсть ответов, на которые жаловались пользователи, и прогоните их через подсчёт ровно так, как он работает в конвейере. Затем посмотрите, что он сказал. Если оценщик пропускает то, против чего человек явно возражал, проблема найдена, и она в измерении, а не в системе.\u003C\u002Fp>\n\u003Cp>Так выходит по обычным причинам. Шкала, написанная рано, снисходительна к тому, что с тех пор стало важным. Шаг подсчёта проверяет наличие факта и не проверяет наличие выдуманного факта рядом с ним. Автоматический оценщик соглашается со всем уверенным и хорошо оформленным. Какова бы ни была причина, оценщик, расходящийся с вашими пользователями, не нейтральный прибор, и все исторические числа, им произведённые, наследуют ту же снисходительность.\u003C\u002Fp>\n\u003Ch2>Настоящая ли оценка?\u003C\u002Fh2>\n\u003Cp>Четыре быстрые проверки, каждая из которых в своё время объясняла весь разрыв целиком. Оценивает ли конвейер ту версию, которая действительно развёрнута, или ту, что была до последних правок? Не утекли ли оценочные случаи внутрь системы — как примеры в материале подсказки или сметённые в справочную коллекцию, — то есть измеряетесь ли вы по набору или подгоняетесь под него? Не упёрся ли набор в потолок, так что проходит всё и оценка потеряла способность двигаться? И насколько число гуляет, когда не меняется ничего: комфортная оценка, скачущая сильнее обсуждаемого разрыва, не доказывает ничего.\u003C\u002Fp>\n\u003Ch2>Сконцентрированы ли жалобы?\u003C\u002Fh2>\n\u003Cp>Проверьте, недовольство широкое или сидит в одном месте. Концентрация — не повод отмахнуться. Сегмент может составлять малую долю использования и при этом быть тем, который продлевает крупнейшие договоры, или тем, который говорит публично, или тем, где ошибка не раздражает, а дорого стоит.\u003C\u002Fp>\n\u003Cp>Что концентрация действительно говорит — это как отчитываться дальше. Если у одной группы существенно другой опыт, среднее по всем будет продолжать его прятать, и честная подача — поставить число этой группы рядом с общим, а не сложить их вместе.\u003C\u002Fp>\n\u003Ch2>Что делать с ответом\u003C\u002Fh2>\n\u003Cp>Какая бы проверка ни разрешила спор, замыкайте круг одинаково: превратите жалобы в постоянные случаи набора, чтобы этот конкретный отказ не мог повториться незаметно для измерения. Обновите шкалу или добавьте второе измерение, на которое указывали жалобы. Отчитывайтесь по затронутому сегменту отдельно. И скажите вслух, один раз, что прежнее число измеряло нечто более узкое, чем все предполагали: тихая правка оставляет то же непонимание доступным следующему человеку, который откроет график.\u003C\u002Fp>\n\u003Cp>Стоит записать и то, какая именно проверка разрешила спор, потому что тот же разрыв откроется снова по той же причине. Команда, однажды нашедшая пробел в покрытии, найдёт его снова, когда появится очередной сегмент или очередная возможность, а заметка о том, что мы сначала проверили покрытие и дело было в нём, превращает следующее расследование из вечера в десять минут.\u003C\u002Fp>\n\u003Ch2>Единственный ход, которого стоит избегать\u003C\u002Fh2>\n\u003Cp>Не разрешайте расхождение подгонкой измерения до согласия с оценкой. Поднять порог, выбросить трудную категорию из набора, перейти на метрику, которая случайно выглядит лучше, — всё это доступно и быстро, и каждое превращает решаемую проблему измерения в нерешаемую проблему доверия. Смысл оценки был в том, чтобы она была тем, что с вами спорит.\u003C\u002Fp>","Офлайн-оценка говорит норма, пользователи — обратное. Последовательность проверок: шкала, покрытие их случаев, оценщик, утечка и концентрация жалоб.",[10,11,12,13,14],"оценка ИИ","обратная связь пользователей","офлайн-оценка","метрики качества","качество продукта","how-to","2026-09-10T03:30:02+00:00",[18,23,27,31,36,41],{"slug":19,"title":20,"excerpt":21,"updated_at":22},"ai-tool-pricing-models-seat-vs-usage-vs-credits","Модели ценообразования AI-инструментов: за место, за использование и по кредитам","Три распространённых способа тарификации AI-инструментов — за место, за использование и по кредитам — и как понять, какой из них окажется дешевле именно для того, как работает ваша команда.","2026-08-05T14:32:26+00:00",{"slug":24,"title":25,"excerpt":26,"updated_at":22},"how-ai-image-generators-differ-diffusion-vs-the-rest","Чем различаются ИИ-генераторы изображений: диффузия и всё остальное, простыми словами","Нетехническое объяснение того, как работают ИИ-генераторы изображений, почему диффузионный подход стал доминирующим и каких практических различий стоит ждать от разных инструментов.",{"slug":28,"title":29,"excerpt":30,"updated_at":22},"how-to-automate-your-workflow-without-code","Как автоматизировать процесс без кода","Практическая последовательность для автоматизаций, которые выживают: выбрать подходящий процесс, описать его до того, как открывать инструмент, и предусмотреть сбои, ломающие большинство первых попыток.",{"slug":32,"title":33,"excerpt":34,"updated_at":35},"how-to-build-a-chatbot-without-coding","Как собрать чат-бота без программирования","Практический путь к работающему чат-боту на no-code инструментах: определить границы, подключить свой контент, обработать вопросы без ответа и понять реальную стоимость.","2026-08-05T14:32:27+00:00",{"slug":37,"title":38,"excerpt":39,"updated_at":40},"how-to-build-an-evaluation-set-that-does-not-go-stale","Как собрать оценочный набор, который не устареет","Большинство оценочных наборов собирают один раз, из того, что было легко достать, и они тихо перестают представлять работу. Как собрать набор из уже имеющихся отказов, подпитывать его из продакшена, защищать от системы, которую он измеряет, и понимать, когда он исчерпан.","2026-09-09T03:30:02+00:00",{"slug":42,"title":43,"excerpt":44,"updated_at":45},"how-to-change-a-prompt-without-breaking-production","Как менять промпт, не ломая прод","Промпты правят в текстовом поле и выкатывают за секунды — поэтому они ломают вещи тихо: ни компилятора, ни стектрейса, ни очевидного момента сбоя. Дайте им релизную дисциплину кода.","2026-08-24T03:30:02+00:00"]