Дмитрий Пеньков: почему флагманские ИИ-модели проваливают BullshitBench
Современные нейросети пишут убедительнее и оформляют ответы почти как экспертные заключения. Однако тест BullshitBench обнаружил разрыв между красноречием и здравым смыслом. Получив вопрос с абсурдной предпосылкой, модель нередко строит вокруг нее серьезный и логично выглядящий ответ.
Для компании последствиями могут стать ошибочный договор, вымышленная судебная практика или решение, прошедшее согласование только потому, что было хорошо написано.
Тест, в котором правильный ответ – возразить
BullshitBench создал специалист по оценке ИИ-моделей Питер Гостев. Вторая версия включает 100 вопросов из разработки, финансов, права, медицины и физики. Они выглядят как профессиональные задачи, но основаны на бессмысленных предпосылках.
Например, нейросеть спрашивают, как вязкость в сантипуазах влияет на движение сделок по воронке продаж или как насыщенность шрифта в счетах определяет квартальную прибыль. Человек замечает подмену категорий. Модель может принять ее за научное условие, подобрать формулы и предложить методику расчета.
Ответы делятся на три категории: модель ясно отвергла предпосылку, усомнилась, но продолжила рассуждение, либо полностью приняла абсурд. Набор содержит более 21 тыс. ответов свыше 200 вариантов моделей и режимов.
«Пользователь воспринимает связный текст как признак понимания. Но модель прежде всего продолжает запрос. Если она не проверяет исходные условия, то может профессионально оформить ошибку. Слабый ответ заметят сразу, а красивый абсурд попадет в документ и начнет влиять на решения», – объясняет основатель и генеральный директор компании Океан Тех Дмитрий Пеньков.
Когда галлюцинация покидает окно чата
Проблема массового ИИ уже вышла за пределы курьезных ответов. По данным Reuters, к сентябрю 2026 года ошибки генеративного ИИ обнаружили не менее чем в 1395 делах американских судов. В документах появлялись несуществующие решения, неверные ссылки и вымышленные детали. Для юриста такая галлюцинация означает штраф и репутационный ущерб, а для клиента может повлиять на ход реального дела.
Исследователи, проверившие 111 млн ссылок в научных работах, предварительно оценили число несуществующих цитирований за 2025 год почти в 147 тыс. Выдуманная ссылка попадает в отчет, затем в другую публикацию и становится частью информационной среды.
В компании цепочка короче: нейросеть неверно трактует регламент, сотрудник переносит ответ в записку, руководитель утверждает его, а агент исполняет решение. Ошибка ответа становится ошибкой процесса.
«Галлюцинация особенно опасна в сочетании с полномочиями. Чат, который придумал факт, создает информационный риск. Агент с доступом к платежам или производственному контуру создает операционный риск. Нужно проверять, умеет ли система распознать невозможную задачу и остановиться до совершения действия», – говорит Пеньков.
Почему собственные данные не являются волшебной таблеткой
Личный корпоративный ИИ на серверах организации позволяет контролировать документы, права доступа, запросы и версии моделей.
Предсказуемость создается архитектурой. Система находит сведения в утвержденных документах и показывает источник. Если подтверждения нет, она отказывается от вывода или обращается к человеку и система не будет утверждать, что выдуманные ей данные верны. Расчеты выполняет проверяемый программный модуль, а критическое действие требует отдельного подтверждения.
В Океан Тех разработке предшествует исследование на реальных задачах. Контрольный набор включает корректные, неполные, противоречивые и абсурдные запросы. Команда измеряет точность, качество отказа, достоверность ссылок и последствия ошибки.
В платформе «Океан Фреймворк™» задача делится между агентами. Один извлекает факты из разрешенных документов, другой проверяет условия, третий выполняет расчет. Каждый получает только необходимые данные и полномочия, а результат проверяется до следующего этапа. Это не делает модель безошибочной, но ограничивает распространение ошибки.
«Корпоративный ИИ должен уметь не только отвечать, но и доказывать, откуда взялся ответ. Мы заранее определяем допустимые источники, тестируем пограничные сценарии и задаем условия остановки. Если данных недостаточно, система сообщает об этом вместо того, чтобы заполнять пробел правдоподобным текстом. Предсказуемость рождается не из размера модели, а из ограничений, проверок и ответственности», – подчеркивает Дмитрий Пеньков.
От гонки красноречия к качеству решений
BullshitBench не доказывает, что новые модели становятся хуже во всем. Он показывает слепую зону рейтингов: система может решать сложные задачи, но не замечать, что ее попросили рассчитать бессмысленную величину.
Для массового рынка убедительность остается преимуществом. Для предприятия она должна быть подчинена проверяемости. Корпоративный ИИ не обязан отвечать всегда. Он обязан отличать факт от предположения и допустимое действие от риска. Иногда самый ценный результат его работы – обоснованное «этого нельзя утверждать».