Лидеры мнений
Когда ваш ИИ изобретает факты: Риск для предприятия, который ни один лидер не может игнорировать
Добавьте Unite.AI в избранные источники в Google
Это звучит правильно. Это выглядит правильно. Это неправильно. Это ваш ИИ на галлюцинации. Проблема не только в том, что современные генеративные модели ИИ галлюцинируют. Это то, что мы думаем, что если мы построим достаточно защитных барьеров, отладим его, RAG его и как-то приручим, то мы сможем采用 его в масштабе предприятия.
| Исследование | Домен | Ставка галлюцинации | Ключевые выводы |
|---|---|---|---|
| Stanford HAI & RegLab (янв 2024) | Юридический | 69%–88% | Модели LLM демонстрировали высокие ставки галлюцинации при ответах на юридические запросы, часто не осознавая своих ошибок и подкрепляя неправильные юридические предположения. |
| Исследование JMIR (2024) | Академические ссылки | GPT-3.5: 90.6%, GPT-4: 86.6%, Bard: 100% | Ссылки, сгенерированные LLM, часто были нерелевантными, неправильными или не поддерживались доступной литературой. |
| Исследование Великобритании о контенте, сгенерированном ИИ (фев 2025) | Финансы | Не указано | Дезинформация, сгенерированная ИИ, увеличила риск банковских кризисов, и значительная часть клиентов банков рассматривала возможность перевода своих денег после просмотра фейкового контента, сгенерированного ИИ. |
| Глобальный отчет о рисках Всемирного экономического форума (2025) | Глобальная оценка рисков | Не указано | Дезинформация и фейковая информация, усиленные ИИ, заняли первое место в глобальных рисках за двухлетний период. |
| Таблица лидеров галлюцинаций Vectara (2025) | Оценка моделей ИИ | GPT-4.5-Preview: 1.2%, Google Gemini-2.0-Pro-Exp: 0.8%, Vectara Mockingbird-2-Echo: 0.9% | Оценка ставок галлюцинации различных моделей LLM, показывающая значительные различия в производительности и точности. |
| Исследование Arxiv о галлюцинации фактов (2024) | Исследования ИИ | Не указано | Представлено HaluEval 2.0 для систематического изучения и обнаружения галлюцинаций в моделях LLM, с фокусом на фактических неточностях. |
Ставки галлюцинации варьируются от 0,8% до 88%
Да, это зависит от модели, домена, случая использования и контекста, но такой разброс должен насторожить любого руководителя предприятия. Это не ошибки в редких случаях. Это системные ошибки. Как вы принимаете правильное решение, когда речь идет об采用 ИИ в вашем предприятии? Где, как, как глубоко, как широко?
И примеры реальных последствий этого приходят к вам каждый день. Финансовый стабильный совет G20 отметил генеративный ИИ как вектор дезинформации, который может вызвать рыночные кризисы, политическую нестабильность и хуже – вспышки, фейковые новости и мошенничество. В другой недавно сообщенной истории юридическая фирма Morgan & Morgan выпустила срочное письмо всем юристам: Не подавайте документы, сгенерированные ИИ, без проверки. Фейковое право – это “увольнение”.
Это может не быть лучшим временем, чтобы поставить на кон все на ставку галлюцинации, стремящуюся к нулю в ближайшее время. Особенно в регулируемых отраслях, таких как юридическая, науки о жизни, капитальные рынки или в других, где стоимость ошибки может быть высокой, включая публикацию высшего образования.
Галлюцинация не является ошибкой округления
Это не только случайный неправильный ответ. Это вопрос риска: репутационного, юридического, операционного.
Генеративный ИИ не является двигателем рассуждений. Это статистический финишер, стохастический попугай. Он завершает ваш запрос наиболее вероятным образом на основе обучающих данных. Даже правдивые части – это догадки. Мы называем самые абсурдные части “галлюцинациями”, но весь вывод – это галлюцинация. Хорошо оформленная. Тем не менее, это работает, магически хорошо – пока не перестает работать.
ИИ как инфраструктура
И все же, важно сказать, что ИИ будет готов для采用 в масштабе предприятия, когда мы начнем относиться к нему как к инфраструктуре, а не как к магии. И когда это необходимо, он должен быть прозрачным, объяснимым и отслеживаемым. И если он не таков, то, просто говоря, он не готов для采用 в масштабе предприятия для этих случаев использования. Если ИИ принимает решения, он должен быть в поле зрения вашего совета директоров.
Закон ИИ ЕС ведет за собой здесь. Высокорисковые домены, такие как справедливость, здравоохранение и инфраструктура, будут регулироваться как критически важные системы. Документация, тестирование и объяснимость будут обязательными.
Что делают безопасные модели ИИ для предприятия
Компании, которые специализируются на построении безопасных моделей ИИ для предприятия, принимают сознательное решение построить ИИ по-другому. В их альтернативных архитектурах ИИ языковые модели не обучаются на данных, поэтому они не “загрязнены” чем-либо нежелательным в данных, таким как предвзятость, нарушение прав интеллектуальной собственности или склонность к догадкам или галлюцинациям.
Такие модели не “завершат вашу мысль” – они рассуждают из контента вашего пользователя. Их база знаний. Их документы. Их данные. Если ответа нет, эти модели говорят об этом. Это то, что делает такие модели ИИ объяснимыми, отслеживаемыми, детерминированными и хорошим вариантом в местах, где галлюцинации недопустимы.
5-шаговый план действий для подотчетности ИИ
- Отобразите ландшафт ИИ – Где используется ИИ во всем вашем бизнесе? Какие решения они влияют? Какую премию вы ставите на возможность отслеживать эти решения обратно к прозрачному анализу на надежном исходном материале?
- Соедините вашу организацию – В зависимости от объема вашего развертывания ИИ, установите роли, комитеты, процессы и практики аудита, такие же строгие, как и для финансовых или кибербезопасных рисков.
- Приведите ИИ в уровень риска совета директоров – Если ваш ИИ общается с клиентами или регулирующими органами, он принадлежит в ваши отчеты о рисках. Управление не является сторонним шоу.
- Относитесь к поставщикам как к совместным обязанностям – Если ИИ вашего поставщика выдумывает вещи, вы все равно владеете последствиями. Расширьте свои принципы подотчетности ИИ до них. Требуйте документацию, права аудита и SLA для объяснимости и ставок галлюцинации.
- Обучите скептицизм – Ваша команда должна относиться к ИИ как к младшему аналитику – полезному, но не непогрешимому. Празднуйте, когда кто-то выявляет галлюцинацию. Доверие должно быть заслужено.
Будущее ИИ в предприятии не является более крупными моделями. Что необходимо, это больше точности, больше прозрачности, больше доверия и больше подотчетности.
