Лидеры мысли
Когда ваш ИИ изобретает факты: корпоративный риск, который ни один лидер не может игнорировать
Звучит правильно. Выглядит правильно. Это неправильно. Это ваш ИИ на галлюцинации. Проблема не только в том, что сегодняшние генеративные модели ИИ галлюцинировать. Мы считаем, что если мы построим достаточно ограждений, отладим их, модернизируем и каким-то образом укротим, то мы сможем внедрить их в масштабах предприятия.
| Кабинет | Домен | Частота галлюцинаций | Ключевые результаты |
|---|---|---|---|
| Стэнфордский HAI и RegLab (Jan 2024) | Legal | 69% -88% | У студентов, имеющих степень магистра права, наблюдался высокий уровень галлюцинаций при ответах на юридические вопросы, они часто не осознавали своих ошибок и подкрепляли неверные правовые предположения. |
| Исследование JMIR (2024) | Академические ссылки | GPT-3.5: 90.6%, GPT-4: 86.6%, Бард: 100% | Ссылки, сгенерированные LLM, часто были неактуальными, неверными или не подтверждались доступной литературой. |
| Исследование в Великобритании по контенту, созданному с помощью искусственного интеллекта (Февраль 2025) | Финансовые | Не определен | Дезинформация, генерируемая искусственным интеллектом, увеличила риск массового изъятия средств из банков, поскольку значительная часть клиентов банков рассматривала возможность перевода своих денег после просмотра фейкового контента, генерируемого искусственным интеллектом. |
| Отчет Всемирного экономического форума о глобальных рисках (2025) | Глобальная оценка риска | Не определен | Дезинформация и искажение информации, усиленные искусственным интеллектом, признаны главным глобальным риском в двухлетней перспективе. |
| Таблица лидеров Vectara Hallucination (2025) | Оценка модели ИИ | GPT-4.5-Preview: 1.2%, Google Gemini-2.0-Pro-Exp: 0.8%, Vectara Mockingbird-2-Echo: 0.9% | Оценили частоту галлюцинаций среди различных магистров права, выявив существенные различия в производительности и точности. |
| Исследование Arxiv по фактологическим галлюцинациям (2024) | AI Исследования | Не определен | Представлен HaluEval 2.0 для систематического изучения и обнаружения галлюцинаций у студентов магистратуры с упором на фактические неточности. |
Частота галлюцинаций колеблется от 0.8% до 88%.
Да, это зависит от модели, домена, варианта использования и контекста, но этот разброс должен смутить любого принимающего решения на предприятии. Это не пограничные ошибки. Они системные. Как сделать правильный выбор, когда дело доходит до внедрения ИИ на вашем предприятии? Где, как, насколько глубоко, насколько широко?
И примеры реальных последствий этого явления ежедневно попадаются вам на глаза в новостной ленте. Совет по финансовой стабильности G20 обозначил генеративный ИИ как вектор дезинформации которые могут вызвать рыночные кризисы, политическую нестабильность и, что еще хуже, внезапные сбои, фейковые новости и мошенничество. В другой недавно опубликованной истории юридическая фирма Morgan & Morgan выпустила экстренную памятку для всех юристов: не отправляйте сгенерированные ИИ документы без проверки. Фальшивое прецедентное право — это «увольняемое» правонарушение.
Возможно, это не лучшее время, чтобы делать ставку на то, что уровень галлюцинаций в ближайшее время будет стремиться к нулю. Особенно в регулируемых отраслях, таких как юриспруденция, науки о жизни, рынки капитала или в других, где цена ошибки может быть высокой, включая публикацию высшего образования.
Галлюцинация — это не ошибка округления
Речь идет не о случайном неправильном ответе. Речь идет о риск: Репутационный, Юридический, Операционный.
Генеративный ИИ — это не рассуждающий движок. Это статистический финишер, стохастический попугай. Он завершает вашу подсказку наиболее вероятным образом на основе обучающих данных. Даже правдоподобно звучащие детали являются догадками. Мы называем самые абсурдные произведения «галлюцинациями», но весь результат — это галлюцинация. Хорошо оформленная. Тем не менее, она работает, магически хорошо — пока не перестает.
ИИ как инфраструктура
И все же важно сказать, что ИИ будет готов к внедрению в масштабах всего предприятия, когда мы начнем относиться к нему как к инфраструктура, а не как по волшебству. И там, где это требуется, он должен быть прозрачным, объяснимым и отслеживаемым. А если это не так, то, попросту говоря, он не готов к внедрению в масштабах всего предприятия для этих вариантов использования. Если ИИ принимает решения, он должен быть на радаре вашего совета директоров.
Закон ЕС об искусственном интеллекте здесь лидирует. Такие высокорисковые области, как правосудие, здравоохранение и инфраструктура, будут регулироваться как критически важные системы. Документация, тестирование и объяснимость станут обязательными.
Что делают безопасные для предприятия модели искусственного интеллекта
Компании, специализирующиеся на создании моделей ИИ, безопасных для предприятий, принимают осознанное решение строить ИИ по-другому. В своих альтернативных архитектурах ИИ языковые модели не обучаются на данных, поэтому они не «загрязнены» чем-либо нежелательным в данных, например предвзятостью, нарушением прав интеллектуальной собственности или склонностью к догадкам или галлюцинациям.
Такие модели не «дополняют вашу мысль» — они рассуждают с точки зрения пользователя. содержание. Их база знаний. Их документы. Их данные. Если ответа нет, эти модели так и говорят. Вот что делает такие модели ИИ объяснимыми, прослеживаемыми, детерминированными и хорошим вариантом в местах, где галлюцинации неприемлемы.
5-шаговая инструкция по обеспечению ответственности ИИ
- Карта ландшафта ИИ – Где в вашем бизнесе используется ИИ? На какие решения он влияет? Насколько важна для вас возможность отслеживать эти решения с помощью прозрачного анализа на основе надежного исходного материала?
- Приведите в порядок свою организацию – В зависимости от масштаба развертывания ИИ создайте роли, комитеты, процессы и методы аудита, столь же строгие, как и для финансовых рисков или рисков кибербезопасности.
- Внедрение ИИ в управление рисками на уровне совета директоров – Если ваш ИИ общается с клиентами или регуляторами, он должен быть в ваших отчетах о рисках. Управление – это не второстепенное действие.
- Относитесь к поставщикам как к соучастникам – Если ИИ вашего поставщика что-то выдумывает, вы все равно несете ответственность за последствия. Распространите на них свои принципы ответственности ИИ. Требуйте документацию, права на аудит и SLA для объяснимости и показателей галлюцинаций.
- Поезд скептицизм – Ваша команда должна относиться к ИИ как к младшему аналитику — полезному, но не непогрешимому. Празднуйте, когда кто-то идентифицирует галлюцинацию. Доверие нужно заслужить.
Будущее ИИ на предприятии не более крупные модели. Нужно больше точности, больше прозрачности, больше доверия и больше ответственности.
