Если ваш ИИ галлюцинирует, не вините ИИ

«Галлюцинации» ИИ — эти убедительно звучащие, но ложные ответы — привлекают много внимания СМИ, как в недавней статье в New York Times, ИИ становится все более мощным, но его галлюцинации становятся все хуже. Галлюцинации представляют собой реальную опасность, когда вы имеете дело с потребительским чат-ботом. В контексте бизнес-приложений ИИ это еще более серьезная проблема. К счастью, как руководитель бизнес-технологий я также имею больше контроля над этим. Я могу убедиться, что у агента есть правильные данные для выдачи осмысленного ответа.

Потому что это реальная проблема. В бизнесе нет оправданий для Галлюцинации ИИ. Перестаньте винить ИИ. Вините себя за то, что не используете ИИ должным образом.

После появления генеративный ИИ инструменты галлюцинируют, они делают то, для чего они предназначены — дают наилучший ответ, который они могут дать на основе имеющихся у них данных. Когда они выдумывают всякую ерунду, выдавая ответ, который не основан на реальности, это потому, что они не имеют соответствующих данных, не могут их найти или не понимают вопроса. Да, новые модели, такие как o3 и o4-mini от OpenAI, галлюцинируют больше, действуя еще более «креативно», когда у них нет хорошего ответа на заданный им вопрос. Да, более мощные инструменты могут галлюцинировать больше – но они также могут производить более мощные и ценные результаты, если мы настроим их на успех.

Если вы не хотите, чтобы ваш ИИ галлюцинировал, не морите его голодом по данным. Давайте ИИ самые лучшие, самые релевантные данные для проблемы, которую вы хотите, чтобы он решил, и у него не возникнет соблазна сбиться с пути.

Даже тогда, при работе с любым инструментом ИИ, я рекомендую сохранять свои навыки критического мышления нетронутыми. Результаты, которые предоставляют агенты ИИ, могут быть продуктивными и восхитительными, но суть не в том, чтобы отключить мозг и позволить программному обеспечению думать за вас. Продолжайте задавать вопросы. Когда агент ИИ дает вам ответ, подвергайте его сомнению, чтобы убедиться, что он имеет смысл и подкреплен данными. Если так, это должно быть обнадеживающим признаком того, что стоит потратить время на то, чтобы задать уточняющие вопросы.

Чем больше вопросов вы задаете, тем более глубокие знания вы получаете.

Почему возникают галлюцинации

Это не какая-то тайна. ИИ не пытается вам лгать. Каждая большая языковая модель (LLM) ИИ по сути предсказывает следующее слово или число на основе вероятности.

На высоком уровне здесь происходит то, что LLM связывают предложения и абзацы по одному слову за раз, предсказывая следующее слово, которое должно встретиться в предложении, на основе миллиардов других примеров в своих обучающих данных. Предками LLM (кроме Clippy) были подсказки автозаполнения для текстовых сообщений и компьютерного кода, автоматизированные инструменты перевода на человеческий язык и другие вероятностные лингвистические системы. С увеличением вычислительной мощности грубой силы, а также обучением на объемах данных интернет-масштаба эти системы стали достаточно «умными», чтобы поддерживать полноценный разговор в чате, как мир узнал с появлением ChatGPT.

Скептики ИИ любят указывать, что это не то же самое, что настоящий «интеллект», а всего лишь программное обеспечение, которое может извлекать и перерабатывать человеческий интеллект, который был ему скормлен. Попросите его суммировать данные в письменном отчете, и он подражает тому, как другие авторы суммировали аналогичные данные.

Мне кажется, что это академический аргумент, если данные верны, а анализ полезен.

Что происходит, если у ИИ нет данных? Он заполняет пробелы. Иногда это смешно. Иногда это полный беспорядок.

При строительстве AI-агенты, это в 10 раз больше риска. Агенты должны предоставлять действенные идеи, но они принимают больше решений по ходу дела. Они выполнили многошаговые задачи, где результат шага 1 информирует шаги 2, 3, 4, 5, … 10 … 20. Если результаты шага 1 неверны, ошибка будет усилена, делая вывод на шаге 20 намного хуже. Тем более, что агенты могут принимать решения и пропускать шаги.

При правильном подходе агенты достигают большего для бизнеса, который их использует. Однако, как менеджеры по продуктам ИИ, мы должны признать больший риск, который идет вместе с большей наградой.

Что и сделала наша команда. Мы увидели риск и взялись за него. Мы не просто построили модного робота; мы убедились, что он работает на правильных данных. Вот что, по моему мнению, мы сделали правильно:

• Создайте агента, который будет задавать правильные вопросы и проверять, что у него есть правильные данные. Убедитесь, что начальный процесс ввода данных агентом на самом деле более детерминирован, менее «креативен». Вы хотите, чтобы агент говорил, когда у него нет правильных данных, и не переходил к следующему шагу, а не выдумывал данные.
• Структурируйте сценарий для вашего агента – убедитесь, что он не изобретает новый план каждый раз, а имеет полуструктурированный подход. Структура и контекст чрезвычайно важны на этапе сбора и анализа данных. Вы можете позволить агенту расслабиться и действовать более «креативно», когда у него есть факты и он готов написать резюме, но сначала правильно изложите факты.
• Создайте высококачественный инструмент для извлечения данных. Это должно быть больше, чем просто вызов API. Уделите время написанию кода (люди все еще делают это), который создает правильное количество и разнообразие данных, которые будут собраны, встраивая проверки качества в процесс.
• Заставьте агента показать свою работу. Агент должен ссылаться на свои источники и ссылку на то, где пользователь может проверить данные, из первоисточника, и изучить их более подробно. Не допускается небрежность!
• Защитные ограждения: продумайте, что может пойти не так, и создайте защиту от ошибок, которые вы категорически не можете допустить. В нашем случае это означает, что когда у агента, которому поручено проанализировать рынок, нет данных — под которыми я подразумеваю наши данные Similarweb, а не какой-то случайный источник данных, взятый из сети — убедиться, что он ничего не выдумывает, является существенным защитным ограждением. Лучше, чтобы агент не смог ответить, чем дать ложный или вводящий в заблуждение ответ.

Мы включили эти принципы в наш недавний выпуск трех новых агентов, и их будет больше. Например, наш агент AI Meeting Prep Agent для продавцов не просто спрашивает название целевой компании, но и детализирует цель встречи и с кем она проводится, подготавливая его к предоставлению лучшего ответа. Ему не нужно угадывать, потому что он использует множество данных компании, цифровых данных и профилей руководителей для информирования своих рекомендаций.

Идеальны ли наши агенты? Нет. Пока никто не создает идеальный ИИ, даже крупнейшие компании мира. Но столкнуться с проблемой лицом к лицу — это гораздо лучше, чем игнорировать ее.

Хотите меньше галлюцинаций? Дайте вашему ИИ хороший кусок данные высокого качества.

Если он галлюцинирует, возможно, это не ИИ, который нужно исправить. Возможно, это ваш подход к использованию этих мощных новых возможностей без вложения времени и усилий, чтобы сделать их правильными.