Если ваш ИИ галлюцинирует, не обвиняйте ИИ

«Галлюцинации» ИИ – те убедительно звучащие, но ложные ответы – привлекают много внимания средств массовой информации, как, например, недавняя статья в New York Times, ИИ становится всё более мощным, но его галлюцинации становятся хуже. Галлюцинации являются реальной опасностью, когда вы имеете дело с потребительским чат-ботом. В контексте бизнес-приложений ИИ это ещё более серьёзная проблема. К счастью, как лидер бизнес-технологий, у меня есть больше контроля над этим. Я могу убедиться, что агент имеет правильные данные, чтобы дать осмысленный ответ.

Потому что это реальная проблема. В бизнесе нет оправдания для галлюцинаций ИИ. Перестаньте обвинять ИИ. Обвиняйте себя за то, что не используете ИИ правильно.

Когда генеративные инструменты ИИ галлюцинируют, они делают то, для чего они предназначены – дают лучший ответ, который они могут на основе доступных им данных. Когда они придумывают что-то, производя ответ, не основанный на реальности, это потому, что им не хватает соответствующих данных, они не могут найти их или не понимают вопрос. Да, новые модели, такие как o3 и o4-mini от OpenAI, галлюцинируют больше, действуют ещё более «креативно», когда у них нет хорошего ответа на заданный вопрос. Да, более мощные инструменты могут галлюцинировать больше – но они также могут производить более мощные и ценные результаты, если мы настроим их на успех.

Если вы не хотите, чтобы ваш ИИ галлюцинировал, не лишайте его данных. Кормите ИИ лучшими, наиболее актуальными данными для проблемы, которую вы хотите решить, и он не будет соблазнён отклониться от правильного пути.

Даже тогда, когда вы работаете с любым инструментом ИИ, я рекомендую сохранять ваши критические навыки мышления. Результаты, которые дают агенты ИИ, могут быть продуктивными и приятными, но цель не состоит в том, чтобы отключить ваш мозг и позволить программному обеспечению делать всё мышление за вас. Продолжайте задавать вопросы. Когда агент ИИ даёт вам ответ, вопросите этот ответ, чтобы убедиться, что он имеет смысл и основан на данных. Если да, это должно быть ободряющим знаком, что стоит вашего времени задать дополнительные вопросы.

Чем больше вы вопросите, тем лучше будут ваши прозрения.

Почему происходят галлюцинации

Это не какая-то загадка. ИИ не пытается обмануть вас. Каждая большая языковая модель (LLM) ИИ по сути предсказывает следующее слово или число на основе вероятности.

На высоком уровне то, что происходит здесь, заключается в том, что LLM соединяет предложения и абзацы по одному слову за раз, предсказывая следующее слово, которое должно появиться в предложении на основе миллиардов других примеров в его обучающих данных. Предшественники LLM (помимо Clippy) были автозаполнением подсказок для текстовых сообщений и компьютерного кода, автоматическими инструментами перевода человеческого языка и другими вероятностными лингвистическими системами. С увеличением вычислительной мощности и обучением на интернет-объеме данных эти системы стали «умными» enough, чтобы вести полноценный разговор по чату, как мир узнал с введением ChatGPT.

Скептики ИИ любят указывать на то, что это не то же самое, что настоящий «интеллект», а только программное обеспечение, которое может дистиллировать и воспроизводить человеческий интеллект, который был ему дан. Спросите его суммировать данные в письменном отчёте, и он имитирует то, как другие писатели суммировали подобные данные.

Это кажется мне академической дискуссией, пока данные правильны и анализ полезен.

Что происходит, если у ИИ нет данных? Он заполняет пробелы. Иногда это смешно. Иногда это полный беспорядок.

Когда мы строим агентов ИИ, это риск в 10 раз. Агенты должны давать действенные прозрения, но они принимают больше решений на своём пути. Они выполняют многоступенчатые задачи, где результат шага 1 информирует шаги 2, 3, 4, 5, … 10 … 20. Если результат шага 1 неверен, ошибка будет усиливаться, делая выход на шаге 20 ещё хуже. Особенно, поскольку агенты могут принимать решения и пропускать шаги.

Если всё сделано правильно, агенты достигают большего для бизнеса, который их развертывает. Однако, как менеджеры продукта ИИ, мы должны признать больший риск, который сопровождает большую награду.

Что именно сделала наша команда. Мы увидели риск и справились с ним. Мы не просто построили модный робот; мы убедились, что он работает на правильных данных. Вот что, по моему мнению, мы сделали правильно:

• Построить агента, чтобы он задавал правильные вопросы и проверял, что у него правильные данные. Убедитесь, что первоначальный процесс ввода данных агента фактически более детерминирован, менее «креативен». Вы хотите, чтобы агент сказал, когда у него нет правильных данных и не продолжал к следующему шагу, а не придумывал данные.
• Создать справочник для вашего агента – убедитесь, что он не изобретает новый план каждый раз, а имеет полуструктурированный подход. Структура и контекст чрезвычайно важны на этапе сбора и анализа данных. Вы можете позволить агенту немного «раслабиться» и действовать более «креативно», когда он имеет факты и готов написать суммирование, но сначала получите факты правильно.
• Построить инструмент высокого качества для извлечения данных. Это должно быть больше, чем просто вызов API. Потратьте время на написание кода (люди всё ещё делают это), который создаёт правильное количество и разнообразие данных, которые будут собраны, включая проверки качества в процессе.
• Сделать так, чтобы агент показал свою работу. Агент должен цитировать свои источники и ссылаться на то, где пользователь может проверить данные, из原始ного источника, и изучить их дальше. Никаких фокусов позволено!
• Ограничители: Подумайте о том, что может пойти не так, и построите защиты против ошибок, которые вы абсолютно не можете допустить. В нашем случае это означает, что когда агент, задачей которого является анализ рынка, не имеет данных – то есть наших данных Similarweb, а не какого-то случайного источника данных, взятого из сети, – убедитесь, что он не придумывает что-то. Лучше для агента не давать ответ, чем предоставлять ложный или вводящий в заблуждение ответ.

Мы включили эти принципы в наш последний релиз трёх новых агентов, с ещё большим количеством агентов, которые будут следовать. Например, наш агент подготовки к встрече ИИ для продажников не просто спрашивает имя целевой компании, но и детали о цели встречи и с кем она, готовя его к тому, чтобы дать лучший ответ. Ему не нужно угадывать, потому что он использует богатство данных компании, цифровых данных и профилей руководителей, чтобы проинформировать свои рекомендации.

Идеальны ли наши агенты? Нет. Никто ещё не создаёт идеальный ИИ, даже самые большие компании в мире. Но столкновение с проблемой намного лучше, чем игнорирование её.

Хотите меньше галлюцинаций? Дайте вашему ИИ хороший кусок высококачественных данных.

Если он галлюцинирует, может быть, это не ИИ, который нуждается в исправлении. Может быть, это ваш подход к использованию этих мощных новых возможностей без вкладывания времени и усилий, чтобы всё сделать правильно.