Опасности ИИ-чатботов – и как им противостоять

Ранее считавшиеся просто автоматизированными программами для общения, ИИ-чатботы теперь могут учиться и вести разговоры, которые практически неотличимы от человеческих. Однако опасности ИИ-чатботов столь же разнообразны.

Эти опасности могут варьироваться от случаев, когда люди неправильно используют их, до реальных киберугроз. По мере того, как люди все больше полагаются на технологии ИИ, важно знать о потенциальных последствиях использования этих программ. Но представляют ли чатботы опасность?

1. Предвзятость и дискриминация

Одной из главных опасностей ИИ-чатботов является их склонность к вредоносным предвзятостям. Поскольку ИИ находит связи между точками данных, которые люди часто упускают из виду, он может уловить тонкие, неявные предвзятости в своих тренировочных данных и научиться быть дискриминационным. В результате чатботы могут быстро научиться распространять расистский, сексистский или другой дискриминационный контент, даже если ничего подобного не было в их тренировочных данных.

Примером этого является заброшенный проект Amazon по созданию бота для подбора персонала. В 2018 году стало известно, что Amazon отказался от проекта ИИ, предназначенного для предварительной оценки резюме заявителей, поскольку он штрафовал заявки от женщин. Поскольку большинство резюме, на которых был обучен бот, принадлежали мужчинам, он научился считать, что мужчины-претенденты более предпочтительны, даже если тренировочные данные этого явно не говорили.

Чатботы, использующие интернет-контент для обучения общению естественным образом, склонны демонстрировать еще более экстремальные предвзятости. В 2016 году Microsoft представила чатбота по имени Tay, который научился имитировать публикации в социальных сетях. В течение нескольких часов он начал публиковать высоко оскорбительный контент, что привело к тому, что Microsoft приостановил аккаунт вскоре после этого.

Если компании не будут осторожны при создании и развертывании этих ботов, они могут случайно привести к подобным ситуациям. Чатботы могут неправильно относиться к клиентам или распространять вредоносный предвзятый контент, который они должны были предотвратить.

2. Киберугрозы

Опасности технологии ИИ-чатботов также могут представлять более прямую киберугрозу для людей и бизнеса. Одним из наиболее распространенных форм кибератак являются фишинговые и вишинговые атаки. Они включают кибератаками, имитирующими доверенные организации, такие как банки или государственные органы.

Фишинговые атаки обычно работают через электронную почту и текстовые сообщения — клик на ссылку позволяет вредоносному ПО проникнуть в компьютерную систему. Как только внутри, вирус может делать все, от кражи личной информации до удержания системы за выкуп.

Темп фишинговых атак стабильно увеличивался во время и после пандемии COVID-19. Агентство по кибербезопасности и безопасности инфраструктуры обнаружило, что 84% людей ответили на фишинговые сообщения с конфиденциальной информацией или кликнули на ссылку.

Фишеры используют технологию ИИ-чатботов для автоматизации поиска жертв, убеждения их кликнуть на ссылки и раскрыть личную информацию. Чатботы используются многими финансовыми учреждениями — такими как банки — для оптимизации опыта обслуживания клиентов.

Фишинговые чатботы могут имитировать те же автоматические подсказки, которые используют банки, чтобы обмануть жертв. Они также могут автоматически набирать телефонные номера или связываться с жертвами напрямую на интерактивных платформах чата.

3. Отравление данных

Отравление данных — это новая концепция кибератаки, которая напрямую нацелена на искусственный интеллект. Технология ИИ учится на наборах данных и использует эту информацию для выполнения задач. Это верно для всех программ ИИ, независимо от их назначения или функций.

Для ИИ-чатботов это означает обучение на нескольких ответах на возможные вопросы, которые могут задать им пользователи. Однако это также одна из опасностей ИИ.

Эти наборы данных часто являются открытыми инструментами и ресурсами, доступными для всех. Хотя компании ИИ обычно хранят свои источники данных в секрете, кибератакеры могут определить, какие из них они используют, и манипулировать данными.

Кибератакеры могут найти способы вмешиваться в наборы данных, используемые для обучения ИИ, что позволяет им манипулировать их решениями и ответами. ИИ будет использовать информацию из измененных данных и выполнять действия, которые хотят атакующие.

Например, одним из наиболее часто используемых источников наборов данных являются вики-ресурсы, такие как Wikipedia. Хотя данные не поступают из прямых статей Wikipedia, они поступают из снимков данных, сделанных в определенное время. Хакеры могут найти способ редактировать данные в свою пользу.

В случае с ИИ-чатботами хакеры могут повредить наборы данных, используемые для обучения чатботов, работающих в медицинских или финансовых учреждениях. Они могут манипулировать программами чатботов, чтобы предоставлять клиентам ложную информацию, которая может привести их к клику на ссылку, содержащую вредоносное ПО или фальшивый веб-сайт. Как только ИИ начинает использовать отравленные данные, его трудно обнаружить, и это может привести к значительному нарушению кибербезопасности, которое может остаться незамеченным в течение долгого времени.

Как устранить опасности ИИ-чатботов

Эти риски вызывают беспокойство, но они не означают, что боты по своей сути опасны. Скорее, вы должны подходить к ним с осторожностью и учитывать эти опасности при создании и использовании чатботов.

Ключ к предотвращению предвзятости ИИ заключается в поиске ее на протяжении всего процесса обучения. Убедитесь, что обучаете его на разнообразных наборах данных и специально программируете его, чтобы он избегал учета таких факторов, как раса, пол или сексуальная ориентация, при принятии решений. Также лучше иметь разнообразную команду специалистов по данным, чтобы просмотреть внутреннюю работу чатботов и убедиться, что они не демонстрируют никаких предвзятостей, однако тонких.

Лучшая защита от фишинга — обучение. Обучите всех сотрудников распознавать обычные признаки фишинговых попыток, чтобы они не попались на эти атаки. Распространение осведомленности потребителей по этому вопросу также поможет.

Вы можете предотвратить отравление данных, ограничив доступ к тренировочным данным чатботов. Только те люди, которые нуждаются в доступе к этим данным для правильного выполнения своей работы, должны иметь разрешение — концепция, называемая принципом наименьших привилегий. После реализации этих ограничений используйте сильные меры верификации, такие как многофакторная аутентификация или биометрия, чтобы предотвратить риски взлома киберпреступниками авторизованного аккаунта.

Оставаться бдительным против опасностей зависимости от ИИ

Искусственный интеллект — это действительно чудесная технология с почти бесконечными применениями. Однако опасности ИИ могут быть неясными. Представляют ли чатботы опасность? Не по своей сути, но киберпреступники могут использовать их различными деструктивными способами. Это зависит от пользователей, чтобы решить, какими будут применения этой новой технологии.