Опасности чат-ботов ИИ – и как с ними бороться

Ранее чат-боты ИИ считались просто автоматизированными программами для общения, но теперь они могут учиться и вести разговоры, которые почти неотличимы от человеческих. Однако опасности чат-ботов ИИ столь же разнообразны.

Эти опасности могут варьироваться от неправильного использования ими людей до реальных киберугроз. По мере того, как люди все больше полагаются на технологию ИИ, важно знать о потенциальных последствиях использования этих программ. Но являются ли чат-боты опасными?

1. Предвзятость и дискриминация

Одна из главных опасностей чат-ботов ИИ – их склонность к вредным предвзятостям. Поскольку ИИ устанавливает связи между данными, которые люди часто упускают из виду, он может уловить тонкие, неявные предвзятости в своих тренировочных данных и научиться быть дискриминационным. В результате чат-боты могут быстро научиться распространять расистский, сексистский или другой дискриминационный контент, даже если ничего подобного не было в их тренировочных данных.

Примером этого может служить проект ИИ Amazon (AMZN ) по найму сотрудников. В 2018 году стало известно, что Amazon отказался от проекта ИИ по предварительной оценке резюме кандидатов, поскольку он штрафовал заявки от женщин. Поскольку большинство резюме, на которых был обучен бот, были мужскими, он научился считать мужских кандидатов более предпочтительными, даже если тренировочные данные не содержали явных указаний на это.

Чат-боты, использующие контент из интернета для обучения общению, демонстрируют еще более экстремальные предвзятости. В 2016 году Microsoft (MSFT ) представил чат-бота под названием Tay, который научился имитировать социальные медиа-посты. В течение нескольких часов он начал твитить высоко оскорбительный контент, что привело к приостановке аккаунта.

Если компании не будут осторожны при создании и развертывании этих ботов, они могут непреднамеренно привести к подобным ситуациям. Чат-боты могут плохо обращаться с клиентами или распространять вредный предвзятый контент, который они должны предотвратить.

2. Киберугрозы

Опасности технологии чат-ботов ИИ также могут представлять прямую киберугрозу для людей и бизнеса. Одним из наиболее распространенных видов кибератак являются фишинговые и вишинговые атаки. Они включают кибератакующих, имитирующих доверенные организации, такие как банки или государственные органы.

Фишинговые атаки обычно осуществляются через электронную почту и текстовые сообщения – клик на ссылку позволяет вредоносному ПО проникнуть в компьютерную систему. Как только вирус попадает внутрь, он может делать все, от кражи личной информации до захвата системы для выкупа.

Темп фишинговых атак постоянно увеличивался во время и после пандемии COVID-19. Агентство по кибербезопасности и инфраструктуре выяснило, что 84% людей ответили на фишинговые сообщения с конфиденциальной информацией или кликнули на ссылку.

Фишеры используют технологию чат-ботов ИИ для автоматизации поиска жертв, убеждения их кликнуть на ссылки и раскрытия личной информации. Чат-боты используются многими финансовыми учреждениями – такими как банки – для оптимизации опыта обслуживания клиентов.

Фишинговые чат-боты могут имитировать те же автоматические подсказки, которые используют банки, чтобы обмануть жертв. Они также могут автоматически набирать телефонные номера или связываться с жертвами напрямую на интерактивных платформах чата.

3. Отравление данных

Отравление данных – это новая кибератака, которая напрямую нацелена на искусственный интеллект. Технология ИИ учится на наборах данных и использует эту информацию для выполнения задач. Это верно для всех программ ИИ, независимо от их цели или функций.

Для чат-ботов ИИ это означает обучение на множественных ответах на возможные вопросы пользователей. Однако это также одна из опасностей ИИ.

Эти наборы данных часто являются открытыми инструментами и ресурсами, доступными для всех. Хотя компании ИИ обычно хранят свои источники данных в секрете, кибератакующие могут определить, какие источники они используют, и манипулировать данными.

Кибератакующие могут найти способы вмешиваться в наборы данных, используемые для обучения ИИ, что позволяет им манипулировать их решениями и ответами. ИИ будет использовать информацию из измененных данных и выполнять действия, которые хотят атакующие.

Например, одним из наиболее часто используемых источников для наборов данных являются вики-ресурсы, такие как Википедия. Хотя данные не поступают напрямую из живой статьи Википедии, они поступают из снимков данных, сделанных в определенное время. Хакеры могут найти способ изменить данные в свою пользу.

В случае с чат-ботами ИИ хакеры могут испортить наборы данных, используемые для обучения чат-ботов, работающих в медицинских или финансовых учреждениях. Они могут манипулировать программами чат-ботов, чтобы предоставить клиентам ложную информацию, которая может привести их к клику на ссылку, содержащую вредоносное ПО или фальшивый веб-сайт. Как только ИИ начинает использовать отравленные данные, его трудно обнаружить и может привести к значительному нарушению кибербезопасности, которое может остаться незамеченным в течение долгого времени.

Как устранить опасности чат-ботов ИИ

Эти риски тревожны, но они не означают, что чат-боты ИИ по своей природе опасны. Скорее, следует подходить к ним с осторожностью и учитывать эти опасности при создании и использовании чат-ботов.

Ключом к предотвращению предвзятости ИИ является поиск ее во время обучения. Убедитесь, что вы обучаете его на разнообразных наборах данных и специально программируете его, чтобы он не учитывал такие факторы, как раса, пол или сексуальная ориентация при принятии решений. Также важно иметь разнообразную команду ученых, которые будут проверять внутреннюю работу чат-ботов и убеждаться, что они не демонстрируют никаких предвзятостей, однако тонких.

Лучшая защита от фишинга – обучение. Обучите всех сотрудников распознавать обычные признаки фишинговых атак, чтобы они не попались на эти атаки. Распространение осведомленности среди потребителей об этой проблеме также поможет.

Вы можете предотвратить отравление данных, ограничив доступ к тренировочным данным чат-ботов. Только те, кто нуждается в доступе к этим данным для выполнения своей работы, должны иметь разрешение – это концепция, называемая принципом наименьших привилегий. После реализации этих ограничений используйте сильные меры верификации, такие как многофакторная аутентификация или биометрия, чтобы предотвратить риски хакерских атак на авторизованный аккаунт.

Оставайтесь бдительными против опасностей зависимости от ИИ

Искусственный интеллект – это действительно чудесная технология с почти бесконечными применениями. Однако опасности ИИ могут быть неочевидными. Являются ли чат-боты опасными? Не по своей природе, но киберпреступники могут использовать их разными способами. От пользователей зависит, чтобы решить, какие применения этой новой технологии.