AI 챗봇의 위험 – 그리고 이에 대응하는 방법

한때 자동화된 대화 프로그램으로 생각되었던 AI 챗봇은 이제 인간과 거의 구별할 수 없는 대화를 학습하고 유지할 수 있습니다. 그러나 AI 챗봇의 위험은 다양합니다.

이는 오용하는 사람들부터 실제 사이버 보안 위험에 이르기까지 다양합니다. 인간이 점점 더 AI 기술에 의존함에 따라 이러한 프로그램 사용의 잠재적 영향을 아는 것이 필수적입니다. 하지만 봇이 위험한가요?

1. 편견과 차별

AI 챗봇의 가장 큰 위험 중 하나는 해로운 편견에 대한 경향입니다. AI는 인간이 종종 놓치는 데이터 포인트 사이의 연결을 그리기 때문에 학습 데이터에서 미묘하고 암시적인 편향을 포착하여 스스로 차별하도록 가르칠 수 있습니다. 결과적으로 챗봇은 훈련 데이터에 극단적인 내용이 없더라도 인종차별, 성차별 또는 기타 차별적 콘텐츠를 토해내는 방법을 빠르게 학습할 수 있습니다.

대표적인 예가 Amazon의 폐기된 채용 봇입니다. 2018년 아마존이 AI 프로젝트를 포기했다 지원자의 이력서를 사전 평가하기 위한 것이었습니다. 여성의 지원에 불이익을 주기 때문입니다. 봇이 훈련한 대부분의 이력서가 남성의 이력서였기 때문에 훈련 데이터에 명시적으로 명시되어 있지 않더라도 남성 지원자가 선호된다고 스스로 학습했습니다.

인터넷 콘텐츠를 사용하여 자연스럽게 의사 소통하는 방법을 스스로 가르치는 챗봇은 훨씬 더 극단적인 편견을 보이는 경향이 있습니다. 2016년 Microsoft는 소셜 미디어 게시물을 모방하는 방법을 학습한 Tay라는 챗봇을 선보였습니다. 몇 시간 안에, 그것은 매우 공격적인 콘텐츠를 트윗하기 시작했습니다., Microsoft는 머지 않아 계정을 일시 중단하도록 유도합니다.

회사에서 이러한 봇을 구축하고 배포할 때 주의하지 않으면 실수로 유사한 상황이 발생할 수 있습니다. 챗봇은 고객을 학대하거나 방지해야 하는 유해한 편향된 콘텐츠를 퍼뜨릴 수 있습니다.

2. 사이버 보안 위험

AI 챗봇 기술의 위험은 사람과 기업에 보다 직접적인 사이버 보안 위협을 가할 수도 있습니다. 사이버 공격의 가장 많은 형태 중 하나는 피싱 및 비싱 사기입니다. 여기에는 신뢰할 수 있는 조직을 모방하는 사이버 공격자 예를 들어 은행이나 정부 기관.

피싱 사기는 일반적으로 이메일 및 문자 메시지를 통해 작동합니다. 링크를 클릭하면 맬웨어가 컴퓨터 시스템에 침투할 수 있습니다. 일단 내부에 들어가면 바이러스는 개인 정보를 훔치는 것부터 몸값을 위해 시스템을 유지하는 것까지 무엇이든 할 수 있습니다.

피싱 공격의 비율은 COVID-19 팬데믹 동안과 그 이후에 꾸준히 증가하고 있습니다. 사이버 보안 및 인프라 보안 기관 개인의 84% 발견 민감한 정보가 포함된 피싱 메시지에 회신하거나 링크를 클릭했습니다.

Phishers는 AI 챗봇 기술을 사용하여 피해자 검색을 자동화하고 링크를 클릭하도록 유도하고 개인 정보를 포기하도록 유도합니다. 챗봇은 은행과 같은 많은 금융 기관에서 고객 서비스 경험을 간소화하기 위해 사용됩니다.

챗봇 피셔는 은행이 피해자를 속이기 위해 사용하는 것과 동일한 자동 프롬프트를 모방할 수 있습니다. 또한 대화형 채팅 플랫폼에서 자동으로 전화를 걸거나 피해자에게 직접 연락할 수 있습니다.

3. 데이터 중독

데이터 중독은 인공 지능을 직접 대상으로 하는 새로 고안된 사이버 공격입니다. AI 기술은 데이터 세트에서 학습하고 해당 정보를 사용하여 작업을 완료합니다. 이는 목적이나 기능에 관계없이 모든 AI 프로그램에 해당됩니다.

챗봇 AI의 경우 이는 사용자가 제공할 수 있는 가능한 질문에 대한 여러 응답을 학습하는 것을 의미합니다. 그러나 이 또한 AI의 위험 중 하나입니다.

이러한 데이터 세트는 누구나 사용할 수 있는 오픈 소스 도구 및 리소스인 경우가 많습니다. AI 회사는 일반적으로 데이터 소스에 대해 철저하게 보호되는 비밀을 유지하지만 사이버 공격자는 데이터 소스를 사용하고 조작할 수 있는 소스를 결정할 수 있습니다.

사이버 공격자는 다음과 같은 방법을 찾을 수 있습니다. 데이터 세트 조작 AI를 훈련시켜 AI가 결정과 반응을 조작할 수 있도록 하는 데 사용됩니다. AI는 변경된 데이터의 정보를 사용하여 공격자가 원하는 행동을 수행합니다.

예를 들어 데이터 세트에 가장 일반적으로 사용되는 소스 중 하나는 Wikipedia와 같은 Wiki 리소스입니다. 데이터는 라이브 Wikipedia 기사에서 가져오지 않지만 특정 시간에 찍은 데이터의 스냅샷에서 가져옵니다. 해커는 자신에게 도움이 되도록 데이터를 편집하는 방법을 찾을 수 있습니다.

챗봇 AI의 경우 해커는 의료 또는 금융 기관에서 작동하는 챗봇을 훈련시키는 데 사용되는 데이터 세트를 손상시킬 수 있습니다. 챗봇 프로그램을 조작하여 고객에게 맬웨어 또는 사기성 웹사이트가 포함된 링크를 클릭하도록 유도할 수 있는 잘못된 정보를 제공할 수 있습니다. AI가 오염된 데이터에서 추출하기 시작하면 탐지하기 어렵고 오랫동안 눈에 띄지 않는 사이버 보안의 중대한 위반으로 이어질 수 있습니다.

AI 챗봇의 위험을 해결하는 방법

이러한 위험은 우려되지만 봇이 본질적으로 위험하다는 의미는 아닙니다. 오히려 조심스럽게 접근하고 챗봇을 구축하고 사용할 때 이러한 위험을 고려해야 합니다.

AI 편향을 방지하는 핵심은 훈련 전반에 걸쳐 이를 검색하는 것입니다. 다양한 데이터 세트로 교육하고 특히 의사 결정에서 인종, 성별 또는 성적 취향과 같은 요소를 고려하지 않도록 프로그래밍하십시오. 또한 다양한 데이터 과학자 팀을 구성하여 챗봇의 내부 작업을 검토하고 미묘하더라도 편견을 나타내지 않는지 확인하는 것이 가장 좋습니다.

피싱에 대한 최선의 방어는 교육입니다. 모든 직원에게 발견하도록 교육 피싱 시도의 일반적인 징후 그래서 그들은 이러한 공격에 넘어가지 않습니다. 문제에 대한 소비자 인식 확산도 도움이 될 것입니다.

챗봇의 훈련 데이터에 대한 접근을 제한함으로써 데이터 포이즈닝을 방지할 수 있습니다. 작업을 올바르게 수행하기 위해 이 데이터에 액세스해야 하는 사람만 최소 권한 원칙이라는 개념인 권한을 가져야 합니다. 이러한 제한을 구현한 후에는 다단계 인증 또는 생체 인식과 같은 강력한 확인 수단을 사용하여 사이버 범죄자가 승인된 계정을 해킹하는 위험을 방지하십시오.

AI 의존의 위험에 대해 경계 유지

인공지능은 거의 무한한 응용 분야를 가진 정말 놀라운 기술입니다. 하지만 AI의 위험성은 모호할 수 있습니다. 봇은 위험한 걸까요? 본질적으로 위험한 것은 아니지만, 사이버 범죄자들은 ​​이를 다양하고 파괴적인 방식으로 악용할 수 있습니다. 이 새로운 기술의 적용 분야를 결정하는 것은 사용자의 몫입니다.