AI 채팅봇의 위험성 – 그리고 그것을 극복하는 방법

자동화된 대화 프로그램으로 생각되었던 AI 채팅봇은 이제 거의 인간과 구별할 수 없는 대화를 학습하고 수행할 수 있습니다. 그러나 AI 채팅봇의 위험성은 다양합니다.

이러한 위험성은 사람들로 하여금 그것을 악용하는 것에서부터 사이버 보안 위협에 이르기까지 다양합니다. 인간이 점점 더 AI 기술에 의존함에 따라, 이러한 프로그램을 사용하는 잠재적인 결과를 알고 있어야 합니다. 그러나 봇은 본질적으로 위험한가요?

1. 편향과 차별

AI 채팅봇의 가장 큰 위험성 중 하나는 유해한 편향성입니다. AI는 인간이 간과하는 데이터 포인트 간의 연결을 찾을 수 있기 때문에, 그것은 자신의 훈련 데이터에서 암시적인 편향성을 찾아내어 차별적이게 됩니다. 결과적으로, 채팅봇은 빠르게 인종차별적, 성차별적 또는 다른 형태의 차별적 내용을 학습할 수 있습니다.

대표적인 예는 아마존의 폐기된 채용 봇입니다. 2018년에 아마존은 채용을 위한 AI 프로젝트를 폐기했다는 것이 밝혀졌습니다. 이유는 봇이 여성의 이력을 낮추고 있었기 때문입니다. 봇이 훈련된 대부분의 이력이 남성의 것이었기 때문에, 봇은 남성 지원자가 더 선호되는 것으로 학습했습니다.

인터넷 콘텐츠를 사용하여 자연스럽게 대화하는 방법을 학습하는 채팅봇은 더욱 극단적인 편향성을 보여줍니다. 2016년에 마이크로소프트는 소셜 미디어 게시물을 모방하는 채팅봇인 Tay를 출시했습니다. 몇 시간 내에, 고의적인 내용을 트위터에 게시하기 시작했습니다. 결국 마이크로소프트는 계정을 중지했습니다.

기업이 이러한 봇을 구축하고 배포할 때 주의하지 않으면, 비슷한 상황이 발생할 수 있습니다. 채팅봇은 고객을 잘못 대우하거나 방지해야 할 유해한 편향된 내용을 퍼뜨릴 수 있습니다.

2. 사이버 보안 위협

AI 채팅봇 기술의 위험성은 또한 직접적인 사이버 보안 위협을 가집니다. 가장 흔한 사이버 공격 형태 중 하나는 피싱과 비싱 스캠입니다. 이러한 공격은 サイバー 공격자가 신뢰할 수 있는 기관을 가장합니다.

피싱 스캠은 일반적으로 이메일과 문자 메시지를 통해 작동합니다. 링크를 클릭하면 맬웨어가 컴퓨터 시스템에 침투할 수 있습니다. 맬웨어는 개인 정보를 훔치거나 시스템을 랜섬웨어로 만들 수 있습니다.

피싱 공격의 빈도는 COVID-19 전염병期间와 이후에 꾸준히 증가했습니다. 사이버 보안 및 인프라 보안 기관은 84%의 개인이 피싱 메시지에 대한 민감한 정보를 제공하거나 링크를 클릭

피싱 공격자는 AI 채팅봇 기술을 사용하여 자동으로 피해자를 찾고, 링크를 클릭하거나 개인 정보를 제공하도록 속입니다. 채팅봇은 많은 금융 기관에서 고객 서비스 경험을 개선하는 데 사용됩니다.

피싱 공격자는 은행에서 사용하는 자동화된 프롬프트를 모방하여 피해자를 속일 수 있습니다. 또한 자동으로 전화 번호를 다이얼하거나 상호 작용하는 채팅 플랫폼에서 피해자와 직접 연락할 수 있습니다.

3. 데이터 중독

데이터 중독은 인공 지능을 직접 공격하는 새로운 유형의 사이버 공격입니다. AI 기술은 데이터 세트에서 학습하여 작업을 수행합니다. 이는 모든 AI 프로그램에 해당합니다.

채팅봇 AI의 경우, 이는 사용자가 제공할 수 있는 가능한 질문에 대한 여러 응답을 학습하는 것을 의미합니다. 그러나 이것은 AI의 또 다른 위험성입니다.

이러한 데이터 세트는 일반적으로 누구나 사용할 수 있는 오픈 소스 도구와 리소스입니다. AI 기업은 일반적으로 데이터 소스를 철저하게 비밀로 유지하지만, 사이버 공격자는 사용하는 데이터 소스를 파악하고 조작할 수 있습니다.

サイバー 공격자는 AI를 훈련하는 데 사용되는 데이터 세트를 조작하는 방법을 찾을 수 있습니다.这样하면 공격자가 AI의 결정과 응답을 조작할 수 있습니다. AI는 변경된 데이터에서 정보를 사용하여 공격자가 원하는 행동을 수행합니다.

예를 들어, 데이터 세트의 가장 일반적인 출처 중 하나는 위키 리소스입니다. 데이터는 라이브 위키 문서에서 직접 가져오지 않지만, 특정 시점의 스냅샷에서 가져옵니다. 해커는 데이터를 조작하여 자신에게 유리하게 만드는 방법을 찾을 수 있습니다.

채팅봇 AI의 경우, 해커는 의료 또는 금융 기관에서 사용하는 채팅봇을 위한 데이터 세트를 손상시킬 수 있습니다. 해커는 채팅봇 프로그램을 조작하여 고객에게 잘못된 정보를 제공하거나 맬웨어가 포함된 링크나 사기 웹사이트를 클릭하도록 할 수 있습니다. 한 번 AI가 중독된 데이터에서 정보를 가져오면, 그것을 감지하기가 어렵고, 오랜 시간 동안 사이버 보안에 대한重大한 위협이 될 수 있습니다.

AI 채팅봇의 위험성에 대처하는 방법

이러한 위험성은 우려스럽지만, 봇이 본질적으로 위험하다는 것을 의미하지는 않습니다. 봇을 구축하고 사용할 때 이러한 위험성에 주의해야 합니다.

AI 편향성을 방지하는 핵심은 훈련 과정에서 편향성을 찾는 것입니다. 다양한 데이터 세트로 훈련시키고, 인종, 성별 또는 성적 취향과 같은 요소를 결정 요소로 사용하지 않도록 프로그램해야 합니다. 또한 데이터 과학자 팀이 봇의 내부 작동을 검토하여 편향성이 없는지 확인해야 합니다.

피싱 공격에 대한 최고의 방어는 훈련입니다. 모든 직원이 피싱 공격의 일반적인 징조를 식별하는 방법을 훈련시킵니다. 소비자 인식 확대를 통해도 도움이 됩니다.

데이터 중독을 방지하려면 채팅봇의 훈련 데이터에 대한 접근을 제한해야 합니다. 데이터에 접근해야 하는 사람은 작업을 올바르게 수행하는 데 필요한 사람만이어야 합니다. 이것은 최소 특권의 원칙입니다. 이러한 제한을 구현한 후, 다단계 인증 또는 생체 인증과 같은 강력한 검증 조치를 사용하여 사이버 공격자가 승인된 계정에 대한 위험을 방지할 수 있습니다.

AI 의존의 위험성에 대해 경각심을 유지하라

인공 지능은 거의 끝없는 응용 프로그램을 가진真正로 놀라운 기술입니다. 그러나 AI의 위험성은 명백하지 않을 수 있습니다. 봇은 본질적으로 위험한가요? 본질적으로는 아니지만, 사이버 공격자는 다양한 방식으로 봇을 사용할 수 있습니다. 이 기술의 응용 프로그램은 사용자가 결정해야 합니다.