사상 리더
사이버 보안에서의 생성형 인공지능: 전장, 위협, 그리고 이제 방어

핵심 포인트생성형 AI는 전통적인 이메일 보안을 우회하는 정교한 다국어 피싱 공격을 가능하게 합니다.
더 보기
- 생성형 AI는 전통적인 이메일 보안을 우회하는 정교한 다국어 피싱 공격을 가능하게 합니다.
- 고급 탐지 플랫폼을 활용한 기계 간 대응은 AI가 생성한 사회공학 공격에 맞서기 위해 필수적입니다.
- 달리(Dall-E) 이미지가 포함된 가짜 링크드인 광고는 생성형 AI가 이제 표적 사이버 범죄에 무기화되고 있음을 보여줍니다.
전장
생성형 인공지능의 능력에 대한 초기 흥분은 빠르게 우려로 바뀌고 있습니다. ChatGPT, Google Bard, Dall-E 등과 같은 생성형 인공지능 도구는 보안 및 개인 정보 보호 문제로 인해 계속해서 헤드라인을 장식하고 있습니다. 이것은 무엇이 실제이고 무엇이 아닌지에 대한 질문으로 이어지고 있습니다. 생성형 인공지능은 매우 그럴듯하고 설득력 있는 콘텐츠를 생성할 수 있습니다. 최근 60 Minutes의 AI 관련 방송 말미에 진행자 Scott Pelley는 시청자에게 이렇게 말했습니다. “60 Minutes에서 한 번도 나온 적 없는 안내로 마무리하겠습니다. 하지만 AI 혁명 속에서는 앞으로 자주 듣게 될 수도 있습니다. 앞서 보신 내용은 100% 사람이 만든 콘텐츠입니다.”
생성형 인공지능 사이버 전쟁은 이러한 설득력 있고 현실감 있는 콘텐츠에서 시작되며, 전장은 해커들이 생성형 인공지능을 사용하여 공격을 가하는 곳입니다. ChatGPT와 같은 도구를 사용하여 사이버 범죄자들은 특히 자원이 제한되고 기술 지식이 전혀 없더라도 사회 공학, 피싱, 사칭 공격을 통해 매우 쉽게 범죄를 저지를 수 있습니다.
위협
생성형 인공지능은 점점 더 복잡한 사이버 공격을 유발할 수 있습니다.
이 기술은 사람이 만든 것처럼 그럴듯한 콘텐츠를 쉽게 생성할 수 있기 때문에, AI를 사용한 새로운 사이버 사기 공격은 보안 팀이 쉽게 발견하기 어렵습니다. AI 생성 사기는 이메일 및 메신저 앱을 통해 수행되는 멀티 채널 피싱 공격의 형태로 나타날 수 있습니다. 실제 예로는 제3자 공급업체가 아웃룩(이메일) 또는 슬랙(메신저 앱)을 통해 기업 임원에게 문서가 포함된 이메일 또는 메시지를 보내는 경우입니다. 이메일 또는 메시지는 인보이스를 보려면 클릭하라는 지시를 포함합니다. 생성형 인공지능을 사용하면 가짜와 실제 이메일 또는 메시지를 구별하기가 거의 불가능합니다. 이것이 왜 그렇게 위험한지입니다.
가장 경계해야 할 예 중 하나는 생성형 인공지능을 사용하여 사이버 범죄자들이 여러 언어로 공격을 할 수 있다는 것입니다. 해커가 실제로 언어를 구사할 수 있는지 여부에 관계없이, 광범위한 피해자를 노리며 피해자를 언어에 따라 가리지 않습니다.
생성형 인공지능의 발전은 이러한 공격의 규모와 효율성이 계속 증가할 것임을 시사합니다.
방어
생성형 인공지능의 사이버 방어는 오랜 시간 동안 퍼즐의 빠진 조각이었습니다. 그러나 지금은 달라졌습니다. 기계 대 기계 전투, 즉 AI 대 AI를 사용하여 이 새로운 위협에 대응할 수 있습니다. 그러나 이 전략은 어떻게 정의되고 어떻게 보일까요?
첫째, 산업은 인간 대 컴퓨터 대신 컴퓨터 대 컴퓨터로 전환해야 합니다. 이를 위해 우리는 생성형 인공지능으로부터 발생하는 위협을 탐지할 수 있는 고급 탐지 플랫폼을 고려해야 합니다. 또한 사회 공학 공격을 탐지하고 해결하는 시간을 줄여야 합니다. 이것은 인간이 할 수 없는 일입니다.
우리는 최근에 어떻게 이것이 가능할 수 있는지 테스트했습니다. 우리는 ChatGPT가 여러 언어로 수신자가 전화를 걸도록 유도하는 언어 기반 피싱 이메일을 생성하도록 지시했습니다. 그리고 자연 언어 이해 플랫폼 또는 고급 탐지 플랫폼이 이를 탐지할 수 있는지 확인했습니다. 우리는 ChatGPT에 “소프트웨어 라이선스 계약에 대한 최종 통지에 대해 전화하라는 긴급한 이메일을 작성하십시오”라는 프롬프트를 주었고, 영어와 일본어로 작성하도록 지시했습니다.
고급 탐지 플랫폼은 즉시 이메일을 사회 공학 공격으로 플래그했습니다. 그러나 이메일 시스템에 기본으로 탑재된 보안 기능인 아웃룩의 피싱 탐지 플랫폼은 그러지 못했습니다. ChatGPT가 출시되기 전부터 대화형 언어 기반 사회 공학 공격은 기존 보안 기능을 우회해 링크나 악성 콘텐츠 없이 받은편지함에 도달할 수 있었기 때문에 성공적이었습니다. 따라서 기계 대 기계 전투가 필요하지만, 또한 효과적인 포탄, 즉 고급 탐지 플랫폼을 사용해야 합니다. 이러한 도구를 사용하는 사람은 생성형 인공지능에 대한 싸움에서 우위를 점할 수 있습니다.
ChatGPT와 같은 생성형 인공지능이 가능하게 하는 사회 공학 공격의 규모와 그럴듯함에 대응하도록 기계 대 기계 방어도 더욱 정교하게 다듬을 수 있습니다. 예를 들어, 이 방어는 여러 언어로 배포될 수 있습니다. 또한 이메일 보안에만 국한되지 않고, 슬랙, 왓츠앱, 팀즈 등과 같은 다른 통신 채널에서도 사용할 수 있습니다.
경계하십시오
링크드인에서 스크롤링하다가 우리 직원이 생성형 인공지능 사회 공학 시도를 발견했습니다. 이상한 “백서” 다운로드 광고가 나타났고, 다만 “이상한” 광고 크리에이티브로 설명할 수 있습니다. 직원이 더 자세히 살펴보니, Dall-E가 생성한 이미지의 오른쪽 하단에 특징적인 색상 패턴이 있었습니다. Dall-E는 텍스트 프롬프트로 이미지를 생성하는 AI 모델입니다.
이 가짜 링크드인 광고는 생성형 인공지능과 결합하여 나타나는 새로운 사회 공학 위험에 대한 중요한 경고였습니다. 그 어느 때보다 경계하고 의심하는 태도가 중요합니다.
생성형 인공지능이 사이버 범죄에 사용되는 시대가 왔으며, 우리는 계속 경계하면서 사용할 수 있는 모든 수단을 동원해 반격할 준비를 해야 합니다.












