비즈니스 이상 현상: 이상 탐지로 사기 예방

MIDAS를 사용한 이상 탐지

이상 탐지는 최근 5년 동안 가장 유용한 기계 학습 도구 중 하나가 되었습니다. 사기 예방부터 품질 관리까지 다양한 분야에서 사용될 수 있습니다. 온라인 리뷰 사이트에서 사기꾼을 식별할 수 있나요? 사기성 금융 거래를 실시간으로 탐지할 수 있나요? 센서 데이터를 사용하여 전력망 고장을 예측할 수 있나요?

이상 탐지는 이러한 질문에 대한 답을 제공합니다. 데이터에서 이상을 식별하는 것은 데이터 이해의 중요한 작업입니다. 기계 학습 도구와 통계적 방법을 사용하여 대규모 데이터셋을 노출시킴으로써 데이터의 정상적인 패턴을 학습할 수 있습니다. 일관되지 않은 이벤트가 발생하면 이상 탐지 알고리즘이 비정상적인 행동을 식별하고 학습된 패턴과 일치하지 않는 이벤트를 플래그할 수 있습니다. 이러한 기능은 많은 비즈니스 사례에서 매우 중요합니다. 이상 탐지는 보안, 금융, IoT 모니터링 등 다양한 분야에서 적용될 수 있습니다.

웹 규모의 그래프는 현재 모든 곳에서 사용되고 있으며 대규모 데이터 구조를 나타내는 일반적인 방법입니다. 온라인 및 오프라인 애플리케이션 모두에서 사용됩니다. 온라인 예로는 대규모 소셜 네트워크, 제품 추천 엔진, 금융 거래 그래프 등이 있습니다. 오프라인에서는 도로 네트워크, IoT 플랫폼, 전력망의 전압 센서 등이 대규모 그래프 데이터의 소스입니다. 데이터를 그래프로 나타내면 데이터 소유자에게ประโยชน과 도전이 모두 있습니다. 한편으로는 데이터 포인트와 그 관계를 다차원 공간에서 나타낼 수 있습니다. 다른 한편으로는 데이터 분석과 해석을 위한 확장 가능한 알고리즘이 필요합니다. 이는 그래프 데이터에서 이상 탐지와 같은 방법에 대한 연구에 대한 관심이 증가하는 결과를 낳았습니다.

이제 동적 그래프 데이터에서 이상 탐지를 위한 최신 알고리즘을 자세히 살펴보겠습니다.

MIDAS

마이크로클러스터 기반의 이상 탐지 (MIDAS)는 동적 그래프 데이터에서 이상 탐지를 위한 알고리즘입니다. 싱가포르 국립 대학의 연구자들이 개발했으며, 기존의 이상 탐지 접근 방식을 능가한다고 주장합니다. 기존의 이상 탐지 구현의 가장 일반적인 약점을 해결합니다.

싱가포르 대학의 Siddarth Bhatia와 그의 팀이 개발한 새로운 기준을 위한 이상 탐지입니다.

MIDAS: 그래프에서 이상 탐지를 위한 새로운 기준. 이미지 출처: 블로그

데이터를 정적 그래프로 나타내는 것

정적 그래프는 연결 정보만을 포함하고 시간 정보를 무시합니다. 그래프 스냅샷으로도 알려져 있으며, 비정상적인 그래프 엔티티(예: 의심스러운 노드, 에지 또는 서브그래프)를 식별하는 데만 사용할 수 있습니다. 그러나 많은 실제 애플리케이션에서는 시간 정보도 중요합니다. 예를 들어, 정적 그래프에서 네트워크 트래픽 스트림을 나타내는 에지는 소스 IP 주소와 목적지 IP 주소 간의 연결만을 나타냅니다. 그러나 에지의 시간 정보는 누락되어 있습니다. 따라서 정적 그래프는 실제 애플리케이션에서 제한적인 지원만을 제공하는 이상 탐지 방법을 제공합니다.

반면에, MIDAS는 동적 그래프에 저장된 데이터를 처리합니다.그래프의 각 요소에는 추가된 시간을 나타내는 타임스탬프가 있습니다. 위의 예를 계속해서 설명하면, 동적 네트워크 트래픽 그래프는 두 IP 주소 간의 연결이 발생한 시간도 알려줍니다. 타임스탬프는 기존 에지 또는 노드가 업데이트되거나 새 에지가 그래프에 추가될 때마다 변경됩니다. 따라서 동적 그래프는 시간에 따라 변화하는 구조로, 많은 실제 애플리케이션에 더 잘 맞습니다. 연결 정보와 시간 정보를 모두 사용하여 의심스러운 그래프 요소를 탐지할 수 있습니다. 이러한 기능을 기반으로 MIDAS는 실시간으로 이상을 탐지하고 다양한 비즈니스 사례에 대한 지원을 제공합니다.

MIDAS는 동적 그래프 데이터에서 최적화되었습니다.위에서 설명한 대로, 동적 그래프는 시간에 따라变化하는 데이터를 나타낼 수 있습니다. 그러나 이것은 그래프 구조 자체도 시간에 따라 변화한다는 것을 의미합니다. 이것은 실시간 애플리케이션에서 사용되는 이상 탐지 알고리즘에 대한 몇 가지 도전을 제기합니다. 예를 들어, 알고리즘의 확장성은 그래프 특성의 변화에 따라 달라집니다. 일부 애플리케이션의 경우 대규모 데이터 볼륨이 해당됩니다. 알고리즘은 그래프 크기에 따라 선형적으로 확장되어야 합니다. MIDAS는 온라인으로 실행되며 각 에지를 상수 시간과 상수 메모리에서 처리합니다. 저자는 또한 알고리즘이 “162-633 배 더 빠르다”고 보고합니다. 이것은 알고리즘이 높은 볼륨의 데이터 스트림을 처리해야 하는 실시간 애플리케이션에 적합하도록 만듭니다.

MIDAS가 필요한 비즈니스 사례는 무엇인가?

현재 비즈니스 세계에서 이상 탐지를 사용하는 방법에 대한 작은 통찰력을 얻기 위해 우리는 캐나다 기반의 암호화폐 제공업체인 NDAX와 인터뷰했습니다. NDAX는 비즈니스에서 세 가지 영역에서 이상 탐지를 사용합니다. 일반 비즈니스 운영, 마케팅 부서, 및 규제 팀입니다. 이상 탐지는 버그를 식별하는 데 도움을 주어 웹사이트 성능과 클라이언트 온보딩 프로세스를 개선하는 데 도움이 됩니다. 또한 소프트웨어 개발 및 백오피스 운영 팀에 버그를 해결하는 방법에 대한 지침을 제공하는 데 도움이 됩니다. 웹사이트 트래픽은 또한 이상 탐지를 사용할 수 있는 또 다른 영역입니다. 웹사이트 트래픽의 이상 값을 이해하면 마케팅 팀에 대한 통찰력을 제공하고 마케팅 캠페인이 작동하는지 여부를 더 잘 이해할 수 있습니다. 따라서 가장 중요한 영역에 집중하는 데 더 명확한 그림을 제공합니다. 우리의 마지막 예는 클라이언트 가입 이상이 규제 팀에 사기와 클라이언트 위험을 줄이는 데 도움이 되는 방법입니다.

NDAX의 Chief Compliance Officer인 Julia Baranovskaya와의 논의에서, 이상 탐지의 중요성이 현재의 전염병 동안 강조되었다는 점을 강조했습니다. 최근 몇 개월 동안 사기 탐지에서 300%의 증가가 있었습니다. 절박한 시기에 온라인 트래픽이 증가하면서 모든 종류의 사기가 발생합니다. 노동자와 노인들을 대상으로 하는 사기입니다. 이상 탐지를 사용하면 이러한 이상 값을 사기 또는 트렌드의 지표로 변환할 수 있습니다. 다음 그래프는今年 상반기 동안 사기가 어떻게 변했는지 보여줍니다.

NDAX는 2분기에 특히 노인과 가짜 일자리 게시물을 포함한 사기 증가를 발견했습니다.

당신의 비즈니스에 대해서는?

이상 탐지 알고리즘은 다양한 시나리오에서 비즈니스에서 이상한 데이터 포인트를 식별하고 반응하는 데 도움이 될 수 있습니다. 은행 보안 시스템은 사기성 거래를 식별하기 위해 이상 탐지를 사용할 수 있습니다. 마찬가지로, 제조 공장 소유자는 고장난 장비를 처리하고 예측 유지 보수 조치를实施하기 위해 이상 탐지를 사용합니다. IoT 센서 네트워크에서 이상 탐지는 상태 모니터링 솔루션의 일부로 사용되며, 원치 않는 멀웨어 배포를 방지하는 데 사용됩니다. 핵심은 명확합니다. 대규모 데이터에 액세스할 수 있는 비즈니스는 MIDAS(및 기타 이상 탐지 알고리즘)를 사용하여 실시간으로 비정상적인 패턴을 식별하는 데 사용할 수 있습니다.

당신의 데이터는 어떻게 구조화되어 있나요? 어떻게 하면 현대적인 이상 탐지 솔루션을 설정하는 데 도움이 될 수 있나요?

문의해 주세요. Blue Orange Digital의 데이터 과학 팀은 이상 탐지로 당신의 비즈니스에 도움이 되도록 기꺼이 협력할 것입니다!

메인 이미지 출처: Canva