Anomali Bisnis: Mencegah Penipuan dengan Deteksi Anomali

Deteksi Anomali dengan MIDAS

Deteksi Anomali telah menjadi salah satu alat pembelajaran mesin yang paling berguna dalam lima tahun terakhir. Ini dapat digunakan mulai dari penipuan hingga kontrol kualitas. Apakah mungkin untuk mengisolasi penipu di situs ulasan online? Apakah transaksi keuangan palsu dapat dideteksi saat terjadi? Dapatkah data sensor langsung menginformasikan kegagalan jaringan listrik sebelum terjadi?

Deteksi anomali memberikan jawaban atas pertanyaan seperti ini. Mengidentifikasi anomali dalam data adalah tugas pemahaman data yang vital. Dengan memaparkan kumpulan data besar ke alat pembelajaran mesin dan metode statistik, pola normal dalam data dapat dipelajari. Ketika peristiwa yang tidak konsisten terjadi, algoritme deteksi anomali dapat mengisolasi perilaku abnormal dan menandai peristiwa apa pun yang tidak sesuai dengan pola yang dipelajari. Fungsionalitas tersebut sangat penting dalam banyak kasus penggunaan bisnis. Deteksi anomali memungkinkan aplikasi di sejumlah besar sektor, dari keamanan hingga keuangan dan Pemantauan IoT. 

Grafik skala web saat ini ada di mana-mana dan merupakan representasi umum dari struktur data besar. Mereka mendukung aplikasi online dan offline. Beberapa contoh online adalah jejaring sosial besar, mesin rekomendasi produk, dan grafik transaksi keuangan. Di offline: jaringan jalan raya, platform IoT, dan sensor voltase di jaringan tenaga listrik semuanya merupakan sumber data seperti grafik dalam jumlah besar. Memiliki data yang direpresentasikan sebagai grafik membawa manfaat dan tantangan bagi pemilik kumpulan data tersebut. Di satu sisi, itu memungkinkan representasi titik data dan hubungannya dalam ruang multidimensi. Di sisi lain, diperlukan algoritma yang dapat diskalakan untuk analisis dan interpretasi data. Hal ini menyebabkan sebuah peningkatan fokus penelitian pada metode seperti deteksi anomali pada data grafik.

Mari kita lihat lebih dekat algoritma canggih yang dikembangkan untuk deteksi anomali dalam data grafik dinamis.

MIDAS

Detektor Anomali Berbasis Microcluster di Edge Streams (MIDAS) adalah algoritma yang menangani deteksi anomali pada dinamis data grafik. Ini telah dikembangkan oleh para peneliti di National University of Singapore yang mengklaim bahwa metode mereka mengungguli pendekatan mutakhir. Metode mereka mengurangi kelemahan paling umum dari implementasi deteksi anomali sebelumnya:

Di bawah ini adalah baseline baru untuk deteksi anomali yang dikembangkan oleh Siddarth Bhatia dan timnya di University of Singapore

Memperkenalkan MIDAS: Garis Dasar Baru untuk Deteksi Anomali dalam Grafik. Sumber Gambar: Blog

Merepresentasikan data sebagai a statis grafik

Grafik statis hanya berisi informasi konektivitas dan mengabaikan informasi temporal. Mereka juga dikenal sebagai snapshot grafik dan hanya dapat digunakan untuk melihat entitas grafik yang tidak biasa (misalnya node, tepi, atau subgraf yang mencurigakan). Namun, untuk banyak penerapan praktis, aspek temporal sama pentingnya: relevan untuk diketahui ketika struktur grafik telah berubah. Sebagai ilustrasi, dalam grafik statis yang mewakili arus lalu lintas jaringan, sebuah edge hanya menginformasikan bahwa ada koneksi antara alamat IP sumber dan alamat IP tujuan. Tetapi deskripsi sementara dari tepi tersebut hilang dan oleh karena itu waktu ketika kedua alamat terhubung tidak diketahui. Karena grafik statis tidak dapat memodelkan informasi temporal seperti itu, metode deteksi anomali yang dibangun di atas grafik tersebut hanya memberikan dukungan terbatas untuk aplikasi dunia nyata.

Di sisi lain, MIDAS menangani data yang disimpan dalam a dinamis grafik. Setiap elemen dalam grafik memiliki stempel waktu terkait, yang menunjukkan waktu saat elemen tersebut ditambahkan ke grafik. Menindaklanjuti contoh di atas, grafik lalu lintas jaringan dinamis juga akan menginformasikan tentang ketika koneksi antara dua alamat IP terjadi. Stempel waktu berubah setiap kali tepi atau simpul yang ada diperbarui, atau ketika tepi baru ditambahkan ke grafik. Dengan demikian, grafik dinamis adalah struktur yang berkembang dari waktu ke waktu yang lebih cocok dengan banyak aplikasi dunia nyata, yang bersifat dinamis. Mereka memungkinkan untuk menggunakan konektivitas dan informasi waktu untuk mendeteksi elemen grafik yang mencurigakan. Berdasarkan kemampuan tersebut, MIDAS dapat mendeteksi anomali secara real-time dan dengan demikian menawarkan dukungan untuk banyak kasus penggunaan bisnis.

MIDAS dioptimalkan untuk bekerja pada data grafik dinamis. Seperti yang telah kita lihat di atas, grafik dinamis memungkinkan untuk merepresentasikan data yang bervariasi waktu. Namun, ini juga berarti struktur grafik itu sendiri juga berubah seiring waktu. Ini memperkenalkan tantangan tertentu untuk algoritme deteksi anomali yang bertujuan untuk menggunakan data ini dalam aplikasi waktu nyata. Salah satu contohnya adalah skalabilitas metode berkaitan dengan perubahan karakteristik grafik. Mengingat volume data yang besar sesuai dengan beberapa aplikasi, algoritme harus dapat diskalakan secara linier dengan ukuran grafik. MIDAS berjalan secara online dan memproses setiap edge dalam waktu konstan dan memori konstan. Penulis juga melaporkan bahwa algoritma berjalan “162-633 kali lebih cepat daripada pendekatan mutakhir”. Ini membuat algoritme cocok untuk aplikasi waktu nyata, di mana pemrosesan aliran data volume tinggi diperlukan. 

Kasus penggunaan bisnis mana yang membutuhkan MIDAS?

Untuk mendapatkan sedikit wawasan tentang deteksi anomali yang digunakan dalam dunia bisnis saat ini, kami mewawancarai penyedia mata uang kripto yang berbasis di Kanada, NDAX. NDAX menggunakan deteksi anomali dalam tiga area bisnis mereka. Operasi bisnis umum, departemen pemasaran, dan tim kepatuhan. Deteksi anomali membantu mengidentifikasi bug, yang memungkinkan mereka meningkatkan kinerja situs web dan proses orientasi klien. Ini juga memungkinkan mereka memberikan panduan untuk pengembangan perangkat lunak dan tim operasi back-office tentang cara mengatasi masalah tersebut. Lalu lintas situs web adalah area lain yang dapat memanfaatkan kekuatan deteksi anomali. Memahami outlier dalam lalu lintas situs web memberikan wawasan dan pemahaman yang lebih baik kepada tim penandaan, yang memungkinkan mereka mengidentifikasi apakah kampanye pemasaran berhasil atau tidak. Sehingga memberikan gambaran yang lebih jelas bidang mana yang paling penting untuk memusatkan usahanya. Contoh terakhir kami adalah bagaimana anomali pendaftaran klien membantu tim kepatuhan mengidentifikasi potensi penipuan dan mengurangi risiko klien.

Dalam diskusi kami dengan Kepala Bagian Kepatuhan NDAX, Julia Baranovskaya, menyoroti betapa pentingnya deteksi anomali selama pandemi ini. Terjadi peningkatan 300% dalam jumlah penipuan yang terdeteksi dalam beberapa bulan terakhir. Masa-masa sulit yang dikombinasikan dengan tingginya lalu lintas daring memicu berbagai jenis penipuan yang menyasar para pengangguran dan lansia. Dengan deteksi anomali, kami kini dapat mengubah anomali ini menjadi indikator penipuan atau tren. Grafik berikut menunjukkan fluktuasi penipuan selama paruh pertama tahun ini.

Bagaimana dengan Bisnis Anda?

Algoritme deteksi anomali dapat membantu bisnis mengidentifikasi dan bereaksi terhadap titik data yang tidak biasa dalam beberapa skenario. Sistem keamanan bank dapat menggunakan deteksi anomali untuk mengidentifikasi transaksi penipuan. Demikian pula, pemilik pabrik mengandalkan deteksi anomali untuk menangani peralatan yang tidak berfungsi dan menerapkan langkah-langkah pemeliharaan prediktif. Di dalam jaringan sensor IoT, deteksi anomali digunakan sebagai bagian dari solusi pemantauan kondisi dan untuk pencegahan penyebaran malware yang tidak diinginkan. Intinya jelas: bisnis yang memiliki akses ke data dalam jumlah besar dapat menggunakan MIDAS (dan algoritme deteksi anomali lainnya) untuk mengidentifikasi pola yang tidak biasa secara real-time. 

Bagaimana struktur data Anda dan bagaimana kami dapat membantu Anda menyiapkan solusi deteksi anomali modern?

Hubungi kami dan beri tahu kami. Itu Biru Oranye Digital tim ilmu data dengan senang hati membuat deteksi anomali berfungsi untuk keuntungan Anda juga!

sumber gambar utama: Canva