Anomali Bisnis: Mencegah Penipuan dengan Deteksi Anomali

Deteksi Anomali dengan MIDAS

Deteksi Anomali telah menjadi salah satu alat pembelajaran mesin yang paling berguna dalam lima tahun terakhir. Ini dapat digunakan dari penipuan hingga kontrol kualitas. Apakah mungkin untuk mengisolasi penipu di situs ulasan online? Apakah transaksi keuangan curang dapat dideteksi saat terjadi? Apakah data sensor langsung dapat memberitahu tentang kegagalan grid listrik sebelum terjadi?

Deteksi anomali menyediakan jawaban untuk pertanyaan seperti itu. Mengidentifikasi anomali dalam data adalah tugas pemahaman data yang vital. Dengan memaparkan dataset besar ke alat pembelajaran mesin dan metode statistik, pola normal dalam data dapat dipelajari. Ketika peristiwa tidak konsisten terjadi, algoritma deteksi anomali dapat mengisolasi perilaku abnormal dan menandai acara yang tidak sesuai dengan pola yang dipelajari. Fungsi seperti ini sangat penting dalam banyak kasus bisnis. Deteksi anomali memungkinkan aplikasi di sejumlah besar sektor, dari keamanan hingga keuangan dan pemantauan IoT.

Grafik skala web saat ini sangat umum dan merupakan representasi struktur data besar. Mereka memuat baik aplikasi online maupun offline. Beberapa contoh online adalah jaringan sosial besar, mesin rekomendasi produk, dan grafik transaksi keuangan. Dalam offline: jaringan jalan, platform IoT, dan sensor tegangan dalam grid listrik semua merupakan sumber data grafik besar. Memiliki data yang direpresentasikan sebagai grafik membawa baik keuntungan maupun tantangan bagi pemilik dataset tersebut. Di satu sisi, ini memungkinkan merepresentasikan titik data dan hubungan mereka dalam ruang multi-dimensi. Di sisi lain, algoritma yang dapat diskalakan diperlukan untuk analisis dan interpretasi data. Ini telah menyebabkan fokus penelitian yang meningkat pada metode seperti deteksi anomali pada data grafik.

Mari kita lihat lebih dekat algoritma mutakhir yang dikembangkan untuk deteksi anomali dalam data grafik dinamis.

MIDAS

Microcluster-Based Detector of Anomalies in Edge Streams (MIDAS) adalah algoritma yang menangani deteksi anomali pada dinamis grafik data. Ini telah dikembangkan oleh peneliti di Universitas Nasional Singapura yang mengklaim bahwa metode mereka mengungguli pendekatan mutakhir. Metode mereka menghilangkan kelemahan umum implementasi deteksi anomali sebelumnya:

Di bawah ini adalah baseline baru untuk deteksi anomali yang dikembangkan oleh Siddarth Bhatia dan timnya di Universitas Singapura

Introducing MIDAS: A New Baseline for Anomaly Detection in Graphs. Image Source: Blog

Merupakan data sebagai grafik statik

Grafik statik hanya berisi informasi koneksi dan mengabaikan informasi temporal. Mereka juga dikenal sebagai snapshot grafik dan hanya dapat digunakan untuk mendeteksi entitas grafik yang tidak biasa (misalnya, node, edge, atau subgrafik curang). Namun, untuk banyak aplikasi praktis, aspek temporal sama pentingnya: penting untuk mengetahui kapan struktur grafik telah berubah. Untuk mengilustrasikan, dalam grafik statik yang merepresentasikan aliran lalu lintas jaringan, edge hanya memberitahu bahwa ada koneksi antara alamat IP sumber dan alamat IP tujuan. Tapi deskripsi temporal dari edge tersebut hilang dan oleh karena itu waktu koneksi antara kedua alamat tersebut tidak diketahui. Karena grafik statik tidak dapat memodelkan informasi temporal seperti itu, metode deteksi anomali yang dibangun di atas grafik tersebut hanya menyediakan dukungan terbatas untuk aplikasi dunia nyata.

Di sisi lain, MIDAS menangani data yang disimpan dalam grafik dinamis. Setiap elemen dalam grafik memiliki timestamp yang terkait, yang merepresentasikan waktu ketika elemen tersebut ditambahkan ke grafik. Mengikuti contoh di atas, grafik lalu lintas jaringan dinamis juga akan memberitahu tentang kapan koneksi antara dua alamat IP terjadi. Timestamp berubah setiap kali edge atau node yang ada diperbarui, atau ketika edge baru ditambahkan ke grafik. Dengan demikian, grafik dinamis adalah struktur yang berkembang yang lebih sesuai dengan banyak aplikasi dunia nyata, yang bersifat dinamis. Mereka memungkinkan menggunakan kedua informasi koneksi dan waktu untuk deteksi elemen grafik yang curang. Berdasarkan kemampuan tersebut, MIDAS dapat mendeteksi anomali secara real-time dan dengan demikian menawarkan dukungan untuk banyak kasus bisnis.

MIDAS dioptimalkan untuk bekerja pada data grafik dinamis. Seperti yang kita lihat di atas, grafik dinamis memungkinkan merepresentasikan data yang berubah-ubah. Namun, ini juga berarti bahwa struktur grafik itu sendiri juga berubah seiring waktu. Ini memperkenalkan tantangan tertentu untuk algoritma deteksi anomali yang bertujuan untuk menggunakan data ini dalam aplikasi waktu nyata. Salah satu contoh adalah skalabilitas metode terkait dengan karakteristik grafik yang berubah. Mengingat volume data yang besar yang sesuai dengan beberapa aplikasi, algoritma perlu dapat diskalakan secara linier dengan ukuran grafik. MIDAS berjalan dalam mode online dan memproses setiap edge dalam waktu konstan dan memori konstan. Penulis juga melaporkan bahwa algoritma berjalan “162-633 kali lebih cepat dari pendekatan mutakhir”. Ini membuat algoritma cocok untuk aplikasi waktu nyata, di mana pemrosesan aliran data volume tinggi diperlukan.

Kasus bisnis mana yang memerlukan MIDAS?

Untuk memperoleh sedikit wawasan tentang deteksi anomali yang digunakan dalam dunia bisnis saat ini, kami mewawancarai penyedia cryptocurrency berbasis Kanada, NDAX. NDAX menggunakan deteksi anomali dalam tiga area bisnis mereka. Operasi bisnis umum, departemen pemasaran, dan tim kepatuhan. Deteksi anomali membantu mengidentifikasi bug, yang memungkinkan mereka untuk meningkatkan kinerja situs web dan proses pendaftaran klien. Ini juga memungkinkan mereka untuk memberikan panduan kepada tim pengembangan perangkat lunak dan operasi back-office tentang cara menyelesaikan masalah tersebut. Lalu lintas situs web adalah area lain yang dapat memanfaatkan kekuatan deteksi anomali. Memahami outlier dalam lalu lintas situs web memberikan wawasan dan pemahaman yang lebih baik kepada tim pemasaran, yang memungkinkan mereka untuk mengidentifikasi apakah kampanye pemasaran berhasil atau tidak. Dengan demikian memberikan gambaran yang lebih jelas tentang area mana yang paling penting untuk dikonsentrasikan upaya mereka. Contoh terakhir kami adalah bagaimana anomali pendaftaran klien membantu tim kepatuhan untuk mengidentifikasi potensi penipuan dan mengurangi risiko klien.

Dalam diskusi kami dengan Kepala Petugas Kepatuhan NDAX, Julia Baranovskaya menyoroti bagaimana pentingnya deteksi anomali telah ditekankan selama pandemi saat ini. Terdapat peningkatan 300% dalam penipuan yang terdeteksi dalam beberapa bulan terakhir. Waktu yang sulit dikombinasikan dengan lalu lintas online yang tinggi mengundang penipuan semua jenis yang menargetkan penganggur dan lanjut usia. Dengan deteksi anomali, kami sekarang dapat mengubah outlier ini menjadi indikator penipuan atau tren. Grafik berikut menunjukkan bagaimana penipuan telah berfluktuasi selama paruh pertama tahun ini.

NDAX menemukan peningkatan penipuan di Q2, terutama penipuan yang melibatkan lanjut usia dan iklan pekerjaan palsu.

Apa tentang Bisnis Anda?

Algoritma deteksi anomali dapat membantu bisnis mengidentifikasi dan bereaksi terhadap titik data yang tidak biasa dalam beberapa skenario. Sistem keamanan bank mungkin menggunakan deteksi anomali untuk mengidentifikasi transaksi curang. Demikian pula, pemilik pabrik manufaktur mengandalkan deteksi anomali untuk menangani peralatan yang rusak dan menerapkan langkah-langkah pemeliharaan prediktif. Dalam jaringan sensor IoT, deteksi anomali digunakan sebagai bagian dari solusi pemantauan kondisi dan untuk pencegahan penerapan malware yang tidak diinginkan. Poin bawahnya jelas: bisnis yang memiliki akses ke jumlah data yang besar dapat menggunakan MIDAS (dan algoritma deteksi anomali lainnya) untuk mengidentifikasi pola yang tidak biasa secara real-time.

Bagaimana struktur data Anda dan bagaimana kami dapat membantu Anda mengatur solusi deteksi anomali modern? Kirimkan pesan kepada kami dan beritahu kami. Tim ilmu data Blue Orange Digital dengan senang hati membuat deteksi anomali bekerja untuk keuntungan Anda juga!

sumber gambar utama: Canva