Anomali Bisnis: Mencegah Penipuan dengan Deteksi Anomali

Deteksi Anomali dengan MIDAS

Deteksi Anomali telah menjadi salah satu alat pembelajaran mesin paling berguna dalam lima tahun terakhir. Ini dapat digunakan dari penipuan hingga pengendalian kualitas. Apakah mungkin untuk mengisolasi penipu di situs ulasan online? Apakah transaksi keuangan penipuan dapat dideteksi saat terjadi? Apakah data sensor langsung dapat memberi tahu tentang kegagalan grid listrik sebelum terjadi?

Deteksi anomali menyediakan jawaban untuk pertanyaan seperti ini. Mengidentifikasi anomali dalam data adalah tugas pemahaman data yang vital. Dengan memaparkan dataset besar ke alat pembelajaran mesin dan metode statistik, pola normal dalam data dapat dipelajari. Ketika peristiwa tidak konsisten terjadi, algoritma deteksi anomali dapat mengisolasi perilaku abnormal dan menandai peristiwa yang tidak sesuai dengan pola yang dipelajari. Fungsi seperti ini sangat penting dalam banyak kasus bisnis. Deteksi anomali memungkinkan aplikasi di sejumlah sektor, dari keamanan hingga keuangan dan pemantauan IoT.

Grafik web-skala sekarang sangat umum dan merupakan representasi struktur data besar. Mereka menguatkan baik aplikasi online maupun offline. Beberapa contoh online adalah jaringan sosial besar, mesin rekomendasi produk, dan grafik transaksi keuangan. Dalam offline: jaringan jalan, platform IoT, dan sensor tegangan dalam grid listrik semua merupakan sumber data grafik yang besar. Memiliki data yang direpresentasikan sebagai grafik membawa baik keuntungan maupun tantangan bagi pemilik dataset tersebut. Di satu sisi, ini memungkinkan merepresentasikan titik data dan hubungan mereka dalam ruang multi-dimensi. Di sisi lain, algoritma yang dapat diskalakan untuk analisis data dan interpretasi diperlukan. Ini telah menyebabkan fokus penelitian yang meningkat pada metode seperti deteksi anomali pada data grafik.

Mari kita lihat lebih dekat algoritma mutakhir yang dikembangkan untuk deteksi anomali dalam data grafik dinamis.

MIDAS

Microcluster-Based Detector of Anomalies in Edge Streams (MIDAS) adalah algoritma yang menangani deteksi anomali pada dinamis grafik data. Ini telah dikembangkan oleh peneliti di Universitas Nasional Singapura yang mengklaim bahwa metode mereka mengungguli pendekatan mutakhir. Metode mereka menghilangkan kelemahan paling umum dari implementasi deteksi anomali sebelumnya:

Di bawah ini adalah baseline baru untuk deteksi anomali yang dikembangkan oleh Siddarth Bhatia dan timnya di Universitas Singapura

Introducing MIDAS: A New Baseline for Anomaly Detection in Graphs. Image Source: Blog

Representing the data as a static graph

Grafik statis hanya mengandung informasi koneksi dan mengabaikan informasi temporal. Mereka juga dikenal sebagai snapshot grafik dan hanya dapat digunakan untuk mendeteksi entitas grafik yang tidak biasa (misalnya, node, edge, atau subgrafik yang mencurigakan). Namun, untuk banyak aplikasi praktis, aspek temporal sama pentingnya: ini relevan untuk mengetahui kapan struktur grafik telah berubah. Untuk mengilustrasikan, dalam grafik statis yang merepresentasikan aliran lalu lintas jaringan, sebuah edge hanya menginformasikan bahwa ada koneksi antara alamat IP sumber dan alamat IP tujuan. Tapi deskripsi temporal dari edge tersebut hilang dan oleh karena itu waktu ketika kedua alamat terhubung tidak diketahui. Karena grafik statis tidak dapat memodelkan informasi temporal seperti itu, metode deteksi anomali yang dibangun di atas grafik tersebut hanya menyediakan dukungan terbatas untuk aplikasi dunia nyata.

Di sisi lain, MIDAS menangani data yang disimpan dalam grafik dinamis. Setiap elemen dalam grafik memiliki timestamp yang terkait, yang merepresentasikan waktu ketika elemen tersebut ditambahkan ke grafik. Mengikuti contoh di atas, grafik lalu lintas jaringan dinamis juga akan menginformasikan tentang kapan sebuah koneksi antara dua alamat IP terjadi. Timestamp berubah setiap kali edge atau node yang ada diperbarui, atau ketika edge baru ditambahkan ke grafik. Dengan demikian, grafik dinamis adalah struktur yang berkembang seiring waktu yang lebih sesuai dengan banyak aplikasi dunia nyata, yang dinamis secara alami. Mereka memungkinkan menggunakan baik koneksi dan informasi waktu untuk deteksi elemen grafik yang mencurigakan. Berdasarkan kemampuan tersebut, MIDAS dapat mendeteksi anomali secara real-time dan oleh karena itu menawarkan dukungan untuk banyak kasus bisnis.

MIDAS dioptimalkan untuk bekerja pada data grafik dinamis. Seperti yang kita lihat di atas, grafik dinamis memungkinkan merepresentasikan data yang berubah seiring waktu. Namun, ini juga berarti bahwa struktur grafik itu sendiri berubah seiring waktu. Ini memperkenalkan beberapa tantangan untuk algoritma deteksi anomali yang bertujuan menggunakan data ini dalam aplikasi real-time. Salah satu contoh adalah skalabilitas metode terkait dengan karakteristik grafik yang berubah. Mengingat volume data yang besar yang sesuai dengan beberapa aplikasi, algoritma perlu dapat diskalakan secara linier dengan ukuran grafik. MIDAS berjalan dalam mode online dan memproses setiap edge dalam waktu konstan dan memori konstan. Penulis juga melaporkan bahwa algoritma berjalan “162-633 kali lebih cepat dari pendekatan mutakhir”. Ini membuat algoritma sesuai untuk aplikasi real-time, di mana pemrosesan aliran data volume tinggi diperlukan.

Kasus Bisnis Mana yang Membutuhkan MIDAS?

Untuk memperoleh sedikit wawasan tentang deteksi anomali yang digunakan dalam dunia bisnis saat ini, kami mewawancarai penyedia mata uang kripto berbasis Kanada, NDAX. NDAX menggunakan deteksi anomali dalam tiga area bisnis mereka. Operasi bisnis umum, departemen pemasaran, dan tim kepatuhan. Deteksi anomali membantu mengidentifikasi bug, yang memungkinkan mereka untuk meningkatkan kinerja situs web dan proses pendaftaran klien. Ini juga memungkinkan mereka untuk memberikan bimbingan kepada tim pengembangan perangkat lunak dan operasi back-office tentang cara menyelesaikan masalah tersebut. Lalu lintas situs web adalah area lain yang dapat memanfaatkan kekuatan deteksi anomali. Memahami outlier dalam lalu lintas situs web memberikan wawasan dan pemahaman yang lebih baik kepada tim pemasaran, yang memungkinkan mereka untuk mengidentifikasi apakah kampanye pemasaran berfungsi atau tidak. Dengan demikian memberikan gambaran yang lebih jelas tentang area mana yang paling penting untuk dikonsentrasikan upaya mereka. Contoh terakhir kami adalah bagaimana anomali pendaftaran klien membantu tim kepatuhan untuk mengidentifikasi potensi penipuan dan mengurangi risiko klien.

Dalam diskusi kami dengan Kepala Petugas Kepatuhan NDAX, Julia Baranovskaya, menyoroti bagaimana pentingnya deteksi anomali telah ditekankan selama pandemi saat ini. Terdapat peningkatan 300% dalam deteksi penipuan dalam beberapa bulan terakhir. Waktu yang sulit digabungkan dengan lalu lintas online yang tinggi mengundang penipuan semua jenis yang menargetkan orang-orang yang tidak bekerja dan lanjut usia. Dengan deteksi anomali, kami sekarang dapat mengubah outlier ini menjadi indikator penipuan atau tren. Grafik berikut menunjukkan bagaimana penipuan telah berfluktuasi selama paruh pertama tahun ini.

NDAX menemukan peningkatan penipuan di Q2, terutama penipuan yang melibatkan lanjut usia dan lowongan pekerjaan palsu.

Apa tentang Bisnis Anda?

Algoritma deteksi anomali dapat membantu bisnis mengidentifikasi dan bereaksi terhadap titik data yang tidak biasa dalam berbagai skenario. Sistem keamanan bank mungkin menggunakan deteksi anomali untuk mengidentifikasi transaksi penipuan. Demikian pula, pemilik pabrik manufaktur mengandalkan deteksi anomali untuk menangani peralatan yang rusak dan menerapkan tindakan pemeliharaan prediktif. Dalam jaringan sensor IoT, deteksi anomali digunakan sebagai bagian dari solusi pemantauan kondisi dan untuk pencegahan penerapan malware yang tidak diinginkan. Poin bawahnya jelas: bisnis yang memiliki akses ke sejumlah besar data dapat menggunakan MIDAS (dan algoritma deteksi anomali lainnya) untuk mengidentifikasi pola tidak biasa secara real-time.

Bagaimana data Anda terstruktur dan bagaimana kami dapat membantu Anda mengatur solusi deteksi anomali modern? Tinggalkan pesan dan beritahu kami. Tim sains data Blue Orange Digital senang membuat deteksi anomali bekerja untuk keuntungan Anda juga!

sumber gambar utama: Canva