İş Anomalileri: Anomalileri Tespit Etmekle Dolandırıcılığı Önleme

MIDAS ile Anomalileri Tespit Etme

Anomalileri tespit etme, son beş yılın en faydalı makine öğrenimi araçlarından biri haline geldi. Sahtekarlıktan kalite kontrolüne kadar birçok alanda kullanılabilir. Online inceleme sitelerinde sahtekarları izole etmek mümkün mü? Sahtekar finansal işlemler meydana geldikleri anda tespit edilebilir mi? Canlı sensör verisi, enerji şebekesi arızalarını oluşmadan önce haber verebilir mi?

Anomalileri tespit etme, bu gibi sorulara cevaplar sağlar. Verilerdeki anomalileri belirlemek, veri anlaşılması için hayati bir görevdir. Büyük veri kümelerini makine öğrenimi araçlarına ve istatistiksel yöntemlere maruz bırakarak, verilerdeki normal kalıplar öğrenilebilir. Tutarsız olaylar meydana geldiğinde, anomalileri tespit etme algoritmaları anormal davranışları izole edebilir ve öğrenilen kalıplara uymayan olayları sınıflandırabilir. Bu işlev, birçok iş kullanım durumunda çok önemlidir. Anomalileri tespit etme, güvenlikten finansa kadar birçok sektörde uygulamalara olanak tanır ve IoT izleme gibi alanlarda da kullanılır.

Web ölçekli grafikler, büyük veri yapılarının ortak bir temsilidir ve hem online hem de offline uygulamaları güçlendirir. Online örnekler arasında büyük sosyal ağlar, ürün öneri motorları ve finansal işlem grafikleri bulunur. Offline olarak, yol ağları, IoT platformları ve enerji şebekelerindeki gerilim sensörleri, büyük miktarda grafik benzeri verinin kaynaklarıdır. Verilerin grafik olarak temsil edilmesi, veri noktaları ve ilişkilerini çok boyutlu bir alanda temsil etme avantajı sağlar, ancak aynı zamanda ölçeklenebilir algoritmalar için de zorluklar getirir. Bu, anomalileri tespit etme yöntemlerine olan araştırmalara odaklanmayı artırmıştır.

Şimdi, dinamik grafik verilerine yönelik geliştirilen bir anomalileri tespit etme algoritmasına daha yakından bakalım.

MIDAS

Kenar Akışlarında Anomalilerin Mikro-Cluster Tabanlı Tespit Edilmesi (MIDAS), dinamik grafik verilerine yönelik bir anomalileri tespit etme algoritmasıdır. Singapur Ulusal Üniversitesi’ndeki araştırmacılar tarafından geliştirilmiştir ve onların yönteminin mevcut en iyi uygulamaları aşabileceğini iddia etmektedirler. Their method alleviates the most common shortcoming of previous anomaly detection implementations:

Aşağıda, Singapurlu Siddarth Bhatia ve ekibinin geliştirdiği yeni anomalileri tespit etme standardı bulunmaktadır.

MIDAS: Grafiklerde Anomalileri Tespit Etme için Yeni Bir Standard. Resim Kaynağı: Blog

Verileri Statik Grafik Olarak Temsil Etme

Statik grafikler, yalnızca bağlantı bilgilerini içerir ve zaman bilgisi içermez. Ayrıca grafik anlık görüntüleri olarak da bilinirler ve yalnızca anormal grafik varlıklarını (ör. şüpheli düğümler, kenarlar veya alt grafikler) belirlemek için kullanılabilirler. Ancak birçok pratik uygulama için zaman bilgisi eşit derecede önemlidir: grafik yapısının ne zaman değiştiğinin bilinmesi önemlidir. Örneğin, bir ağ trafiği akışını temsil eden bir statik grafikte, bir kenar yalnızca bir kaynak IP adresi ile bir hedef IP adresi arasında bir bağlantı olduğunu belirtir, ancak kenarın zaman bilgisini içermez ve bu nedenle iki adresin birbirine bağlandığı zaman bilinmez. Statik grafikler böyle zaman bilgilerini modelleyemediği için, bu grafiklere dayalı anomalileri tespit etme yöntemleri yalnızca sınırlı destek sağlar.

Öte yandan, MIDAS, dinamik grafik verilerini işler. Grafikteki her bir öğe, o öğenin grafikte eklendiği zamanı temsil eden bir zaman damgasına sahiptir. Yukarıdaki örneğe geri dönersek, bir dinamik ağ trafiği grafiği, iki IP adresi arasındaki bir bağlantının zaman bilgisini de içerir. Zaman damgası, mevcut bir kenar veya düğüm güncellendiğinde veya grafikte yeni kenarlar eklendiğinde değişir. Böylece, dinamik grafikler, birçok gerçek dünya uygulamasına daha iyi uyan zamanla değişen bir yapıdır. Bağlantı ve zaman bilgilerini kullanarak şüpheli grafik öğelerini tespit etmeyi mümkün kılarlar. Bu yetenek sayesinde, MIDAS gerçek zamanlı olarak anomalileri tespit edebilir ve birçok iş kullanım durumunda destek sağlar.

MIDAS, dinamik grafik verilerine optimize edilmiştir. Yukarıda gördüğümüz gibi, dinamik grafikler zamanla değişen verileri temsil etmeyi mümkün kılar. Ancak bu, grafik yapısının da zamanla değiştiği anlamına gelir. Bu, gerçek zamanlı uygulamalar için tasarlanan anomalileri tespit etme algoritmaları için belirli zorluklar getirir. Örneğin, yöntemin ölçeklenebilirliği, grafik özelliklerine bağlı olarak önemlidir. Büyük veri hacimlerine sahip bazı uygulamalar için, algoritmaların grafik boyutuna doğrusal olarak ölçeklenmesi gerekir. MIDAS, sürekli olarak çalışır ve her kenarı sabit zaman ve bellekte işler. Araştırmacılar, algoritmanın “mevcut en iyi uygulamalardan 162-633 kat daha hızlı” olduğunu bildirirler. Bu, algoritmanın yüksek hacimli veri akışlarının işlenmesi gereken gerçek zamanlı uygulamalar için uygun olmasını sağlar.

MIDAS’ı Hangi İş Kullanımları Gerektirir?

Bugün iş dünyasında anomalileri tespit etmenin nasıl kullanıldığına biraz daha ışık tutmak için, Kanada merkezli bir kripto para sağlayıcısı olan NDAX ile görüştük. NDAX, anomalileri tespit etme yöntemini işinin üç alanında kullanmaktadır: genel iş operasyonları, pazarlama departmanı ve uyum ekibi. Anomalileri tespit etme, hataları belirlemeye yardımcı olur ve bu da web sitesi performansını ve müşteri kaydı sürecini iyileştirmelerine olanak tanır. Ayrıca, yazılım geliştirme ve arka ofis operasyon ekiplerine bu sorunları nasıl çözecekleri konusunda rehberlik sağlar. Web sitesi trafiği de anomalileri tespit etmenin gücünden yararlanabilecek bir başka alandır. Web sitesi trafiğindeki aykırı değerleri anlamak, pazarlama ekibine daha iyi bir anlayış sağlar ve bu da pazarlama kampanyalarının etkili olup olmadığını belirlemelerine yardımcı olur. Son olarak, müşteri kaydı anomalileri, uyum ekibine potansiyel sahtekarlığı belirleme ve müşteri riskini azaltma olanağı sağlar.

NDAX Baş Uyum Sorumlusu Julia Baranovskaya, anomalileri tespit etmenin önemini vurguladı. Son birkaç ayda tespit edilen sahtekarlık oranında %300’lük bir artış oldu. Zor zamanlar ve yüksek online trafiğe birlikte sahtekarlıklar arttı. İşsizler ve yaşlılar hedef alınmaktadır. Anomalileri tespit etme yöntemiyle, bu aykırı değerleri sahtekarlık veya trend göstergelerine dönüştürebiliyoruz. Aşağıdaki grafik, bu yılın ilk yarısında sahtekarlığın nasıl değiştiğini göstermektedir.

NDAX, ikinci çeyrekte, özellikle yaşlıları ve sahte iş ilanlarını hedef alan sahtekarlıklarda bir artış buldu.

Sizin İşiniz İçin Ne?

Anomalileri tespit etme algoritmaları, çeşitli senaryolarda işletmelerin olağan dışı veri noktalarını belirlemesine ve bunlara tepki vermesine yardımcı olabilir. Bir bankanın güvenlik sistemi, sahtekar işlemleri belirlemek için anomalileri tespit etme yöntemini kullanabilir. Benzer şekilde, üretim tesisi sahipleri, arızalı ekipmanlarla başa çıkmak ve öngörülü bakım önlemleri uygulamak için anomalileri tespit etme yöntemine güvenirler. IoT sensör ağlarında, anomalileri tespit etme, durum izleme çözümlerinin bir parçası olarak ve istenmeyen malware dağıtımını önlemek için kullanılır. Ana nokta açıktır: büyük miktarda veriye erişimi olan işletmeler, MIDAS (ve diğer anomalileri tespit etme algoritmaları) gibi yöntemleri kullanarak gerçek zamanlı olarak olağan dışı kalıpları belirleyebilir.

Verileriniz nasıl yapılandırılmıştır ve size modern bir anomalileri tespit etme çözümünü nasıl kurabiliriz?

Bize ulaşın ve haber verin. Blue Orange Digital veri bilim ekibi, anomalileri tespit etmenin sizin için de çalışmasını sağlamak için mutluluk duyacaktır!

Ana resim kaynağı: Canva