İş Anomalileri: Anomalileri Tespit Etmekle Dolandırıcılığı Önleme

MIDAS ile Anomalileri Tespit Etme

Anomalileri tespit etme, son beş yılın en faydalı makine öğrenimi araçlarından biri haline geldi. Sahtekarlıktan kalite kontrolüne kadar birçok alanda kullanılabiliyor. Online inceleme sitelerinde sahtekarları izole etmek mümkün mü? Sahtekar finansal işlemler meydana gelir gelmez tespit edilebilir mi? Canlı sensör verileri, elektrik şebekesi arızalarının oluşmadan önce hakkında bilgi verebilir mi?

Anomalileri tespit etme, bu tür sorulara cevaplar sağlar. Verilerdeki anomalileri tanımlamak, veri anlayışının temel bir görevidir. Büyük veri kümelerini makine öğrenimi araçlarına ve istatistiksel yöntemlere maruz bırakarak, verilerdeki normal kalıplar öğrenilebilir. Tutarsız olaylar meydana geldiğinde, anomalileri tespit algoritmaları anormal davranışları izole edebilir ve öğrenilen kalıplara uymayan olayları bayraklayabilir. Bu işlev, birçok iş durumunda çok önemlidir. Anomalileri tespit etme, güvenlikten finansa ve IoT izleme gibi birçok sektörde uygulamalara olanak sağlar.

Web ölçekli grafikler, günümüzde her yerde mevcut ve büyük veri yapılarının ortak bir temsilidir. Hem online hem de offline uygulamaları güçlendiriyorlar. Online örnekler arasında büyük sosyal ağlar, ürün öneri motorları ve finansal işlem grafikleri bulunur. Offline olarak, yol ağları, IoT platformları ve elektrik şebekelerinin voltaj sensörleri, büyük miktarda grafik benzeri verilerin kaynaklarıdır. Verilerin grafik olarak temsil edilmesi, veri sahiplerine hem avantajlar hem de zorluklar getirir. Bir yandan, verileri ve ilişkilerini çok boyutlu bir alanda temsil etmeyi sağlar. Diğer yandan, veri analizi ve yorumlama için ölçeklenebilir algoritmalar gereklidir. Bu, anomalileri grafik verisinde tespit etme gibi yöntemlere olan araştırma odaklanmasını artırmıştır.

Dinamik grafik verisinde anomalileri tespit etme için geliştirilen bir devlet-sanat algoritmasına daha yakından bakalım.

MIDAS

Kenar Akışlarında Anomalilerin Mikro-Cluster Tabanlı Tespit Edicisi (MIDAS) dinamik grafik verisinde anomalileri tespit etmeyle ilgili bir algoritmadır. Singapur Ulusal Üniversitesi’ndeki araştırmacılar tarafından geliştirilmiştir ve onların yöntemlerinin mevcut en iyi yaklaşımları aştığını iddia ediyorlar. Their yöntemi, önceki anomalileri tespit etme uygulamalarının en yaygın eksikliğini giderir:

Aşağıda, Singapur Üniversitesi’ndeki Siddarth Bhatia ve ekibi tarafından geliştirilen anomalileri tespit etme için yeni bir temel bulunmakta

MIDAS: Grafiklerde Anomalileri Tespit Etme için Yeni Bir Temel. Kaynak: Blog

Verileri statik bir grafik olarak temsil etme

Statik grafikler sadece bağlantılılık bilgilerini içerir ve zaman bilgilerini görmezden gelir. Ayrıca grafik anlık görüntüleri olarak da bilinirler ve sadece şüpheli grafik varlıklarını (örneğin şüpheli düğümler, kenarlar veya alt grafikler) tespit etmek için kullanılabilir. Ancak birçok pratik uygulama için zaman bilgisi de eşit derecede önemlidir: grafik yapısının ne zaman değiştiğini bilmek önemlidir. Örneğin, bir ağ trafiği akışını temsil eden bir statik grafikte, bir kenar sadece bir kaynak IP adresi ile bir hedef IP adresi arasında bir bağlantı olduğunu bildirir. Ancak kenarın zaman bilgisi eksik olup, bu adreslerin birbirine ne zaman bağlandığı bilinmez. Statik grafikler böyle zaman bilgilerini modelleyemediğinden, bu grafiklere dayalı anomalileri tespit yöntemleri sadece sınırlı destek sağlar.

Öte yandan, MIDAS, verilerin dinamik bir grafikte depolandığı durumlarla ilgilenir. Grafikteki her bir öğe, o öğenin grafikte eklendiği zamanı temsil eden bir zaman damgasına sahiptir. Yukarıdaki örneğe geri dönecek olursak, bir dinamik ağ trafiği grafiği, iki IP adresi arasındaki bir bağlantının oluşma zamanını da bildirir. Zaman damgası, mevcut bir kenar veya düğüm güncellendiğinde veya yeni kenarlar grafiğe eklendiğinde değişir. Böylece, dinamik grafikler, birçok gerçek dünya uygulamasına daha iyi uyan, zaman içinde değişen bir yapıdır. Hem bağlantılılık hem de zaman bilgilerini kullanarak şüpheli grafik öğelerini tespit etmeyi mümkün kılar. Bu yetenek sayesinde, MIDAS gerçek zamanlı olarak anomalileri tespit edebilir ve böylece birçok iş durumuna destek sağlar.

MIDAS, dinamik grafik verilerine optimize edilmiştir. Yukarıda gördüğümüz gibi, dinamik grafikler zaman değişen verileri temsil etmeyi mümkün kılar. Ancak bu, grafik yapısının kendisinin de zaman içinde değişmesi anlamına gelir. Bu, gerçek zamanlı uygulamalar için bu verileri kullanan anomalileri tespit algoritmaları için belirli zorluklar getirir. Örneğin, yöntemin ölçeklenebilirliği, değişen grafik özelliklerine göre önemlidir. Bazı uygulamalara karşılık gelen büyük veri hacimleri nedeniyle, algoritmaların grafik boyutuna doğrusal olarak ölçeklenmesi gerekir. MIDAS, her bir kenarı sabit zaman ve sabit hafıza içinde işler ve online olarak çalışır. Araştırmacılar, algoritmanın “devlet-sanat yaklaşımlarından 162-633 kat daha hızlı çalıştığını” raporladı. Bu, algoritmanın gerçek zamanlı uygulamalar için uygun olmasını sağlar, burada yüksek hacimli veri akışlarının işlenmesi gereklidir.

MIDAS’ı Hangi İş Durumları Gerektirir?

Bugün anomalileri tespit etmenin iş dünyasında nasıl kullanıldığına biraz daha ışık tutmak için, Kanada merkezli kripto para sağlayıcısı NDAX ile görüştük. NDAX, anomalileri tespit etmeyi işinin üç alanında kullanıyor: Genel iş operasyonları, pazarlama departmanı ve uyum ekibi. Anomalileri tespit etme, hataları tanımlamaya yardımcı olur, bu da web sitesi performansını ve müşteri kaydı sürecini iyileştirmelerine olanak tanır. Ayrıca, yazılım geliştirme ve arka ofis operasyon ekiplerine bu sorunları nasıl çözecekleri konusunda rehberlik sağlar. Web sitesi trafiği de anomalileri tespit etmenin gücünden yararlanabilecek bir başka alandır. Web sitesi trafiğindeki dışlayıcıları anlamak, pazarlama ekibine, bir pazarlama kampanyasının çalışıp çalışmadığını anlamak için daha iyi bir görüş sağlar, bu da hangi alanın daha önemli olduğunu belirlemelerine yardımcı olur. Son örnek, müşteri kaydı anomalilerinin, uyum ekibinin potansiyel sahtekarlığı tanımlamasına ve müşteri riskini azaltmasına nasıl yardımcı olduğudur.

NDAX Baş Uyum Sorumlusu Julia Baranovskaya ile yaptığımız görüşmede, anomalileri tespit etmenin önemini vurguladı. Pandemi sırasında, son birkaç ayda %300’lük bir sahtekarlık artışı oldu. Zor zamanlar ve yüksek online trafik, işsizler ve yaşlılar hedef alan tüm türden dolandırıcılıklara davetiye çıkarıyor. Anomalileri tespit etme ile bu dışlayıcıları sahtekarlık veya trend göstergelerine dönüştürebiliyoruz. Aşağıdaki grafik, bu yılın ilk yarısında sahtekarlığın nasıl değiştiğini gösteriyor.

NDAX, ikinci çeyrekte, özellikle yaşlıları ve sahte iş ilanlarını hedef alan dolandırıcılıklarda artış buldu.

Sizin İşiniz?

Anomalileri tespit etme algoritmaları, işletmelerin çeşitli senaryolarda olağandışı veri noktalarını tanımlamasına ve bunlara tepki vermesine yardımcı olabilir. Bir banka güvenlik sistemi, sahtekar işlemlerin tanımlanması için anomalileri tespit etmeyi kullanabilir. Benzer şekilde, imalat tesisi sahipleri, arızalı ekipmanlarla başa çıkmak ve öngörülü bakım önlemleri uygulamak için anomalileri tespit etmeyi güveniyor. IoT sensör ağlarında, anomalileri tespit etme, durum izleme çözümlerinin bir parçası olarak ve istenmeyen malware dağıtımının önlenmesi için kullanılır. Temel nokta açıktır: büyük miktarda veriye erişimi olan işletmeler, MIDAS (ve diğer anomalileri tespit etme algoritmaları) kullanarak gerçek zamanlı olarak olağandışı kalıpları tanımlayabilir.

Verileriniz nasıl yapılandırılmış ve size modern bir anomalileri tespit etme çözümünü nasıl kurabiliriz? Bize ulaşın ve bize haber verin. Blue Orange Digital veri bilim ekibi, anomalileri tespit etmenin sizin için de çalışmasını sağlamakla mutluluk duyacaktır!

Ana görüntü kaynağı: Canva