الشذوذ في العمل: منع الاحتيال من خلال اكتشاف العيوب

كشف الشذوذ باستخدام MIDAS

أصبح اكتشاف الشذوذ أحد أكثر أدوات التعلم الآلي فائدة في السنوات الخمس الماضية. يمكن استخدامه من الاحتيال إلى مراقبة الجودة. هل من الممكن عزل المحتالين في مواقع المراجعة عبر الإنترنت؟ هل يمكن اكتشاف المعاملات المالية الاحتيالية فور حدوثها؟ هل يمكن لبيانات الاستشعار المباشرة الإبلاغ عن أعطال شبكة الطاقة قبل حدوثها؟

يوفر اكتشاف الشذوذ إجابات لأسئلة مثل هذه. يعد تحديد الحالات الشاذة في البيانات مهمة حيوية لفهم البيانات. من خلال تعريض مجموعات البيانات الكبيرة لأدوات التعلم الآلي والأساليب الإحصائية ، يمكن تعلم الأنماط العادية في البيانات. عند حدوث أحداث غير متسقة ، يمكن لخوارزميات اكتشاف الشذوذ عزل السلوك غير الطبيعي ووضع علامة على أي أحداث لا تتوافق مع الأنماط المكتسبة. هذه الوظيفة حاسمة في العديد من حالات استخدام الأعمال. يتيح الكشف عن الأخطاء الشاذة التطبيقات في عدد كبير من القطاعات ، من الأمن إلى التمويل و مراقبة إنترنت الأشياء. 

الرسوم البيانية على نطاق الويب موجودة في كل مكان في الوقت الحاضر وهي تمثيل شائع لهياكل البيانات الضخمة. إنهم يدعمون كل من التطبيقات عبر الإنترنت وغير المتصلة. بعض الأمثلة على الإنترنت هي الشبكات الاجتماعية الكبيرة ، ومحركات التوصية بالمنتجات ، والرسوم البيانية للمعاملات المالية. في وضع عدم الاتصال: تعد شبكات الطرق ومنصات إنترنت الأشياء وأجهزة استشعار الجهد في شبكات الطاقة الكهربائية كلها مصادر لكميات كبيرة من البيانات الشبيهة بالرسم البياني. إن تمثيل البيانات على هيئة رسوم بيانية يجلب الفوائد والتحديات لمالكي مجموعات البيانات المذكورة. من ناحية ، يسمح بالتمثيل نقاط البيانات وعلاقاتها في فضاء متعدد الأبعاد. من ناحية أخرى ، هناك حاجة إلى خوارزميات قابلة للتطوير لتحليل البيانات وتفسيرها. وقد أدى هذا إلى زيادة التركيز البحثي على طرق مثل كشف الشذوذ في بيانات الرسم البياني.

دعونا نلقي نظرة فاحصة على أحدث خوارزمية تم تطويرها لاكتشاف الشذوذ في بيانات الرسم البياني الديناميكي.

MIDAS

كاشف قائم على العنقود الدقيقة للحالات الشاذة في تيارات الحافة (MIDAS) هي خوارزمية تتعامل مع اكتشاف الشذوذ ديناميكي بيانات الرسم البياني. تم تطويره من قبل باحثين في جامعة سنغافورة الوطنية الذين يزعمون أن طريقتهم تتفوق على أحدث الأساليب. تعمل طريقتهم على التخفيف من أوجه القصور الأكثر شيوعًا في تطبيقات اكتشاف الشذوذ السابقة:

يوجد أدناه خط الأساس الجديد لاكتشاف الشذوذ الذي وضعه سيدارث بهاتيا وفريقه في جامعة سنغافورة

تمثيل البيانات كملف ساكن رسم بياني

تحتوي الرسوم البيانية الثابتة على معلومات الاتصال فقط وتتجاهل المعلومات الزمنية. تُعرف أيضًا باسم لقطات الرسم البياني ويمكن استخدامها فقط لتحديد كيانات الرسم البياني غير العادية (مثل العقد المشبوهة أو الحواف أو الرسوم البيانية الفرعية). ومع ذلك ، بالنسبة للعديد من التطبيقات العملية ، فإن الجانب الزمني مهم بنفس القدر: إنه ذو صلة بالمعرفة متى لقد تغير هيكل الرسم البياني. للتوضيح ، في رسم بياني ثابت يمثل تدفق حركة مرور الشبكة ، تخبر الحافة فقط أن هناك اتصالًا بين عنوان IP المصدر وعنوان IP الوجهة. لكن الوصف الزمني للحافة مفقود ، وبالتالي فإن الوقت الذي يكون فيه العنوانان متصلين غير معروف. نظرًا لأن الرسوم البيانية الثابتة لا يمكنها نمذجة مثل هذه المعلومات الزمنية ، فإن طرق اكتشاف الشذوذ المبنية على قمة هذه الرسوم البيانية توفر دعمًا محدودًا فقط لتطبيقات العالم الحقيقي.

من ناحية أخرى، يتعامل MIDAS مع البيانات المخزنة في ملف ديناميكي رسم بياني. يحتوي كل عنصر في الرسم البياني على طابع زمني مرتبط ، يمثل الوقت الذي تمت فيه إضافة هذا العنصر إلى الرسم البياني. متابعة للمثال أعلاه ، يمكن أيضًا أن يوضح الرسم البياني الديناميكي لحركة مرور الشبكة متى حدث اتصال بين عنواني IP. يتغير الطابع الزمني كلما تم تحديث حافة أو عقدة حالية ، أو عند إضافة حواف جديدة إلى الرسم البياني. على هذا النحو ، فإن الرسوم البيانية الديناميكية هي بنية متطورة بمرور الوقت تناسب بشكل أفضل العديد من تطبيقات العالم الحقيقي ، والتي تتميز بطبيعتها الديناميكية. أنها تجعل من الممكن استخدام كل من الاتصال ومعلومات الوقت لاكتشاف عناصر الرسم البياني المشبوهة. بناءً على هذه الإمكانية ، يمكن لـ MIDAS اكتشاف الحالات الشاذة في الوقت الفعلي وبالتالي تقديم الدعم للعديد من حالات استخدام الأعمال.

تم تحسين MIDAS للعمل على بيانات الرسم البياني الديناميكي. كما رأينا أعلاه ، تتيح الرسوم البيانية الديناميكية تمثيل البيانات المتغيرة بمرور الوقت. ومع ذلك ، فإن هذا يعني أيضًا أن بنية الرسم البياني نفسها تتغير أيضًا بمرور الوقت. يقدم هذا بعض التحديات لخوارزميات اكتشاف الانحرافات التي تهدف إلى استخدام هذه البيانات في تطبيقات الوقت الفعلي. أحد الأمثلة هو قابلية الأسلوب للتوسع فيما يتعلق بتغيير خصائص الرسم البياني. بالنظر إلى أحجام البيانات الكبيرة المقابلة لبعض التطبيقات ، يجب أن تكون الخوارزميات قابلة للتطوير خطيًا لحجم الرسم البياني. تعمل MIDAS بطريقة عبر الإنترنت وتعالج كل حافة في وقت ثابت وذاكرة ثابتة. يذكر المؤلفون أيضًا أن الخوارزمية تعمل "أسرع بـ 162-633 مرة من أحدث الأساليب". هذا يجعل الخوارزمية مناسبة لتطبيقات الوقت الفعلي ، حيث تكون معالجة تدفقات البيانات كبيرة الحجم ضرورية. 

ما هي حالات استخدام الأعمال التي تحتاج إلى ميداس؟

للحصول على نظرة ثاقبة حول اكتشاف الشذوذ الذي يتم استخدامه في عالم الأعمال اليوم ، أجرينا مقابلة مع مزود العملة المشفرة في كندا ، NDAX. يستخدم NDAX كشف الشذوذ في ثلاثة مجالات من أعمالهم. عمليات الأعمال العامة وإدارة التسويق وفريق الامتثال. يساعد اكتشاف الأخطاء في تحديد الأخطاء ، مما يسمح لهم بتحسين أداء موقع الويب وعملية إعداد العميل. كما يتيح لهم تقديم إرشادات لتطوير البرامج وفرق عمليات المكتب الخلفي حول كيفية حل هذه المشكلات. تعد حركة مرور موقع الويب مجالًا آخر يمكن أن يستفيد من قوة اكتشاف الأخطاء. يمنح فهم القيم المتطرفة في حركة مرور موقع الويب نظرة ثاقبة وفهمًا أفضل لفريق وضع العلامات ، مما يسمح لهم بتحديد ما إذا كانت الحملة التسويقية تعمل أم لا. وبالتالي إعطاء صورة أوضح عن أي منطقة هي الأكثر أهمية لتركيز جهودهم. مثالنا الأخير هو كيف يساعد خطأ تسجيل العميل في مساعدة فريق الامتثال على تحديد الاحتيال المحتمل وتقليل مخاطر العميل.

في مناقشتنا مع كبير مسؤولي الامتثال في NDAX ، تسلط جوليا بارانوفسكايا الضوء على كيفية التأكيد على أهمية اكتشاف الشذوذ أثناء الجائحة الحالية. تم اكتشاف زيادة بنسبة 300٪ في عمليات الاحتيال في الأشهر القليلة الماضية. تستدعي الأوقات العصيبة المصحوبة بحركة المرور المرتفعة عبر الإنترنت عمليات احتيال من جميع الأنواع تستهدف العاطلين عن العمل وكبار السن. مع اكتشاف الشذوذ ، يمكننا الآن تحويل هذه القيم المتطرفة إلى مؤشرات للاحتيال أو الاتجاهات. يوضح الرسم البياني التالي مدى تذبذب الاحتيال خلال النصف الأول من هذا العام.

وجدت NDAX زيادة في الاحتيال في الربع الثاني ، وخاصة عمليات الاحتيال التي تنطوي على كبار السن وإعلانات الوظائف المزيفة.

ماذا عن عملك؟

يمكن أن تساعد خوارزميات الكشف عن الحالات الشاذة الشركات في تحديد نقاط البيانات غير المعتادة والرد عليها في سيناريوهات متعددة. قد يستخدم نظام الأمن المصرفي كشف الشذوذ لتحديد المعاملات الاحتيالية. وبالمثل ، يعتمد أصحاب مصانع التصنيع على الكشف عن العيوب للتعامل مع المعدات المعطلة وتنفيذ إجراءات الصيانة التنبؤية. في شبكات استشعار إنترنت الأشياء، يتم استخدام اكتشاف الشذوذ كجزء من حلول مراقبة الحالة وللوقاية من نشر البرامج الضارة غير المرغوب فيها. النقطة الأساسية واضحة: يمكن للشركات التي لديها إمكانية الوصول إلى كميات كبيرة من البيانات استخدام MIDAS (وخوارزميات أخرى للكشف عن الشذوذ) من أجل تحديد الأنماط غير العادية في الوقت الفعلي. 

كيف يتم تنظيم بياناتك وكيف يمكننا مساعدتك في إعداد حل حديث للكشف عن الشذوذ؟

اتصل لنا لتعلمنا. ال بلو أورانج ديجيتال يسعد فريق علم البيانات أن يعمل على اكتشاف الحالات الشاذة لصالحك أيضًا!

مصدر الصورة الرئيسي: Canva