الشوائب التجارية: منع الاحتيال مع الكشف عن الشوائب

الكشف عن الشوائب مع MIDAS

أصبح الكشف عن الشوائب واحدًا من أكثر أدوات التعلم الآلي فائدة خلال السنوات الخمس الماضية. يمكن استخدامه من الاحتيال إلى مراقبة الجودة. هل يمكن عزل المخادعين في مواقع المراجعة عبر الإنترنت؟ يمكن الكشف عن المعاملات المالية الاحتيالية أثناء حدوثها؟ يمكن للمعلومات الحية من أجهزة الاستشعار أن تخبرنا عن فشل شبكة الكهرباء قبل حدوثه؟

يقدم الكشف عن الشوائب إجابات على أسئلة مثل هذه. تحديد الشوائب في البيانات هو مهمة فهم البيانات الحيوية. من خلال تعريض مجموعات البيانات الكبيرة لأدوات التعلم الآلي والأساليب الإحصائية ، يمكن تعلم الأنماط العادية في البيانات. عندما تحدث أحداث غير متسقة ، يمكن للخوارزميات الكشف عن الشوائب عزل السلوك غير العادي وتحديد أي أحداث لا تتوافق مع الأنماط المكتسبة. مثل هذه الوظيفة حاسمة في العديد من الحالات التجارية. يتيح الكشف عن الشوائب تطبيقات في عدد كبير من القطاعات ، من الأمان إلى المالية ومراقبة الأجهزة.

الرسوم البيانية على مستوى الويب شائعة اليوم وتعتبر تمثيلًا شائعًا للبنى الكبيرة للبيانات. فهي تعمل على كل من التطبيقات عبر الإنترنت وبدون اتصال. بعض الأمثلة عبر الإنترنت هي الشبكات الاجتماعية الكبيرة ، وأجهزة توصية المنتجات ، ورسوم المعاملات المالية. في غيرها من الأمثلة ، مثل شبكات الطرق ، ومنصات الأجهزة ، ومستشعرات الجهد في شبكات الكهرباء ، كلها مصادر للبيانات على شكل رسوم بيانية. يعطي تمثيل البيانات على شكل رسوم بيانية فوائد وتحديات لأصحاب هذه المجموعات من البيانات. من جهة ، يسمح بتمثيل النقاط البيانية وعلاقاتها في فضاء متعدد الأبعاد. من جهة أخرى ، يحتاج إلى خوارزميات قابلة للتوسيع للتحليل والتفسير. وقد أدى ذلك إلى زيادة التركيز البحثي على أساليب مثل الكشف عن الشوائب في بيانات الرسوم البيانية.

لنلق نظرة أقرب على خوارزمية متقدمة تم تطويرها للكشف عن الشوائب في بيانات الرسوم البيانية الديناميكية.

MIDAS

مكتشف الشوائب بالعناقيد الدقيقة في تدفقات الحواف (MIDAS) هي خوارزمية تتعامل مع الكشف عن الشوائب في بيانات الرسوم البيانية الديناميكية. تم تطويرها من قبل باحثين في جامعة سنغافورة الوطنية ، ويزعمون أن طريقةهم تتفوق على الأساليب الحالية. طريقةهم تقلل من العيب الأكثر شيوعًا في تطبيقات الكشف عن الشوائب السابقة:

فيما يلي البaseline الجديد للكشف عن الشوائب تم تطويره بواسطة Siddarth Bhatia وفريقه في جامعة سنغافورة

تقديم MIDAS: البaseline الجديد للكشف عن الشوائب في الرسوم البيانية. مصدر الصورة: مدونة

تمثيل البيانات كرسوم بيانية ساكنة

الرسوم البيانية الساكنة تحتوي فقط على معلومات الاتصال وت忽ن المعلومات الزمنية. كما تعرف باسم لقطات الرسوم البيانية ، ويمكن استخدامها فقط لتحديد الكيانات الغير عادية في الرسوم البيانية (مثل العقد الغير عادية ، الحواف ، أو الرسوم البيانية الفرعية). ومع ذلك ، في العديد من التطبيقات العملية ، الجانب الزمني مهم جدًا: من المهم معرفة متى تغير بنية الرسوم البيانية. على سبيل المثال ، في رسوم بيانية ساكنة تمثل تدفقات الشبكة ، الحافة توفر فقط معلومات حول وجود اتصال بين عنوان IP المصدر وعنوان IP الوجهة. لكن الوصف الزمني للحافة مفقود ، وبالتالي لا يُعرف الوقت الذي تم الاتصال فيه. منذ أن لا يمكن للرسوم البيانية الساكنة تمثيل مثل هذه المعلومات الزمنية ، فإن أساليب الكشف عن الشوائب المبنية على هذه الرسوم البيانية توفر دعمًا محدودًا للتطبيقات الواقعية.

من ناحية أخرى ، يتم التعامل مع MIDAS مع البيانات المخزنة في رسوم بيانية ديناميكية. كل عنصر في الرسوم البيانية له توقيت مرتبط ، يمثل الوقت الذي تم إضافته فيه إلى الرسوم البيانية. متابعة المثال السابق ، رسوم بيانية ديناميكية لتدفقات الشبكة توفر أيضًا معلومات حول متى حدث اتصال بين عنواني IP. التوقيت يتغير عند تحديث حافة أو عقدة موجودة ، أو عند إضافة حواف جديدة إلى الرسوم البيانية. وبالتالي ، الرسوم البيانية الديناميكية هي هيكل يتطور مع الوقت ، ويتوافق بشكل أفضل مع العديد من التطبيقات الواقعية ، التي هي ديناميكية بالطبيعة. إنه يجعل من الممكن استخدام كل من المعلومات حول الاتصال والمعلومات الزمنية للكشف عن عناصر الرسوم البيانية الشائبة. بناءً على هذه القدرة ، يمكن لـ MIDAS الكشف عن الشوائب في الوقت الفعلي ، وبالتالي يوفر دعمًا للتطبيقات التجارية.

MIDAS مُحسَّن للعمل على بيانات الرسوم البيانية الديناميكية. كما رأينا أعلاه ، الرسوم البيانية الديناميكية تجعل من الممكن تمثيل البيانات المتغيرة مع الوقت. ومع ذلك ، هذا يعني أيضًا أن بنية الرسوم البيانية نفسها تتغير مع الوقت. هذا يطرح تحديات معينة للخوارزميات الكشف عن الشوائب التي تهدف إلى استخدام هذه البيانات في التطبيقات في الوقت الفعلي. مثال على ذلك هو مقياس الخوارزمية فيما يتعلق بتغير خصائص الرسوم البيانية. نظرًا لحجم البيانات الكبير المرتبط ببعض التطبيقات ، تحتاج الخوارزميات إلى أن تكون قابلة للتوسيع خطيًا مع حجم الرسوم البيانية. يعمل MIDAS في وضع مباشر ويعالج كل حافة في وقت ثابت وذاكرة ثابتة. كما يُبلغ المؤلفون أن الخوارزمية تعمل “162-633 مرة أسرع من الأساليب الحالية”. هذا يجعل الخوارزمية مناسبة للتطبيقات في الوقت الفعلي ، حيث يتعين معالجة تدفقات البيانات الكبيرة.

ما هي الحالات التجارية التي تحتاج إلى MIDAS؟

للحصول على فكرة حول كيفية استخدام الكشف عن الشوائب في عالم الأعمال اليوم ، قمنا بمقابلة مع مزود العملات الرقمية الكندي ، NDAX. يستخدم NDAX الكشف عن الشوائب في ثلاثة مجالات من أعمالهم. العمليات التجارية العامة ، قسم التسويق ، وفريق الامتثال. يساعد الكشف عن الشوائب في تحديد الأخطاء ، مما يسمح لهم بتحسين أداء الموقع وعمليات تسجيل العميل. كما يسمح لهم بتقديم إرشادات لفريق تطوير البرمجيات وعمليات الخلفية حول كيفية حل هذه القضايا. حركة الموقع هي مجال آخر يمكنه الاستفادة من قوة الكشف عن الشوائب. فهم المخالفات في حركة الموقع يوفر رؤية أفضل لفريق التسويق ، مما يسمح لهم بتحديد ما إذا كانت حملة التسويق تعمل أم لا. وبالتالي ، يوفر صورة أوضح حول المجال الأكثر أهمية لتركيز جهودهم. مثالنا الأخير هو كيف يساعد الكشف عن الشوائب في تسجيل العميل فريق الامتثال على تحديد الاحتيال المحتمل وتقليل مخاطر العميل.

في مناقشتنا مع مسؤول الامتثال في NDAX ، Julia Baranovskaya ، يُسلط الضوء على كيفية تأكيد أهمية الكشف عن الشوائب خلال الجائحة الحالية. هناك زيادة بنسبة 300% في الكشف عن الاحتيال خلال الأشهر القليلة الماضية. الأوقات الصعبة مجتمعة مع حركة المرور الكبيرة عبر الإنترنت تدعو إلى عمليات احتيال من جميع الأنواع التي تستهدف العاطلين عن العمل والمسنين. مع الكشف عن الشوائب ، يمكننا الآن تحويل هذه المخالفات إلى مؤشرات للاحتيال أو الاتجاهات. الجدول التالي يوضح كيف تقلبت الاحتيال خلال النصف الأول من هذا العام.

وجد NDAX زيادة في الاحتيال في الربع الثاني ، خاصة الاحتيال المتعلق بالمسنين والوظائف الوهمية.

ماذا عن عملك؟

يمكن للخوارزميات الكشف عن الشوائب مساعدة الشركات على تحديد و phản應 النقاط البيانية غير العادية في سيناريوهات متعددة. قد تستخدم نظام أمان بنكي الكشف عن الشوائب لتحديد المعاملات الاحتيالية. وبالمثل ، يعتمد أصحاب مصانع على الكشف عن الشوائب للتعامل مع الأجهزة المعطلة وتنفيذ إجراءات الصيانة التنبؤية. في شبكات الأجهزة، يُستخدم الكشف عن الشوائب كجزء من حلول مراقبة الحالة ومنع نشر البرمجيات الخبيثة. النقطة الأساسية واضحة: الشركات التي لديها وصول إلى كميات كبيرة من البيانات يمكنها استخدام MIDAS (وخوارزميات الكشف عن الشوائب الأخرى) لتحديد الأنماط غير العادية في الوقت الفعلي.

كيف يتم تنظيم بياناتك ، وكيف يمكننا مساعدتك في إعداد حل الكشف عن الشوائب الحديث؟ أرسل لنا رسالة واخبرنا. فريق علوم البيانات في Blue Orange Digital سيسعد بمساعدة الكشف عن الشوائب لصالحك أيضًا!

مصدر الصورة الرئيسية: Canva