أين لا يزال الإشراف على المحتوى المدعوم بالذكاء الاصطناعي بحاجة إلى تقدير بشري

في مجتمع يضم ملايين المستخدمين، قد ينتشر السلوك الضار أسرع مما يستطيع المشرفون اكتشافه والتعامل معه. ويمكن لمجتمع صغير أن يعتمد بدرجة كبيرة على المراقبة المباشرة. فالمشرفون يعرفون المشاركين الدائمين، ويفهمون ثقافة المجتمع، ويمكنهم عادةً اكتشاف السلوك المزعج بسرعة. لكن عندما يصل المجتمع إلى مئات الآلاف أو ملايين المستخدمين، يصبح تقييم النشاط يدويًا أصعب بكثير. وتتشكل مجموعات فرعية، وتتطور اللغة، وقد ينتشر السلوك الضار عبر حسابات أو محادثات كثيرة قبل أن يلاحظ أحد نمطه.

تؤدي زيادة عدد المشرفين إلى توسيع القدرة على التعامل مع المحتوى، لكن الوقت والانتباه المتاحين لأي فريق إشراف يظلان محدودين. وتحتاج المجتمعات الكبيرة إلى بنية تحتية تعالج الأنشطة الروتينية باستمرار، وتكتشف السلوك غير المعتاد مبكرًا، وتوفر للمشرفين سياقًا كافيًا للتركيز على الحالات التي تتطلب تقديرًا بشريًا.

وهذا يجعل الإشراف، على نحو متزايد، جزءًا من مجال هندسة الأنظمة. فآليات الكشف والتصعيد والحدود التشغيلية والرصد والتغذية الراجعة، كلها عوامل قد تؤثر في بقاء المجتمع سليمًا مع نموه.

أبرز ما يتغير مع اتساع النطاق هو أن الحالات الاستثنائية لم تعد نادرة. فحتى إن لم يؤثر سلوك معين إلا في نسبة ضئيلة جدًا من المستخدمين، فإنه قد يصبح أمرًا يواجهه المشرفون باستمرار عندما يتعلق الأمر بملايين الأشخاص. كذلك، تتراجع القدرة على فهم كل تفاعل على حدة، لذا يعتمد الإشراف الجيد، أكثر فأكثر، على اكتشاف الأنماط من دون إغفال السياق الذي يحيط بها.

يتطلب الإشراف على نطاق واسع التعرّف على الأنماط

بدأت أدوات إشراف كثيرة بقواعد تشغيل بسيطة نسبيًا: ظهور كلمة محظورة، أو تقديم مستخدم بلاغًا، أو ملاحظة مشرف مخالفةً للقواعد واتخاذه إجراءً حيالها.

تنتج المجتمعات الكبيرة مؤشرات أكثر تعقيدًا. فقد يصل البريد العشوائي من عشرات الحسابات في وقت واحد. وقد يتطور التحرش تدريجيًا عبر عدة محادثات. ويمكن أن يشمل الإساءة المنسقة أفعالًا منفردة تبدو غير مؤذية عند النظر إلى كل منها على حدة. وقد تتصرف الحسابات الجديدة بصورة طبيعية مدةً من الزمن، ثم تبدأ فجأة بنشر روابط أو رسائل متطابقة.

يسهل التعرّف على هذه الحالات عندما تقيّم الأنظمة السلوك على مدى زمني. وقد تشمل مؤشرات التهديد معدل إرسال الرسائل، والمحتوى المكرر، وعمر الحساب، وتكرار الروابط، والارتفاع المفاجئ في وتيرة النشر، وأنماط الانضمام غير المعتادة، وإجراءات الإنفاذ السابقة، والروابط بين الحسابات. وقد لا يكشف مؤشر واحد الكثير. لكن اجتماع عدة مؤشرات قد يدل على أن الأمر يستحق مزيدًا من التدقيق.

فقد درست هيئة تنظيم الاتصالات البريطانية Ofcom، على سبيل المثال، أنظمة التصنيف الآلي للمحتوى ضمن عملية أوسع تشمل جمع البيانات، وتطوير النماذج، ونشرها، ومراقبتها، وتقييمها.

يزيد السياق المسألة تعقيدًا. فقد يشير تدفق مفاجئ للرسائل إلى بريد عشوائي في منتدى مهني، بينما يكون سلوكًا طبيعيًا خلال فعالية مباشرة. وقد تحمل اللغة أيضًا معاني مختلفة تمامًا تبعًا للعلاقات والإشارات المرجعية المشتركة والأعراف السائدة في المجتمع.

تحتاج البنية التحتية الفعالة للإشراف إلى قواعد قابلة للضبط، وحدود مصممة خصيصًا لكل مجتمع، ومؤشرات سلوكية تاريخية. ويُعد معدل إرسال الرسائل مثالًا جيدًا على ذلك. فقد يكون المستخدم الذي ينشر بسرعة كبيرة يرسل رسائل غير مرغوب فيها، لكنه قد يكون ببساطة نشطًا خلال فعالية مباشرة أو محادثة سريعة الإيقاع. وإذا كان الحساب نفسه حديث الإنشاء أيضًا، وينشر المحتوى المتطابق مرارًا، ويرسل الرابط نفسه عبر قنوات متعددة، غدا اجتماع هذه المؤشرات ذا دلالة أكبر بكثير.

تمنح الأتمتة المشرفين معلومات أفضل

تقضي فرق الإشراف وقتًا طويلًا في مهام متكررة. فكثيرًا ما يمكن أتمتة إزالة الرسائل غير المرغوب فيها، وتقييد الروابط، واكتشاف الرسائل المكررة، وفرض حدود لمعدل الإرسال، وفحص الحسابات، متى توفرت للنظام مؤشرات قوية بما يكفي لاتخاذ إجراء بثقة.

تكتسب الأحكام البشرية أهميتها عندما يتوقف فهم المعنى على التاريخ أو النية أو الفكاهة أو السخرية أو العلاقات أو السياق الثقافي. وغالبًا ما تتطلب هذه الحالات فهم المحادثة ككل. ويمكن للأتمتة المصممة جيدًا أن تسهّل اتخاذ القرارات فيها، عبر تنظيم المعلومات المحيطة بالحادثة.

ينبغي أن يتمكن المشرف الذي يراجع نشاطًا مريبًا من معرفة سبب رصده. وقد تشمل المعلومات ذات الصلة التغيرات الأخيرة في سلوك النشر، والحوادث السابقة، والبلاغات المرتبطة به، والمحتوى المكرر، وسجل الحساب، أو نشاطًا مشابهًا في مواضع أخرى من المجتمع.

يمكن لمستويات الثقة أن تحدد الاستجابة أيضًا. فقد يبرر النشاط القابل للتنبؤ بدرجة كبيرة، مثل تكرار الرسائل غير المرغوب فيها المتطابقة من حسابات أُنشئت حديثًا، اتخاذ إجراء فوري. أما النشاط الأكثر التباسًا، فيمكن عرضه للمراجعة مع المؤشرات التي أدت إلى إطلاق التنبيه.

هذا النهج شائع في الأنظمة التقنية الكبيرة الأخرى. إذ تعالج بنية المراقبة التحتية كميات كبيرة من النشاط، وتكتشف الحالات الشاذة، وتجمع المؤشرات المترابطة، وتصعّد الحالات غير المعتادة. ثم يحقق المهندسون في الحالات التي تتطلب تحليلًا أعمق.

يمكن أن يستفيد الإشراف على المجتمعات من البنية نفسها. فالأنظمة الآلية تتولى التعامل مع حجم النشاط واكتشاف الأنماط، بينما يتلقى المشرفون مجموعة أكثر تركيزًا من الحالات لتقييمها.

أفضّل الأتمتة المكثفة عندما يكون السلوك قابلًا للتنبؤ بدرجة كبيرة، لكنني أميل إلى قدر أكبر من الحذر كلما أصبح للسياق دور. فإذا كان النظام يحدد ما إذا كان شيء ما رسائل مزعجة، فقد يكون من السهل التعامل مع رسالة متطابقة تتكرر؛ أما إذا كان يحاول تحديد ما إذا كان شيء ما مضايقة أو مزحة أو خلافًا بين أشخاص يعرف بعضهم بعضًا، فمن المرجح بدرجة أكبر أن يتطلب ذلك حكمًا بشريًا. ينبغي للأتمتة أن تقلل الضوضاء التي يتعين على المشرفين التعامل معها، لا أن توهمنا بإمكانية اختزال كل مسألة تتطلب حكمًا إلى قاعدة.

أنظمة الإشراف الفعّالة تتعلم من قراراتها

يتغير سلوك المجتمعات باستمرار أيضًا. تظهر تعبيرات عامية جديدة. ويكتشف المستخدمون طرقًا لتجاوز عوامل التصفية. وتتطور أساليب الرسائل المزعجة. وتتبدل الأعراف الاجتماعية. وقد تصبح قاعدة إشراف تحقق نتائج جيدة اليوم أقل فاعلية مع تغير السلوك.

تحتاج البنية التحتية للإشراف إلى حلقات تغذية راجعة فعّالة. فكل إجراء آلي ينتج معلومات مفيدة. وقد تشير مراجعة المشرفين للإجراءات الآلية والتراجع عنها باستمرار إلى أن العتبة شديدة الحساسية. وقد يكشف تكرار الإفلات من الرصد لنمط من الإساءة عن إشارة مفقودة. وقد يدل العدد المرتفع على نحو غير معتاد للنتائج الإيجابية الكاذبة على أن قاعدة معينة لا تحقق أداءً جيدًا في بعض البيئات.

ينبغي أن تتمكن الفرق من تتبع القواعد الأكثر تفعيلًا، ومدى سرعة اكتشاف الحوادث، ومعدل التراجع عن الإجراءات الآلية، والسلوكيات التي تسبق عادةً الاضطرابات الأكبر.

ويؤكد إطار NIST لإدارة مخاطر الذكاء الاصطناعي أيضًا أهمية القياس والمراقبة والإدارة المستمرة عندما تستخدم المؤسسات الأنظمة الآلية.

تتيح قابلية الرصد لأنظمة الإشراف التكيف مع تغير المجتمعات. فقد تتطور أنماط سلوكية متباينة جدًا في مجتمع للألعاب، ومجموعة نقاش مهنية، ومنتدى للدعم. وينبغي أن يكون بالإمكان تطوير عتبات الإشراف بما يلائم هذه الاختلافات مع الحفاظ على ضمانات واضحة.

للشفافية أهميتها أيضًا. يستفيد المستخدمون من قواعد واضحة وإنفاذ يمكن توقعه إلى حد معقول. ويحتاج المشرفون إلى الاطلاع على الأنظمة التي تساعدهم في اتخاذ قراراتهم، بينما يحتاج المهندسون إلى معلومات كافية لتحديد ما إذا كانت هذه الأنظمة تعمل على النحو المنشود.

سيعتمد الجيل القادم من المجتمعات عبر الإنترنت اعتمادًا كبيرًا على تكامل الأتمتة الذكية والحكم البشري والقياس المستمر.

يتطلب الإشراف على نطاق واسع بنية تحتية قادرة على معالجة أحجام هائلة من الأنشطة الاعتيادية، والتعرف على أنماط يصعب على الأفراد ملاحظتها، وتزويد المشرفين بمعلومات أفضل عند ظهور قرارات صعبة.

يتطلب بناء هذه البنية التحتية اهتمامًا دقيقًا بالإشارات السلوكية وعتبات الثقة ومسارات التصعيد والمراقبة والتغذية الراجعة. وستكون المجتمعات التي تطور هذه القدرات أقدر على النمو مع الحفاظ على السلامة والثقة والجودة التي تشجع الناس على المشاركة.