أين ينبغي لنموذج اللغة أن يتوقف: تصميم الذكاء الاصطناعي لكشوف الرواتب والقبول ومجالات أخرى لا تحتمل الأخطاء

أمضيت السنوات القليلة الماضية في دمج الذكاء الاصطناعي في منتجات تكون للإجابة الخاطئة فيها كلفة ملموسة: منصة امتثال لكشوف الرواتب مدعومة بالذكاء الاصطناعي للسوق الأسترالية، حيث يُودَع أثر الخطأ في الحساب المصرفي لشخص ما، ومنتج للقبول الجامعي، حيث قد يؤثر عدم التوافق على السنوات الأربع التالية من حياة الطالب. وكان السؤال الذي حسم تصميم البنية واحدًا في الحالتين: إلى أي مدى ينبغي السماح لنموذج اللغة بالعمل قبل أن تتولى زمام الأمور آلية حتمية؟

يتضمن واحد من كل خمسة كشوف رواتب في الولايات المتحدة خطأً، بمتوسط كلفة يبلغ 291 دولارًا لكل حالة قبل احتساب التقاضي. ويضع قانون الذكاء الاصطناعي للاتحاد الأوروبي الذكاء الاصطناعي المستخدم في قرارات القبول وإدارة التوظيف ضمن فئات المخاطر العالية.

دع القواعد تتحكم في الأرقام

تتولى القواعد الحتمية كل ما يرتبط بمبلغ مالي أو تبعة قانونية، فيما يقتصر دور النموذج على تفسير تلك القواعد وشرحها، ولا يتجاوز ذلك.

في منصة كشوف الرواتب، كان هدفنا وضع حد فاصل واضح بين قواعد الرواتب والذكاء الاصطناعي. يحدد خبراء الرواتب قواعد الأجور أولًا بصيغة منظّمة. ثم يعالج النظام تلك القواعد وينشئ كل سيناريو محتمل قد ينتج عنها. وتصبح هذه المجموعة الكاملة من السيناريوهات المرجع المعتمد للنموذج. ولا يمكن للنموذج إنشاء قواعد جديدة أو تغيير القواعد القائمة أو تحديد المصادر التي يستخدمها. ويقتصر دوره على استرجاع مجموعة القواعد ذات الصلة، والاطلاع على جداول معدلات الأجور، والاستشهاد بالسيناريو الذي استخدمه. أما إنشاء القواعد وتوليد السيناريوهات واختيار المصادر، فتبقى جميعها خارج طبقة الذكاء الاصطناعي تمامًا.

يتبع منتج القبول المنطق نفسه: تُطبَّق متطلبات الموقع والحدود المالية ووضع المؤسسة وعتبات الأهلية في صورة قواعد قبل أن يتمكن النموذج من التأثير في ترتيب الخيارات. فإذا قال طالب إنه لا بد أن يلتحق بكلية في كاليفورنيا، فلا يمكن للنموذج أن يتجاوز هذا الشرط ويوصي بكلية خارج الولاية لمجرد أنه رأى أنها مناسبة له من نواحٍ أخرى. يتولى النموذج التعامل مع التفضيلات الأقل صرامة وشرحها، بينما يشكّل المنطق الحتمي خط الدفاع كلما لم يكن التقريب مقبولًا.

يضبط الاسترجاع إجابات النموذج ضمن حدود

يربط التوليد المعزّز بالاسترجاع الإجابات بسياسات المؤسسة نفسها بدلًا مما استوعبه النموذج أثناء التدريب. لكن يُبالغ أيضًا في قدراته. فعندما اختبر مختبر RegLab التابع لجامعة Stanford أدوات تجارية للبحث القانوني مبنية على RAG، ظلت تختلق معلومات في ما بين 17% و33% من الحالات. يضيّق الاسترجاع نطاق ما يمكن للنموذج قوله، لكن النموذج قد يخطئ رغم ذلك.

تعلمت ذلك بنفسي. ففي منصة كشوف الرواتب، عثر النظام ذات مرة على قرار العمل الصحيح لحالة ما، ومع ذلك أساء النموذج تفسير قواعد العمل الإضافي. كان المصدر الصحيح قد استُرجع، لكن الإجابة كانت خاطئة؛ لذلك شددنا بعد تلك الحادثة القيود على ما يمكن للنموذج أن يقرره بمفرده. نقلنا قواعد الرواتب المهمة إلى منطق أعمال صريح، واشترطنا أن تستند كل إجابة إلى مواد مرجعية، وأضفنا اختبارات صُممت حول الحالة التي أخفق فيها النظام. ولا يفيد الوصول إلى المعلومات الصحيحة إلا إذا تحكمت أيضًا في كيفية استخدام النموذج لها.

اجعل كل إجابة قابلة للتتبع

قبل إنشاء أي إجابة، يسجل النظام بدقة دليل القواعد وإصداره المستخدمين، إلى جانب النموذج وتفاصيل الطلب الأخرى. فمن الصعب التحقق من قولنا إن إجابة الذكاء الاصطناعي استندت إلى سياسة الشركة. أما القول إنها أُنشئت باستخدام الإصدار 7 من اتفاقية محددة، مع الاحتفاظ بهذا الإصدار وإمكانية مقارنته بإصدارات أخرى، فيوفر دليلًا أقوى بكثير. ونتتبع أيضًا كل استدعاء للنموذج والأدوات: ما طلبه المستخدم، وما استُرجع، والأدوات التي شُغّلت، وما أعاده النموذج، وأي أخطاء وقعت أثناء ذلك. وعند ورود مشكلة إلى فريق الدعم، يمكننا تحديد مصدر الإجابة الخاطئة بدقة. ويبيّن الحكم الصادر في قضية Air Canada عام 2024، الذي ألزم فيه tribunal شركة الطيران بتنفيذ خصم اخترعه روبوت المحادثة، كلفة البديل.

أشرك البشر حيث تترتب العواقب

يتعامل ملف الذكاء الاصطناعي التوليدي الصادر عن NIST مع تحديد ما ينفذه النظام بمفرده وما يستلزم تدخل شخص بوصفه قرارًا من قرارات الحوكمة. ونحيل الحالة إلى شخص عندما يكون النظام غير واثق، أو تتعارض المعلومات، أو قد يؤثر القرار تأثيرًا ملموسًا في المستخدم. وفي القبول، تُحال ملفات الطلاب غير المعتادة، أو التوصيات التي لا تستوفي بوضوح المتطلبات الأساسية للطالب، إلى مستشار لمراجعتها. وقد كشفت هذه الخطوة توصيات بدت معقولة للوهلة الأولى، لكنها أغفلت أحد القيود الواردة في ملف الطالب، كما أُعيد إدماج نتائج كل حالة منها في النظام. ولا يحسم أي من المنتجين أي شيء بمفرده. فلا بد من مدخلات المستشار قبل الاعتماد على أي توصية، كما تُحال كل قسيمة راتب ينشئها نظام الرواتب للموافقة قبل إرسالها. ولا يُقصد بالمراجعة البشرية أن تشمل كل طلب؛ فالهدف هو أتمتة الحالات الاعتيادية بثقة وإشراك شخص عندما يكون لدى النظام سبب وجيه للشك.

تحديد ما يمكن للنموذج تولّيه اليوم

هناك اختبار عملي أطبقه على أي سير عمل. إذا أمكن اكتشاف المخرجات الخاطئة والتراجع عنها قبل أن تصل إلى شخص، فيمكن للنموذج تولّي تلك الخطوة. وإذا أمكن التحقق من الإجابة بالرجوع إلى قاعدة، فتكون القاعدة هي المرجع ويتولى النموذج شرحها. أما إذا كان من الممكن أن تصل المخرجات الخاطئة إلى قسيمة راتب أو قرار قبول قبل أن يطّلع عليها أحد، فذلك يعني أن هذه الخطوة غير جاهزة.

تُعدّ النماذج اللغوية أفضل من تولّى تفسير كتب القواعد على الإطلاق. وفي المجالات التي تعاقب على الأخطاء، ينبغي أن تقف حدود دورها عند التفسير.