ما تحسين التفضيل المباشر (DPO)؟ بديل أبسط للتعلم المعزز من التغذية الراجعة البشرية (RLHF)

يدرّب تحسين التفضيل المباشر سياسةً انطلاقًا من أزواج من الاستجابات المفضلة والمرفوضة، مستخدمًا هدفًا شبيهًا بالتصنيف يستند إلى نموذج مرجعي.

يستحق تحسين التفضيل المباشر شرحًا دقيقًا، لأن اسمه يحدد تدفقًا معينًا للمعلومات، أو خيارًا تدريبيًا، أو آلية تشغيل، أو حدًا من حدود الحوكمة. أما التعامل معه على أنه مرادف لـ«الذكاء الاصطناعي المتقدم» فيجعل الادعاءات مستحيلة الاختبار. يتتبع هذا الدليل المفهوم انطلاقًا من مدخلاته وافتراضاته، مرورًا بنتيجته القابلة للملاحظة، ثم يختبر الاختصار الأكثر عرضةً للخلط بينه وبينه.

تحسين التفضيل المباشر: التعريف والحدود والغرض

يدرّب تحسين التفضيل المباشر سياسةً انطلاقًا من أزواج من الاستجابات المفضلة والمرفوضة، مستخدمًا هدفًا شبيهًا بالتصنيف يستند إلى نموذج مرجعي. ويتضمن التعريف ثلاثة التزامات عملية: وجود مدخل يمكن تحديده، وتحويل أو قرار يميز تحسين التفضيل المباشر، ونتيجة يمكن تقييمها بالقياس إلى هدف معلن. وإذا غاب أحد هذه العناصر، فقد يصف المصطلح طموحًا لا آلية مطبقة.

تبني منظومات الذكاء الاصطناعي الحديثة تجريدات متراكبة: فالتمثيلات تدعم البنى، والتدريب المسبق ينشئ قدرات قابلة لإعادة الاستخدام، والتكييف يغير السلوك، وتحسينات النشر تحدد ما هو عملي. وفي حالة تحسين التفضيل المباشر، تكتسب هذه النظرة المنظومية أهميتها لأن البيانات والواجهات والأجهزة والصلاحيات والأشخاص المحيطين بالنظام قد تحدد الأداء، حتى عندما يظل النموذج الأساسي من دون تغيير. لذلك، يفصل الشرح المفيد بين السلوك الذي تعلمه النموذج والمنتج الذي يقرر متى يُستخدم ذلك السلوك وأين وبأي صلاحيات.

أقرب اختصار مضلل هو مسارات التعلم المعزز من التغذية الراجعة البشرية (RLHF)، التي تدرّب أولًا نموذجًا للمكافأة، ثم تحسّن سياسةً باستخدام التعلم المعزز. وقد يتشارك هذا النهج مع تحسين التفضيل المباشر في سمة ظاهرة، لكنه يغير تفسير العلاقة السببية: فإثبات النجاح يتطلب أدلة مختلفة، وتكون موارد مختلفة هي العامل الأكبر في التكلفة، كما تحول ضوابط مختلفة دون وقوع الضرر. لذا فالحد الفاصل هنا تشغيلي لا اصطلاحي.

خريطة تشغيلية من خمس مراحل لتحسين التفضيل المباشر

يمثل المخطط خريطة سببية موجزة لتحسين التفضيل المباشر، وليس ادعاءً بأن كل تطبيق يتألف من خمسة مكونات برمجية. فبعض الأنظمة تجمع بين المراحل، بينما يكررها بعضها الآخر في حلقة. وتظل الخريطة مفيدة لأنها تقتضي أن يكون لكل تغيير في المعلومات أو الصلاحيات مسؤول ومدخل ومخرج واختبار.

1. جمع المطالبات مع أزواج من الاستجابات المرتبة: المدخلات والافتراضات في تحسين التفضيل المباشر

في هذه المرحلة من تحسين التفضيل المباشر، يتعين على النظام جمع المطالبات مع أزواج من الاستجابات المرتبة. والسؤال المفيد ليس مجرد ما إذا كانت هذه العملية تحدث، بل أيضًا ما المعلومات التي تستخدمها، وما الحالة التي تغيرها، وما الدليل الذي يثبت صحة التغيير. وينبغي أن يتمكن المراجع من تمييز هذه العملية عن مسارات التعلم المعزز من التغذية الراجعة البشرية (RLHF)، التي تدرّب أولًا نموذجًا للمكافأة، ثم تحسّن سياسةً باستخدام التعلم المعزز، وأن يعيد إنتاج نتيجتها في ظل الشروط المعلنة نفسها.

تبدأ عملية التسليم إلى هذه المرحلة من تحسين التفضيل المباشر بالهدف المعلن، وينبغي أن تنتهي بنتيجة تتيح تقييم التفضيل النسبي للسياسة. سجّلوا أوجه عدم اليقين والبدائل المرفوضة واستخدام الموارد وأي ضوابط بشرية أو برمجية مطبقة عند نقطة الانتقال. ومن خلال هذا السجل، تستطيع الفرق اكتشاف ما إذا كانت بيانات التفضيلات تكافئ الأسلوب أو الإسهاب أو تحيز المقيّمين بدلًا من الصحة الجوهرية، قبل أن يصل الضعف نفسه إلى مخرج ذي عواقب مهمة.

2. تقييم التفضيل النسبي للسياسة: التمثيل أو القرار في تحسين التفضيل المباشر

في هذه المرحلة من تحسين التفضيل المباشر، يتعين على النظام تقييم التفضيل النسبي للسياسة. والسؤال المفيد ليس مجرد ما إذا كانت هذه العملية تحدث، بل أيضًا ما المعلومات التي تستخدمها، وما الحالة التي تغيرها، وما الدليل الذي يثبت صحة التغيير. وينبغي أن يتمكن المراجع من تمييز هذه العملية عن مسارات التعلم المعزز من التغذية الراجعة البشرية (RLHF)، التي تدرّب أولًا نموذجًا للمكافأة، ثم تحسّن سياسةً باستخدام التعلم المعزز، وأن يعيد إنتاج نتيجتها في ظل الشروط المعلنة نفسها.

تبدأ مرحلة الانتقال إلى هذه المرحلة من تحسين التفضيل المباشر بجمع المطالبات مع أزواج من الإجابات المرتبة، وينبغي أن تنتهي بنتيجة تتيح مقارنة السياسة بسياسة مرجعية. سجّل مواطن عدم اليقين، والبدائل المرفوضة، والموارد المستخدمة، وأي تدخل بشري أو برمجي طُبّق عند هذه الحدود. ويتيح هذا السجل للفرق اكتشاف ما إذا كانت بيانات التفضيلات تكافئ الأسلوب أو الإسهاب أو تحيز المقيّمين بدلًا من الصحة الفعلية، قبل أن يصل الضعف نفسه إلى مخرجات ذات عواقب مهمة.

3. مقارنتها بسياسة مرجعية: التحويل المميّز في تحسين التفضيل المباشر

في هذه المرحلة من تحسين التفضيل المباشر، يجب على النظام مقارنتها بسياسة مرجعية. ولا يقتصر السؤال المفيد على ما إذا كانت هذه العملية تحدث، بل يشمل أيضًا المعلومات التي تستخدمها، والحالة التي تغيّرها، والأدلة التي تثبت صحة هذا التغيير. ينبغي أن يتمكن المراجع من تمييز هذه العملية عن مسارات عمل RLHF التي تدرّب أولًا نموذجًا للمكافأة، ثم تحسّن سياسةً باستخدام التعلّم بالتعزيز، وأن يعيد إنتاج النتيجة في ظل الشروط المعلنة نفسها.

تبدأ مرحلة الانتقال إلى هذه المرحلة من تحسين التفضيل المباشر بتقييم التفضيل النسبي للسياسة، وينبغي أن تنتهي بنتيجة تتيح تحديث النموذج مباشرةً انطلاقًا من هدف التفضيل. سجّل مواطن عدم اليقين، والبدائل المرفوضة، والموارد المستخدمة، وأي تدخل بشري أو برمجي طُبّق عند هذه الحدود. ويتيح هذا السجل للفرق اكتشاف ما إذا كانت بيانات التفضيلات تكافئ الأسلوب أو الإسهاب أو تحيز المقيّمين بدلًا من الصحة الفعلية، قبل أن يصل الضعف نفسه إلى مخرجات ذات عواقب مهمة.

4. تحديث النموذج مباشرةً انطلاقًا من هدف التفضيل: حدود القيود والتحقق في تحسين التفضيل المباشر

في هذه المرحلة من تحسين التفضيل المباشر، يجب على النظام تحديث النموذج مباشرةً انطلاقًا من هدف التفضيل. ولا يقتصر السؤال المفيد على ما إذا كانت هذه العملية تحدث، بل يشمل أيضًا المعلومات التي تستخدمها، والحالة التي تغيّرها، والأدلة التي تثبت صحة هذا التغيير. ينبغي أن يتمكن المراجع من تمييز هذه العملية عن مسارات عمل RLHF التي تدرّب أولًا نموذجًا للمكافأة، ثم تحسّن سياسةً باستخدام التعلّم بالتعزيز، وأن يعيد إنتاج النتيجة في ظل الشروط المعلنة نفسها.

تبدأ مرحلة الانتقال إلى هذه المرحلة من تحسين التفضيل المباشر بمقارنة السياسة بسياسة مرجعية، وينبغي أن تنتهي بنتيجة تتيح تقييم مدى الإفادة والتحولات غير المقصودة. سجّل مواطن عدم اليقين، والبدائل المرفوضة، والموارد المستخدمة، وأي تدخل بشري أو برمجي طُبّق عند هذه الحدود. ويتيح هذا السجل للفرق اكتشاف ما إذا كانت بيانات التفضيلات تكافئ الأسلوب أو الإسهاب أو تحيز المقيّمين بدلًا من الصحة الفعلية، قبل أن يصل الضعف نفسه إلى مخرجات ذات عواقب مهمة.

5. تقييم مدى الإفادة والتحولات غير المقصودة: المخرجات والتغذية الراجعة وقاعدة التوقف في تحسين التفضيل المباشر

في هذه المرحلة من تحسين التفضيل المباشر، يجب على النظام تقييم مدى الإفادة والتحولات غير المقصودة. ولا يقتصر السؤال المفيد على ما إذا كانت هذه العملية تحدث، بل يشمل أيضًا المعلومات التي تستخدمها، والحالة التي تغيّرها، والأدلة التي تثبت صحة هذا التغيير. ينبغي أن يتمكن المراجع من تمييز هذه العملية عن مسارات عمل RLHF التي تدرّب أولًا نموذجًا للمكافأة، ثم تحسّن سياسةً باستخدام التعلّم بالتعزيز، وأن يعيد إنتاج النتيجة في ظل الشروط المعلنة نفسها.

تبدأ مرحلة الانتقال إلى هذه المرحلة من تحسين التفضيل المباشر بتحديث النموذج مباشرةً انطلاقًا من هدف التفضيل، وينبغي أن تنتهي بنتيجة تتيح المراقبة أو اتخاذ قرار نهائي. سجّل مواطن عدم اليقين، والبدائل المرفوضة، والموارد المستخدمة، وأي تدخل بشري أو برمجي طُبّق عند هذه الحدود. ويتيح هذا السجل للفرق اكتشاف ما إذا كانت بيانات التفضيلات تكافئ الأسلوب أو الإسهاب أو تحيز المقيّمين بدلًا من الصحة الفعلية، قبل أن يصل الضعف نفسه إلى مخرجات ذات عواقب مهمة.

اقرأ خريطة تحسين التفضيل المباشر من الأمام لفهم كيفية انتقال العمل إلى بيئة الإنتاج، ومن الخلف لتشخيص الإخفاق. ويسأل التحليل الأمامي عن كيفية إمداد كل مرحلة للمرحلة التالية. أما التحليل العكسي فينطلق من نتيجة غير صحيحة أو بطيئة أو مكلفة أو غير آمنة، ويتتبّع الافتراض السابق الذي أتاح حدوثها. وغالبًا ما يكشف المسار العكسي أن الخطأ الحاسم وقع قبل أن ينتج النموذج أي شيء.

مثال تطبيقي على تحسين التفضيل المباشر

عند تقديم إجابتين، يزيد DPO الاحتمال النسبي للإجابة المفضّلة من دون تشغيل حلقة تحسين للمكافأة عبر الإنترنت.

يكتسب هذا المثال أهميته من إمكانية ربط تحسين التفضيل المباشر بمدخلات قابلة للرصد وحالات وسيطة ونتيجة، بدلًا من الحكم عليه من خلال عرض مصقول. وينبغي لاختبار دقيق أن يضع حالات عادية وصعبة ومضللة عمدًا حول السيناريو، وأن يحتفظ بخط أساس لا يستخدم هذه التقنية، ويسجّل متوسط الأداء وشدة الإخفاقات الفردية.

غيّر افتراضًا واحدًا في مثال تحسين التفضيل المباشر، ثم أعد التحليل. احذف مدخلًا مطلوبًا، أو أدخل إشارة متضاربة، أو قيّد القدرة الحاسوبية، أو غيّر فئة المستخدمين، أو أجبر النظام على الامتناع عن الإجابة. فالآلية التي لا تنجح إلا في عرض توضيحي واحد مُعدّ بعناية لم تثبت قدرتها على التعميم على بيئة التشغيل.

تحسين التفضيل المباشر في مقابل أكثر اختصاراته شيوعًا

غالبًا ما يُختزل التحسين المباشر للتفضيلات في مسارات عمل التعلم المعزز من الملاحظات البشرية (RLHF)، التي تدرّب أولًا نموذجًا للمكافأة، ثم تحسّن سياسةً باستخدام التعلم المعزز. وهذا الاختزال يزيل الحد الفاصل الذي يعرّف المفهوم. وقد يدفع المشترين إلى مقارنة منتجات غير متكافئة، والباحثين إلى المبالغة في ما تثبته تجربة ما، والقائمين على التشغيل إلى مراقبة الإشارة الخاطئة بعد النشر.

ينبغي أيضًا أن تحدد المقارنة وحدة التحليل. فقد تتناول ورقة بحثية عن التحسين المباشر للتفضيلات نموذجًا أو خوارزميةً بمعزل عن غيرهما، بينما تضيف الخدمة المنشورة الاسترجاع والتوجيه والتخزين المؤقت والسياسات والهوية وواجهات المستخدم والمراقبة. وقد يستخدم منتجان المصطلح نفسه في العنوان، مع تطبيق أجزاء مختلفة من هذه المنظومة. لذا ينبغي السؤال عن المكوّن الذي ينفّذ التحويل المحدِّد، وعن المكوّنات الأخرى اللازمة لتحقيق النتيجة المعلَن عنها.

لماذا يهم التحسين المباشر للتفضيلات في أنظمة الذكاء الاصطناعي الحالية

يكتسب التحسين المباشر للتفضيلات أهمية الآن لأن أنظمة الذكاء الاصطناعي تُمنح سياقات أكبر، وأنماطًا أكثر، وقدرات حوسبة أكبر أثناء التشغيل، وإمكانية وصول أوسع إلى الأدوات، وارتباطًا أعمق بالقرارات المؤسسية. وفي ظل هذه الظروف، قد تتحول تفاصيل كانت تبدو يومًا ما شأنًا بحثيًا إلى عامل يحدد زمن الاستجابة أو الأمن أو إمكانية الوصول أو التكلفة البيئية أو جودة المنتج أو المساءلة القانونية.

ليس المعيار المهم هو ما إذا كان التحسين المباشر للتفضيلات قادرًا على تحقيق نتيجة مبهرة واحدة، بل ما إذا كانت التقنية تحسّن نتيجةً مهمة في ظروف تمثيلية، وتفعل ذلك بفاعلية أكبر من خط أساس أبسط. وينبغي الإبلاغ عن التوزيعات وفئات الإخفاق وزمن الاستجابة عند الذيل واستخدام الموارد والفئات الفرعية المتأثرة، بدلًا من اختزال كل النتائج في متوسط واحد.

يعتمد الخيار التقني الأنسب على عبء العمل والأجهزة. قارنوا بخط أساس بسيط، وقيسوا الجودة على شرائح تمثيلية، وتابعوا استخدام الذاكرة وزمن الاستجابة والتكلفة وقابلية الصيانة إلى جانب الدقة في الاختبارات المعيارية. وعند تطبيق هذا النهج تحديدًا على التحسين المباشر للتفضيلات، تصبح الأدلة قابلة للنقل: إذ يستطيع فريق آخر تقدير مدى احتمال استمرار المكسب المزعوم عند استخدام نموذج أو لغة أو منصة أجهزة أو مجموعة بيانات أو فئة مستخدمين أو مستوى تقبّل للمخاطر مختلف.

الفوائد التي يمكن أن يحققها التحسين المباشر للتفضيلات

أقوى مبرر لاستخدام التحسين المباشر للتفضيلات هو قدرته على معالجة عنق الزجاجة المستهدف مباشرةً. وقد تتجلى الفائدة، بحسب التنفيذ، في تحسين الاستناد إلى المصادر، أو تمثيل أوفى، أو تعميم أفضل، أو زمن استجابة أقصر، أو تقليل نقل البيانات بين الذاكرة، أو وضوح أكبر في المساءلة، أو إنشاء حد فاصل أكثر أمانًا بين اقتراح النموذج والتنفيذ الفعلي.

ينبغي التعبير عن الفوائد بصيغة قرارات ومقاييس. فعبارة «أكثر ذكاءً» ليست معيارًا لقبول التحسين المباشر للتفضيلات. وقد يحدد الهدف المفيد معدل الخطأ في الحالات الصعبة، أو القدرة على التعافي بعد ظهور أدلة متعارضة، أو التكلفة عند إحدى النسب المئوية من حركة المرور، أو الوقت اللازم للمراجعة البشرية، أو المعايرة، أو نسبة الإجراءات التي تظل ضمن حدٍّ محدد للصلاحيات.

نمط الإخفاق الذي يميّز التحسين المباشر للتفضيلات

يتمثل القيد الأساسي في أن بيانات التفضيلات قد تكافئ الأسلوب أو الإسهاب أو تحيز المعلّقين بدلًا من الصحة الجوهرية. وليس هذا الإخفاق أمرًا ثانويًا يُذكر بعد اكتمال التطوير، بل ينبغي أن يوجّه منذ البداية جمع البيانات والهندسة المعمارية والصلاحيات والتقييم ومعايير الإطلاق والمراقبة الخاصة بالتحسين المباشر للتفضيلات.

لا يكون الضابط الخاص بتحسين التفضيلات المباشر مفيدًا إلا إذا تدخّل قبل وقوع عاقبة مكلفة أو لا رجعة فيها. حدّد أبكر مؤشر يمكن رصده على الإخفاق، وضع عتبة أو قاعدة، وعيّن مسؤولًا عن المساءلة، واختبر سبل التعافي. وقد يعني التعافي، بحسب حالة الاستخدام، الامتناع عن اتخاذ إجراء، أو الرجوع إلى نظام أبسط، أو طلب مزيد من الأدلة، أو تصعيد الأمر إلى شخص، أو التراجع عن نموذج، أو إيقاف إجراء بالكامل.

خطة لتقييم تحسين التفضيلات المباشر

ابدأ تقييم تحسين التفضيلات المباشر بصياغة القرار الذي ينبغي للأدلة أن تدعمه. حدّد الفئة السكانية التي سيُطبّق عليها النظام، وعاقبة النتيجة الخاطئة، والمعلومات المتاحة فعلًا عند اتخاذ القرار، وأبسط بديل موثوق. ويحول ذلك دون أن يصبح المعيار المرجعي غايةً بحد ذاته لمجرد سهولة تشغيله.

استخدم مجموعة اختبار لم تُمس لإجراء مقارنات مضبوطة، ثم تحقّق من صحة تحسين التفضيلات المباشر في بيئة تشغيلية مرحلية. يتيح التقييم غير المتصل مقارنة المتغيرات؛ أما وضع الظل، والإطلاق التجريبي المحدود، وحدود المعدل، أو بوابات الموافقة، فتُظهر كيف تغيّر حركة المرور الفعلية وحلقات التغذية الراجعة والأشخاص السلوك. وينبغي أن تتضمن مرحلة النشر شرطًا صريحًا لإيقاف العملية، بدلًا من افتراض أن كل تحسّن يستحق تعميمه بالكامل.

احفظ إصدارات المدخلات اللازمة لإعادة إنتاج تحسين التفضيلات المباشر: البيانات المصدرية، والمعالجة المسبقة، والمُرمِّز أو أداة الترميز، وأوزان النموذج، والإعدادات، والموجّه أو السياسة، وفهرس الاسترجاع، ومجموعة التقييم، وافتراضات الأجهزة، ورمز تقديم الخدمة، بحسب ما ينطبق. ومن دون سجلّ لتتبّع مصدر هذه العناصر وتغييراتها، لن يتمكن الفريق من معرفة ما إذا كانت النتيجة المتغيرة ناجمة عن التقنية أو البيئة أو تعديل غير ملحوظ في مسار المعالجة.

وأخيرًا، اسأل عن النتيجة التي من شأنها دحض الادعاء بأن تحسين التفضيلات المباشر مفيد. إذا لم تكن هناك نتيجة يمكن أن تغيّر قرار الاعتماد، فالتقييم ليس سوى تسويق. وتحول عتبات القبول المحددة مسبقًا ومجموعة التحقق المحفوظة هذا التمرين إلى دليل.

أسئلة ينبغي طرحها قبل اعتماد تحسين التفضيلات المباشر

• الهدف: ما عنق الزجاجة القابل للقياس الذي يُراد من تحسين التفضيلات المباشر معالجته؟
• الآلية: أي مرحلة من المراحل الخمس تتضمن التحويل المميّز؟
• خط الأساس: كيف يقارن ذلك بمسارات RLHF التي تدرّب أولًا نموذجًا للمكافأة، ثم تحسّن سياسةً باستخدام التعلّم المعزّز، أو بأبسط بديل آخر؟
• الأدلة: ما الحالات الاعتيادية والصعبة والخصومية وحالات المجموعات الفرعية التي خضعت للاختبار؟
• العمليات: ما تكاليف زمن الاستجابة والذاكرة والحوسبة والطاقة والصيانة والمراجعة عند التوسع؟
• المخاطر: كيف سيكتشف الفريق أن بيانات التفضيلات قد تكافئ الأسلوب أو الإسهاب أو تحيز المعلّقين بدلًا من الصحة الفعلية؟
• التعافي: هل يستطيع النظام الامتناع عن اتخاذ إجراء، أو الرجوع إلى بديل، أو التراجع عن تغيير، أو تصعيد الأمر قبل وقوع الضرر؟

المصادر الأساسية لدراسة تحسين التفضيلات المباشر

تشمل المراجع الموثوقة التي يمكن الانطلاق منها لدراسة الجزء من بنية الذكاء الاصطناعي المحيط بتحسين التفضيلات المباشر «الانتباه هو كل ما تحتاج إليه»، والورقة البحثية عن LoRA، وتحسين التفضيلات المباشر. اقرأها إلى جانب الوثائق الخاصة بالنموذج ومجموعة البيانات والأجهزة والاختصاص القضائي المعنيّة تحديدًا. يمكن لمصدر عام أن يشرح الآلية، لكن الأدلة الخاصة ببيئة النشر وحدها هي التي تستطيع إثبات ملاءمة تطبيق بعينه.

ما ينبغي تذكّره عن تحسين التفضيلات المباشر

تحسين التفضيلات المباشر آلية محددة ضمن منظومة اجتماعية تقنية أوسع. وتنبع قيمته من تحسين نتيجة معينة في ظل شروط صريحة، لا من التسمية نفسها. وتُظهر خريطة المراحل الخمس تدفق المعلومات، وتحدّد المقارنة ما لا تمثّله هذه الآلية، ويوضح مسار الضبط المواضع التي يستطيع عندها المشغّل المسؤول التدخل.

القاعدة العملية لتحسين التفضيلات المباشر هي تحديد الهدف، ومقارنته بخط أساس موثوق، واختبار الإخفاق الأهم، والاحتفاظ بالأدلة اللازمة لمراقبة التغيّر. وعند توافر هذه العناصر، يصبح المفهوم خيارًا هندسيًا وحوكميًا يمكن تقييمه. أما من دونها، فيظل اسمًا واعدًا مرتبطًا بمخاطر تشغيلية مجهولة.