صراع الذكاء الاصطناعي في محاكاة اللغة التاريخية

أظهرت دراسة مشتركة بين باحثين في الولايات المتحدة وكندا أن نماذج اللغة الكبيرة (LLMs) مثل ChatGPT تعاني من صعوبة في إعادة إنتاج اللهجات التاريخية دون تدريب مكثف – وهو عملية مكلفة ومرهقة تعود بالفائدة على معظم المبادرات الأكاديمية أو الترفيهية، مما يجعل مشاريع مثل إكمال رواية تشارلز ديكنز الأخيرة غير المكتملة غير واردة من خلال الذكاء الاصطناعي.

قام الباحثون باستكشاف مجموعة من الطرق لإنشاء نص يبدو تاريخيًا دقيقًا، بدءًا من التحفيز البسيط باستخدام النثر في أوائل القرن العشرين، وانتقل إلى التحفيز الدقيق لنموذج تجاري على مجموعة صغيرة من الكتب من تلك الفترة.

كما قارنوا النتائج بنموذج منفصل تم تدريبه بالكامل على الكتب المنشورة بين 1880 و1914.

في أول الاختبارات، أدت تعليمات ChatGPT-4o لمحاكاة لغة fin‑de‑siècle إلى نتائج مختلفة تمامًا عن نتائج النموذج الأصغر GPT2-based الذي تم تحفيزه على الأدب من تلك الفترة:

Asked to complete a real historical text (top-center), even a well-primed ChatGPT-4o (lower left) cannot help lapsing back into ‘blog’ mode, failing to represent the requested idiom. By contrast, the fine-tuned GPT2 model (lower right) captures the language style well, but is not as accurate in other ways. Source: https://arxiv.org/pdf/2505.00030

على الرغم من أن التحفيز الدقيق يbring النتائج أقرب إلى الأسلوب الأصلي، إلا أن القراء البشر كانوا لا يزالون قادرين على اكتشاف أحيانًا أثر لغة حديثة أو أفكار، مما يشير إلى أن النماذج المعدلة بعناية لا تزال تعكس تأثير بياناتها الحديثة.

وصل الباحثون إلى استنتاج مخيب للآمال مفاده أن هناك لا يوجد اختصار اقتصادي لإنشاء نص تاريخي صحيح من حيث اللهجة أو الحوار. كما يفترضون أن التحدي نفسه قد يكون غير صحيح:

‘يجب أن نعتبر أيضًا إمكانية أن تكون اللاخرونية لا مفر منها. سواء تمثلنا الماضي من خلال تعليم نماذج تاريخية حتى تتمكن منخوض محادثات، أو تعليم نماذج حديثة لتقليد فترة سابقة، قد يكون من الضروري بعض التنازلات بين أهداف الصحة والفصاحة في المحادثة. ‘

‘هناك، بعد كل شيء، لا يوجد “صحيح” لمحادثة بين سائل في القرن الحادي والعشرين ومجيب من عام 1914. سيتعين على الباحثين الذين يحاولون إنشاء مثل هذه المحادثة التفكير في الفرضية التي تتضمن دائمًا التفاوض بين الحاضر والماضي.’

الدراسة الجديدة بعنوان هل يمكن للنماذج اللغوية تمثيل الماضي بدون لاخرونية؟، وهي من تأليف ثلاثة باحثين من جامعة إلينوي، جامعة كولومبيا البريطانية، وجامعة كورنيل.

كارثة كاملة

في البداية، في نهج بحثي من ثلاثة أجزاء، اختبر الباحثون ما إذا كان النماذج اللغوية الحديثة يمكن أن تتحفز لمحاكاة اللغة التاريخية من خلال التحفيز البسيط. باستخدام مقتطفات حقيقية من الكتب المنشورة بين 1905 و1914، طلبوا من ChatGPT-4o استكمال هذه المقاطع بنفس اللهجة.

كان النص الأصلي هو:

‘في هذه الحالة الأخيرة، يتم توفير حوالي خمسة أو ست دولارات لكل دقيقة، لأن أكثر من عشرين ياردة من الفيلم يجب لفه لتمثيل كائن شخص في حالة راحة أو منظر طبيعي خلال دقيقة واحدة. وبالتالي، يتم الحصول على مزيج عملي من الصور الثابتة والمتحركة، مما ينتج عنه تأثيرات فنية رائعة. ‘

‘كما يسمح لنا بالعمل مع两个 سينماتوغراف يُشغلان بالتناوب لتفادي الوميض، أو يُشغلان بشكل متزامن صور حمراء وखضراء ويعيدان إنتاج الألوان الطبيعية، مما يخفف من الإجهاد الفسيولوجي للعين البشرية، التي اعتادت على استقبال الألوان الأساسية في نفس الوقت. كلمة الآن عن تطبيق الضوء البارد في التصوير الفوري.’

للتقييم ما إذا كان النص المُنشأ يطابق الأسلوب التاريخي المقصود، ومتعرفين على أن الناس ليسوا ماهرين بشكل خاص في تخمين تاريخ كتابة النص، قام الباحثون بتحفيز نموذج RoBERTa لتقدير تواريخ النشر، باستخدام جزء من مكتبة التاريخية الأمريكية الإنجليزية، التي تغطي المواد من 1810 إلى 2009.

ثم استخدموا تصنيف RoBERTa لتقييم الاستكمالات التي أنتجها ChatGPT-4o، والتي تم تحفيزها بمقتطفات حقيقية من الكتب المنشورة بين 1905 و1914.

كانت الإشارة إلى النظام (أي التعليمات السياقية لChatGPT حول كيفية التعامل مع المهمة) هي:

‘مهمتك هي استكمال مقاطع من كتب من أوائل القرن العشرين. سوف تُمنح مقطعة من كتاب منشور في عام 1913. استكمل هذه المقطعة بنفس الأسلوب، لمدة لا تقل عن 200 كلمة. لا تقدم سوى هذا الاستكمال؛ لا تقدم تعليقات إطار مثل “هنا الاستكمال:”.’

على الرغم من التحفيز البسيط والتحفيز المُكرر، استمرت مخرجات ChatGPT-4o في الانحراف نحو سجل لغوي من القرن الحادي والعشرين.

المثال المذكور في الورقة يظهر أحد محاولات ChatGPT-4o لاستكمال النص الفعلي حول التصوير الفوتوغرافي:

‘استخدام الضوء البارد في التصوير الفوري قد غير من النهج لالتقاط الصور في ظروف إضاءة مختلفة. تقليديًا، واجه المصورون صعوبة في قسوة وتنوع الضوء الطبيعي أو طبيعة الفلاش الفوتوغرافي الغازية، والتي يمكن أن تزعج جو المشهد أو سلوك الموضوع، خاصة في التصوير الفوتوغرافي للحياة البرية والتصوير الفوتوغرافي غير الرسمي. ‘

‘الضوء البارد، بطبيعته الناعمة والموزعة، يسمح بتمثيل أكثر دقة للألوان والنصوص، والتي غالبًا ما تفقد تحت الإضاءة الاصطناعية القاسية.’

كما قام الفريق بتحفيز GPT-1914، وهو نموذج GPT-2 منخفض الحجم تم تدريبه من البداية على 26.5 مليار رمز من الأدب بين 1880 و1914.

على الرغم من أن مخرجاته كانت أقل تماسكًا من مخرجات ChatGPT-4o، إلا أنها كانت أكثر مطابقة لأسلوب الفترة.

النموذج الوحيد المقدم في الورقة، مرة أخرى كاستكمال للنص الفعلي حول التصوير الفوتوغرافي، يقرأ:

‘مبدأ عمله 已 تم توضيحه (ص 4). سنذكر هنا فقط أنه يمكن تطبيقه مع ميزة عند الرغبة في الحصول على صور سريعة على ورق مغطى بالكولوديون، وكذلك تلك التي تم الحصول عليها باستخدام ألواح الجيلاتين. ‘

‘في هذه الحالات، يجب ألا يتجاوز التعرض دقيقة واحدة على الأقل؛ ولكن إذا كان المراد تطوير الصورة في أقل من دقيقة – مثلا نصف دقيقة – يجب ألا ينخفض ​​الحرارة أبدًا إلى أقل من 20 درجة مئوية، وإلا فإن الصورة سوف تصبح مظلمة جدًا بعد التطوير؛ بالإضافة إلى ذلك، سوف تفقد اللوحة حساسيتها في ظل هذه الظروف. ‘

‘لكن من أجل الأغراض العادية، يكفي ببساطة تعرض السطح الحساس لدرجة حرارة منخفضة دون اتخاذ احتياطات خاصة بخلاف الحفاظ على ‘

من الصعب فهم مدى دقة تمثيل GPT-1914 للنص الأصلي، نظرًا لأن المواد الحقيقية هي غامضة وصعبة المتابعة؛ ومع ذلك، فإن الإخراج يبدو أكثر مطابقة للفترة.

يتكاثف المؤامرة

لقياس مدى قرب مخرجات النموذج من الكتابة التاريخية الحقيقية، استخدم الباحثون تصنيفًا إحصائيًا لتقدير تاريخ نشر كل عينة نصية.

ثم قاموا بتصور النتائج باستخدام مخطط كثافة النواة، الذي يظهر مكان وجود كل مقطع على خط زمني تاريخي.

Estimated publication dates for real and generated text, based on a classifier trained to recognize historical style (1905–1914 source texts compared with continuations by GPT‑4o using one-shot and 20-shot prompts, and by GPT‑1914 trained only on literature from 1880–1914).

نموذج RoBERTa المُحفز المستخدم لهذه المهمة، كما يشير إليه الباحثون، ليس مثاليًا، ولكنه كان قادرًا على إبراز الاتجاهات الأسلوبية العامة.

المقاطع المكتوبة بواسطة GPT-1914، والتي تم تدريبها بالكامل على أدب الفترة، تجمعت حول أوائل القرن العشرين – مشابهة للمواد الأصلية.

من ناحية أخرى، تميل مخرجات ChatGPT-4o إلى الشبه بالكتابة في القرن الحادي والعشرين، مما يعكس البيانات التي تم تدريبها عليها في الأصل.

قاس الباحثون هذا الاختلاف باستخدام انحراف Jensen-Shannon، وهو مقياس لمدى اختلاف توزيعين احتماليين.

سجل GPT-1914 قيمة قريبة من 0.006 مقارنة بالنص التاريخي الحقيقي، بينما أظهرت مخرجات ChatGPT-4o فجوات أوسع، عند 0.310 و0.350 على التوالي.

استكمال الممر

ثم قامت الورقة بتحقيق ما إذا كان التحفيز الدقيق يمكن أن ينتج نتائج أفضل، حيث يتضمن هذا العملية التأثير المباشر على الأوزان القابلة للاستخدام للنموذج من خلال “استكمال” تدريبه على بيانات محددة من قبل المستخدم – عملية يمكن أن تؤثر على الوظيفة الأساسية الأصلية للنموذج، ولكنها يمكن أن تحسن أدائه بشكل كبير على المجال الذي يتم دفعها إليه أو التأكيد عليه خلال التدريب الدقيق.

في التجربة الأولى للتحفيز الدقيق، قام الفريق بتدريب GPT-4o-mini على حوالي ألفي زوج من استكمال المقاطع من الكتب المنشورة بين 1905 و1914، بهدف رؤية ما إذا كان التحفيز الدقيق على نطاق صغير يمكن أن يshift مخرجات النموذج نحو أسلوب تاريخي أكثر دقة.

باستخدام نفس تصنيف RoBERTa الذي عمل كقاض في الاختبارات السابقة لتقدير “تاريخ” الأسلوب لكل مخرج، وجد الباحثون أن النموذج المُحفز الدقيق أنتج نصًا متوافقًا بشكل وثيق مع الحقيقة الأرضية.

انخفضت الانحراف الأسلوبي من النصوص الأصلية، المقاسة bằng انحراف Jensen-Shannon، إلى 0.002، بشكل عام متوافق مع GPT-1914:

Estimated publication dates for real and generated text, showing how closely GPT‑1914 and a fine-tuned version of GPT‑4o‑mini match the style of early twentieth-century writing (based on books published between 1905 and 1914).

حذر الباحثون من أن هذا المقياس قد يلتقط فقط الميزات السطحية للأسلوب التاريخي، وليس المفاهيم أو الانحرافات الفعلية الأعمق.

‘هذا ليس اختبارًا حساسًا جدًا. نموذج RoBERTa المستخدم هنا كمُحكِم ليس مدربًا على التمييز بين المقاطع الصحيحة والمنحرفة زمنيًا، بل فقط لتحديد التاريخ. ربما يستخدم أدلة أسلوبية خشنة لاتخاذ هذا التنبؤ. قد يكون القراء البشر أو النماذج الأكبر قادرون على اكتشاف محتوى منحرف زمنيًا في مقاطع تبدو “في الفترة” بشكل سطحي.’

اللمسة الإنسانية

أخيرًا، قام الباحثون باختبارات تقييم إنساني باستخدام 250 مقطعة مختارة يدويًا من كتب منشورة بين 1905 و1914، ولاحظوا أن العديد من هذه النصوص سوف تفسر بشكل مختلف اليوم مما كانت عليه في وقت كتابتها:

‘قمنا بتشمل قائمة مدخلات مثل مدخل موسوعي عن ألساس (التي كانت جزءًا من ألمانيا في ذلك الوقت) ومدخل عن مرض البيري بيري (الذي تم تفسيره في ذلك الوقت غالبًا على أنه مرض فطري وليس نقصًا غذائيًا). ‘

‘كما اخترنا مقاطع سوف تظهر فروقًا أكثر دقة في المواقف أو الخطاب أو الخيال. على سبيل المثال، تميل وصفات الأماكن غير الأوروبية في أوائل القرن العشرين إلى الانزلاق إلى التعميم العرقي. وصف شروق القمر في عام 1913 يتخيل ظواهر لونية غنية، لأن لا أحد قد رأى بعد صورًا للعالم بدون غلاف جوي.’

قاموا بإنشاء أسئلة قصيرة يمكن أن تجيب عليها كل مقطعة تاريخية بشكل معقول، ثم قاموا بتحفيز GPT-4o-mini على هذه الزوجات من الأسئلة والإجابات. لتعزيز التقييم، قاموا بتدريب خمسة نسخ منفصلة من النموذج، كل مرة مع إبعاد جزء مختلف من البيانات للاختبار.

迷失 في الزمن

للتقييم كيف يمكن للنماذج محاكاة اللغة التاريخية بشكل مقنع، طلب الباحثون من ثلاثة معلمين خبيرين مراجعة 120 استكمالًا تم إنشاؤها بواسطة الذكاء الاصطناعي، وتحديد ما إذا كان كل واحد يبدو معقولًا لكاتب في عام 1914.

ثبت أن هذا النهج التقييمي المباشر أكثر تحديًا مما كان متوقعًا: على الرغم من أن المعلمين وافقوا على تقييماتهم تقريبًا 80% من الوقت، فإن عدم توازن أحكامهم (مع اختيار “معقول” مرتين أكثر من “غير معقول”) يعني أن مستوى اتفاقهم الفعلي كان معتدلًا فقط، كما مقاس بواسطة نقاط كوهين كابا من 0.554.

وصف المعلمون أنفسهم المهمة بأنها صعبة، غالبًا ما تتطلب بحثًا إضافيًا لتقييم ما إذا كان البيان يتوافق مع ما كان معروفًا أو مؤمنًا به في عام 1914.

أثيرت بعض المقاطع أسئلة صعبة حول النبرة والمنظور – على سبيل المثال، ما إذا كان الرد محدودًا بشكل مناسب في مجاله العالمي ليعكس ما كان سائدًا في عام 1914.

في هذا السياق، كان التحدي هو تحديد ما إذا كان المقطع يعبر عن تحيز ثقافي كافٍ ليكون تاريخيًا معقولًا دون أن يبدو حديثًا أو متعمدًا بشكل واضح.

أظهرت النتائج ترتيبًا واضحًا للنماذج، مع نموذج GPT-4o المُحفز الدقيق الذي تم تقييمه بأنه الأكثر معقولية بشكل عام:

تقييمات المعلمين لمدى معقولية مخرجات كل نموذج

ما إذا كان هذا المستوى من الأداء، الذي تم تقييمه على أنه “معقول” في 80% من الحالات، موثوقًا بما فيه الكفاية لأغراض البحث التاريخي يبقى غير واضح – خاصة وأن الدراسة لم تتضمن مقياسًا أساسيًا لمدى频ة التي قد يتم فيها تصنيف النصوص الفعلية على أنها خاطئة.

إنذار الغريب

ثم جاء “اختبار الغريب”، حيث تم تقديم مقاطع مجهولة الهوية لأربعة من المعلمين الخبراء، ثلاثة منها من النماذج اللغوية، والرابع مقطعة حقيقية من مصدر تاريخي في أوائل القرن العشرين.

كانت المهمة هي تحديد المقطع الأصلي.

هذا النهج لم يطلب من المعلمين تقييم معقولية مباشرة، بل قاس بدلاً من ذلك 얼마 مرة كان النموذج يخدع القراء للاعتقاد بأن مخرجاته كانت حقيقية:

تمت مطابقة ترتيب النماذج مع نتائج مهمة التقييم السابقة: كان نموذج GPT-4o المُحفز الدقيق هو الأكثر اقناعًا بين النماذج، ولكنه لا يزال يفتقر إلى الحقيقي:

تكرار تحديد كل مصدر على أنه المقطع التاريخي الأصلي

كما служ هذا الاختبار كمعيار مفيد، حيث تم تحديد المقطع الحقيقي أكثر من نصف الوقت، оставيًا فجوة ملحوظة بين البروسة الحقيقية والاصطناعية للقراء البشر.

أكد تحليل إحصائي يُعرف باسم اختبار McNemar أن الفروق بين النماذج كانت معنوية، باستثناء حالة النماذج غير المُحفزة (GPT-4o وGPT-4o-mini)، والتي أداءت بشكل مشابه.

مستقبل الماضي

وجد الباحثون أن تحفيز النماذج اللغوية الحديثة لتبني صوت تاريخي لم ينتج نتائج مقنعة بانتظام: أقل من ثلثي المخرجات تم تقييمها على أنها معقولة من قبل القراء البشر، وربما حتى هذا الرقم يُبالغ في الأداء.

في العديد من الحالات، احتوت الاستجابات على إشارات صريحة تشير إلى أن النموذج كان يتكلم من منظور حديث – جمل مثل ‘في عام 1914، لم يكن معروفًا بعد…’ أو ‘حتى عام 1914، لم أكن على دراية به…’ كانت شائعة لدرجة أن تظهر في ما يصل إلى خمس استكمالات.

أشار الباحثون إلى أن:

‘الاداء الضعيف للتعلم في السياق غير سار. هذه هي الطرق الأسهل والأرخص لأبحاث الذكاء الاصطناعي التاريخية. نشدد على أننا لم نستكشف هذه النهج بشكل شامل. ‘

‘قد يُظهر أن التعلم في السياق كافٍ – الآن أو في المستقبل – لمجالات بحث معينة. لكن الأدلة الأولية لدينا ليست مشجعة.’

خلصت الدراسة إلى أن التحفيز الدقيق لنموذج تجاري على مقاطع تاريخية يمكن أن ينتج مخرجات أسلوبية مقنعة بتكلفة منخفضة، ولكنه لا يزال يحتوي على أثر للمنظور الحديث. التدريب المسبق لنموذج بالكامل على مواد من الفترة يمنع الانحرافات الزمنية، ولكنه يتطلب موارد أكبر ويؤدي إلى مخرجات أقل سلاسة.

لا يوفر أي من النهجين حلاً كاملاً، وبدلاً من ذلك، يبدو أن محاكاة الأصوات التاريخية تتضمن تنازلات بين الصحة والاتساق. يخلص الباحثون إلى أن البحث المستمر سوف يكون ضروريًا لتوضيح كيفية التوجه بأفضل شكل لمواجهة هذا التوتر.

الخلاصة

ربما واحدة من أكثر الأسئلة إثارة للاهتمام التي تطرحها الورقة الجديدة هي مسألة الصحة. بينما لا تُعد هذه الأدوات مثالية، فإن وظائف الخسارة والقياسات مثل LPIPS وSSIM تمنح باحثي الرؤية كمетодولوجيا مثل-ل-مثل لتقييم ضد الحقيقة الأرضية.

عند إنشاء نص جديد بالنمط الخاص بفترة سابقة، على النقيض من ذلك، لا يوجد حقيقة أرضية – فقط محاولة للعيش في منظور ثقافي منتهي. محاولة إعادة بناء ذلك العقل من آثار أدبية هي بحد ذاتها عملية الكمية، حيث إن هذه الآثار ليست سوى أدلة، في حين أن الوعي الثقافي الذي تنشأ منه يبقى خارج الاستدلال، وربما خارجه.

على مستوى عملي أيضًا، أسس النماذج اللغوية الحديثة، التي تشكلت من المعايير والبيانات الحديثة، تتهدد بإعادة تفسير أو كبت الأفكار التي كانت لتظهر معقولة أو غير ملحوظة لمقروء إدواردية، ولكنها الآن تسجل كأثر (غالبًا ما يكون مسيئًا) من التحيز أو عدم المساواة أو الظلم. يطرح السؤال، بالتالي، حتى لو تمكنا من إنشاء مثل هذا الحوار، ما إذا كان قد يبعث على الاشمئزاز.

نشرت لأول مرة يوم الجمعة، 2 مايو 2025