نماذج ومنصات الذكاء الاصطناعي
تقدّم OpenAI معيار MedChemBench للاستدلال في الكيمياء الطبية

النقاط الرئيسيةيكشف MedChemBench عن فجوة بين إعادة بناء الجزيئات واختيار المركبات التي يجب تطويرها.
عرض المزيد
- يكشف MedChemBench عن فجوة بين إعادة بناء الجزيئات واختيار المركبات التي يجب تطويرها.
- حصل GPT-6 Astra على 95.37% من رصيد البنية الجزيئية لكن 50.42% فقط في الترتيب واختيار المرشحين.
- تعترف OpenAI بأن المعيار يقترب من التشبع ولا يمكنه إثبات أن النماذج تحسّن قرارات اكتشاف الأدوية الحقيقية.
قدّمت OpenAI معيار MedChemBench، وهو معيار للكيمياء الطبية يضم 99 مسألة، في 20 نوفمبر 2026، وأفادت بأن GPT-6.2 Astra حصل على 84.5% من الرصيد المتاح عند ضبط جهد الاستدلال على xhigh. ويختبر المعيار قدرة النماذج على الربط بين البنى الجزيئية والأدلة التجريبية لتفسير النتائج، ومقارنة المركبات، والتنبؤ بخصائصها.
أما درجات xhigh الأخرى المُعلَن عنها، فكانت 83.3% لـ GPT-6 Astra، و82.0% لـ GPT-6.1 Sol، و58.2% لـ GPT-5.6 Sol. ويتناول المعيار صعوبة أساسية في الكيمياء الطبية: فقد يكون المركب فعّالًا ضد بروتين مرتبط بمرض، لكنه ضعيف الامتصاص أو سريع الاستقلاب أكثر من اللازم. لذا يتطلب اختيار ما ينبغي اختباره لاحقًا الموازنة بين خصائص متنافسة، بدلًا من تحسين مقياس واحد.
كيف يُعدّ MedChemBench المهام ويقيّمها
تعرض الورقة التقنية مجموعةً استرجاعية من المهام المستمدة من 117 ورقة بحثية وبراءة اختراع، وتضم 761 بنية جزيئية مختلفة خضعت للتقييم. وتتوقف المطالبات عمومًا عند نقطة قرار محددة في برنامج بحثي، مع تقديم السياق البيولوجي والمركبات السابقة ونتائج تجريبية مختارة. أما النتائج اللاحقة، فتُحجب للاستعانة بها في إعداد الإجابات المرجعية ومعايير التقييم.
تغطي المهام اكتشاف الأدوية قبل السريرية، لا التطوير السريري، ضمن سبع فئات. وتشمل هذه الفئات اختيار المركبات الرائدة المتكامل، مع 48 مهمة؛ والتنبؤ بالعلاقة بين البنية والنشاط، مع 26 مهمة؛ ومجموعات أصغر تتناول ADME (الامتصاص والتوزيع والاستقلاب والإطراح) وإيصال الدواء، وتصميم الجزيئات وتعدادها، والسلامة ومواطن الخطورة، والتخليق الرجعي، وبيولوجيا الاختبارات وآليات عملها. وتمتد 85 مهمة إلى أكثر من مجال واحد من مجالات المحتوى العلمي، بما يعكس اعتماد اختيار المركب الرائد في الوقت نفسه على الفعالية والانتقائية والاختبارات الخلوية والاستقلاب والتعرّض والسلامة.
تطلب إحدى المسائل المتعلقة ببروتين PRMT5، الذي يُدرس في سياق اكتشاف أدوية السرطان، من النماذج إعادة بناء ثلاثة مركبات مترابطة والتنبؤ بفعاليتها الخلوية ونفاذيتها وتدفّقها إلى الخارج وتصفية الجسم لها بواسطة الإنزيمات المجهرية الكبدية البشرية. وتوضح النتائج المحجوبة المفاضلة بين الخصائص: فقد كان المركب 23 أشد فعالية في الخلايا، بينما اجتاز المركب 24 حاجزًا خلويًا بسهولة أكبر وتحلل ببطء أكثر في اختبار إنزيمات الكبد.
يجمع التقييم بين اختبارات حتمية ومعايير تُقيّمها النماذج. وتمثل البنية الجزيئية والتعليل العلمي 37.49% و35.78% من الرصيد المتاح، على التوالي؛ فيما يمثل الترتيب واختيار المرشحين 17.51%، والتنبؤ العددي أو الفئوي 8.92%. وبالنسبة إلى البنى، يحوّل RDKit صيغ SMILES المقدّمة، وهي تمثيل نصي للرسوم البيانية الجزيئية، إلى صيغة متماكبة معيارية مع الحفاظ على الكيمياء الفراغية والنظائر. وتحصل التنبؤات العددية عمومًا على رصيد جزئي استنادًا إلى خطأ أضعاف القيمة، في حين يقيّم مُحكّم منفصل هو GPT-6 Astra، عند مستوى متوسط من جهد الاستدلال، معايير التعليل العلمي بدرجة صفر أو نصف الرصيد أو الرصيد كاملًا.
نتائج المكوّنات وأخطاء البنية
تورد الورقة 60,390 استجابة خضعت للتقييم عبر 11 نموذجًا من GPT و61 حالة تجمع بين النموذج ومستوى الجهد، مع الاحتفاظ بعشر استجابات لكل مهمة في كل حالة. ولا يُعد GPT-6.2 Astra من بين هذه النماذج الإحدى عشرة؛ إذ تستند نتيجته إلى الإعلان.
عند مستوى xhigh، تذكر الورقة أن GPT-6 Astra حصل على 95.37% من رصيد البنية الجزيئية المتاح و91.05% من رصيد التعليل العلمي، مقارنةً بـ 50.42% للترتيب واختيار المرشحين و47.02% للتنبؤ العددي. وتغطي هذه المكوّنات مهامًا مختلفة تنطبق عليها قواعد تقييم مختلفة، لكن النتائج تميّز بين الأداء القوي في إعادة البناء والتفسير، والأداء الأضعف في اختيار المركبات والتنبؤ الكمي.
تُظهر مهمة إعادة بناء موصوفة في الورقة بوضوح الفروق البنيوية. فقد طُلب من النماذج تركيب جزيء انطلاقًا من بنية مركزية ومجموعتين ملحقتين، مع الحفاظ على حلقة مكوّنة من 18 ذرة. وأنتج GPT-6 Astra المركب الصحيح في الاستجابات العشر كلها عند مستوى xhigh، بينما أخفق GPT-5.6 Sol وGPT-5.6 Luna في الاستجابات العشر لكل منهما. واحتوت إجابة Sol المعروضة على حلقة مكوّنة من 15 ذرة، في حين أعاد Luna شظيتين منفصلتين. وتغيّر مثل هذه الأخطاء هوية الجزيء قبل بدء أي استدلال بشأن خصائصه.
القيود والتوسعات المقترحة
توضح OpenAI أن الدرجات لا تثبت قدرة النماذج على اكتشاف أدوية جديدة أو تحسين القرارات المختبرية. فقد كانت كل إجابة محاولة واحدة من دون أدوات أو تغذية راجعة أو تجارب جديدة، واستندت المهام إلى أدلة تاريخية لا إلى اكتشاف مستقبلي. كما لا يمكن استبعاد اطّلاع النماذج مسبقًا على المصادر المنشورة.
ولإجراء اختبار استدلالي، أضاف المؤلفون معرّفات DOI للمصادر أو أرقام براءات الاختراع إلى المطالبات الـ99 كلها، وذلك لتسعة نماذج عند مستوى xhigh. وتراوحت التغيرات المتوسطة في الدرجة الإجمالية بين انخفاض قدره 0.23 نقطة مئوية وارتفاع قدره 0.80 نقطة، وشمل فاصل الثقة 95% لكل نموذج الصفر. ولا يمكن لهذا الاختبار إثبات ما إذا كانت المواد المصدرية قد ظهرت في بيانات التدريب.
تصف الورقة MedChemBench بأنه يقترب من التشبّع بصيغته الحالية، وتشير إلى أن تقييم التصميم والتخليق المفتوحَي النهاية لا يزال مرتبطًا جزئيًا بالإجابات المرجعية، ما قد يؤدي إلى معاقبة البدائل المعقولة. وتشمل التوسعات المقترحة حالات استشرافية، وتحكيم الخبراء في الإجابات البديلة، والتناول الصريح لعدم اليقين في الاختبارات، ومسارًا قائمًا على الوكلاء يتيح الاسترجاع والحساب والتحقق من البنية ومراجعة الإجابات على خطوات متعددة.
لذلك، يفصل MedChemBench بين الفهم الكيميائي والأثر المثبت في اكتشاف الأدوية. وتتمثل أبرز نتائجه في إعادة بناء مسائل تاريخية محددة وشرحها، في حين يتأخر أداؤه في اختيار المركبات والتنبؤات العددية. وتعالج التقييمات المستقبلية والقائمة على الوكلاء السؤال المفتوح الناجم عن ذلك: هل تستطيع النماذج اتخاذ قرارات بحثية أفضل عندما يتعين عليها جمع الأدلة وحساب الخصائص ومراجعة إجاباتها على مراحل متعددة؟












