ديب مايند تكتشف تقنية تدريب أيه آي قد تعمل أيضًا في أدمغتنا

ديب مايند نشرت مؤخرًا ورقة تفصيل كيفية تطوير نوع جديد من تعلم التعزيز يمكن أن يفسر كيفية عمل مسارات المكافأة داخل الدماغ البشري. كما ذكر موقع NewScientist ، طريقة تدريب التعلم الآلي تسمى تعلم التعزيز التوزيعي ويبدو أن الآليات وراءها تفسر بشكل معقول كيفية إطلاق الدوبامين من قبل الخلايا العصبية في الدماغ.

العلوم العصبية وعلوم الحاسوب لديها تاريخ طويل معًا. منذ عام 1951 ، استخدم مارفن مينسكي نظامًا من المكافآت والعقوبات لإنشاء برنامج حاسوبي قادر على حل متاهة. كان مينسكي مستوحى من عمل إيفان بافلوف ، عالم وظائف الأعضاء الذي أظهر أن الكلاب يمكنها التعلم من خلال سلسلة من المكافآت والعقوبات. تساهم ورقة ديب مايند الجديدة في التاريخ المتشابك للعلوم العصبية وعلوم الحاسوب من خلال تطبيق نوع من تعلم التعزيز للحصول على رؤى حول كيفية عمل الخلايا العصبية للدوبامين.

كلما كان شخص أو حيوان على وشك القيام بفعل ، فإن مجموعات الخلايا العصبية في دماغه المسؤولة عن إطلاق الدوبامين تقدم تنبؤًا حول مدى مكافأة الفعل. بمجرد أن يتم الفعل ويتضح عواقبه (المكافآت) ، يطلق الدماغ الدوبامين. ومع ذلك ، يتم تحجيم إطلاق الدوبامين وفقًا لحجم خطأ التنبؤ. إذا كانت المكافأة أكبر / أفضل مما كان متوقعًا ، يتم إطلاق دفقة أقوى من الدوبامين. في المقابل ، تؤدي مكافأة أسوأ إلى إطلاق كمية أقل من الدوبامين. يعمل الدوبامين كدالة تصحيحية تجعل الخلايا العصبية ت调 تنبؤاتها حتى تتقارب على المكافآت الفعلية المكتسبة. هذا مشابه جدًا لطريقة عمل خوارزميات تعلم التعزيز.

في عام 2017 ، أصدر باحثو ديب مايند إصدارًا محسّنًا من خوارزمية تعلم التعزيز الشائعة ، وتمكنت هذه الطريقة التعلمية الأفضل من تحسين الأداء على العديد من مهام تعلم التعزيز. اعتقد فريق ديب مايند أن الآليات وراء الخوارزمية الجديدة يمكن استخدامها لشرح كيفية عمل الخلايا العصبية للدوبامين في الدماغ البشري.

على عكس خوارزميات تعلم التعزيز القديمة ، تمثل خوارزمية ديب مايند الجديدة المكافآت كتوزيع. تمثلت نهجات تعلم التعزيز القديمة المكافآت المتوقعة كعدد واحد فقط يمثل النتيجة المتوقعة المتوسطة. سمح هذا التغيير للنموذج بتمثيل المكافآت المحتملة بشكل أكثر دقة وأداء أفضل نتيجة لذلك. أدى الأداء الأفضل لطريقة التدريب الجديدة إلى حث باحثي ديب مايند على التحقيق فيما إذا تعمل الخلايا العصبية للدوبامين في الدماغ البشري بطريقة مماثلة.

为了調查 دوپامين الخلايا العصبية ، تعاون ديب مايند مع جامعة هارفارد لتحقيق النشاط دوپامين الخلايا العصبية في الفئران. سُمح للفئران بأداء مهام مختلفة ومنحتهم مكافآت بناءً على لفّ النرد ، وسجلوا كيف يتم إطلاق دوپامين الخلايا العصبية. يبدو أن الخلايا العصبية المختلفة تنبأت بنتائج محتملة مختلفة ، وإطلاق كميات مختلفة من الدوبامين. تنبأت بعض الخلايا العصبية بنتائج أقل من المكافأة الفعلية ، في حين تنبأت خلايا أخرى بمكافآت أعلى من المكافأة الفعلية. بعد رسم توزيع تنبؤات المكافأة ، وجد الباحثون أن توزيع التنبؤات كان قريبًا جدًا من توزيع المكافأة الحقيقي. هذا يشير إلى أن الدماغ يستخدم نظامًا توزيعيًا عند إجراء التنبؤات وتعديل التنبؤات لتحسين مطابقتها للواقع.

يمكن أن ي告ي هذا الدراسة كلاً من العلوم العصبية وعلوم الحاسوب. تدعم الدراسة استخدام تعلم التعزيز التوزيعي كطريقة لإنشاء نماذج أيه آي أكثر تقدمًا. إلى جانب ذلك ، يمكن أن يكون لها آثار على نظرياتنا حول كيفية عمل الدماغ فيما يتعلق بأنظمة المكافأة. إذا كانت الخلايا العصبية للدوبامين موزعة وبعضها أكثر تشاؤمًا أو تفاؤمًا من غيرها ، يمكن أن يغير فهم هذه التوزيعات طريقة 접근نا لموضوعات مثل الصحة النفسية والتحفيز في علم النفس.

كما ذكر موقع MIT Technology View ، أشار مات بوتفينيك ، مدير أبحاث العلوم العصبية في ديب مايند ، إلى أهمية النتائج في مؤتمر صحفي. قال بوتفينيك:

“إذا كان الدماغ يستخدمه ، فمن المحتمل أن يكون فكرة جيدة. إنه يخبرنا بأن هذه تقنية حسابية يمكن أن تتناسب مع الحالات الواقعية. سوف تتطابق جيدًا مع العمليات الحسابية الأخرى. إنه يعطينا منظورًا جديدًا حول ما يحدث في أدمغتنا خلال الحياة اليومية”