تطرح Pathway تمويلًا جديدًا بقيمة 500 مليون دولار لتوسيع الذكاء الاصطناعي بعد Transformer

حصلت شركة أبحاث الذكاء الاصطناعي Pathway على تمويل إضافي بقيمة 500 مليون دولار، مما رفع التمويل الكلي لمرحلة البذور إلى 30 مليون دولار، حيث تستعد لتحسين جيل جديد من النماذج المبنية على بنية ما بعد Transformer.

يشمل التمويل مشاركة من Id4 Ventures و TQ Ventures و Red Bridge Ventures و Kadmos Capital و WS Investment Co.، ذراع الاستثمار في Wilson Sonsini، إلى جانب Jonathan Frankle، رئيس科学ي الذكاء الاصطناعي في Databricks. وقالت Pathway إن معظم رأس المال الجديد سوف يُستخدم لتوسيع قدرة الحوسبة، بما في ذلك أنظمة NVIDIA GB300.

يأتي الاستثمار مع نتائج جديدة لنموذج Reasoning BDH-CQ من Pathway، مما يعطي التمويل خلفية تقنية أكثر صلابة من وعد ببساطة ببناء نماذج أساسية أكبر.

وصل التمويل مع رهان Pathway على Scaling القوة الغاشمة

تركز معظم سباق النماذج الحدودية الحالية على الحجم: مجموعات أكبر، ومزيد من بيانات التدريب، ومزيد من المعلمات، ومزيد من كميات الحوسبة في وقت الاختبار. وتتبع Pathway نهجًا مختلفًا، بحجة أن بعض قيود التكلفة والذاكرة في الصناعة هي مشاكل بنيوية وليست مشاكل يمكن حلها بشكل غير محدد bằng إضافة المزيد من الحوسبة.

تعتمد هذه الأطروحة على بنية BDH، أو Dragon Hatchling. تصف Pathway BDH على أنها تصميم ما بعد Transformer يهدف إلى الجمع بين العقلانية والذاكرة والتكيف داخل النموذج نفسه بدلاً من الاعتماد بشكل رئيسي على نافذة سياق متزايدة أو أنظمة ذاكرة خارجية.

تستند البنية على أفكار تشمل الحالة المستدامة والنشاط النادر والتفاعلات المحلية والتكيف المستمر. تصف Pathway التصميم على أنه ملهم بيولوجيًا وليس محاولة لتحديد كيفية عمل الدماغ.

يمنح التمويل الجديد للشركة موارد إضافية لاختبار ما إذا كانت تلك الخصائص تظل سارية عندما تصبح نماذج BDH أكبر بشكل كبير.

تضيف Pathway أيضًا آدم كورزروك كمسؤول أول لل产品. كان كورزروك مديرًا للمنتج في Gemini في Google DeepMind وسوف يقود اتجاه المنتج حول توجيه وتقييم ونشر نماذج بناءً على BDH.

تؤسس الشركة أيضًا مجموعة استشارية تشمل Łukasz Kaiser، مبتكر Transformer، و Frankle، وأستاذ NYU Martín Farach-Colton، والاقتصادي Jacques Attali.

ما يجعل BDH-CQ مختلفًا

BDH-CQ هو امتداد لبنية BDH الأوسع نطاقًا المصممة حول التعلم في السياق والاستدلال اللاتنسي المتكرر.

بدلاً من треб نموذج لتعبير الكثير من التفكير الوسيط ك نص مولد، يقوم BDH-CQ بالحساب التكراري داخل مساحة لاتنتية متواصلة. يتم تحديث حالة الذاكرة المتكررة بواسطة الأمثلة الموردة أثناء الاستدلال، وبعد ذلك يعمل النظام من خلال المشكلة الجديدة داخليًا قبل فك الشفرة لجوابه. تظل معلمات النموذج ثابتة خلال هذه العملية.

هذا الأمر مهم لأن العقلانية القائمة على الرموز يمكن أن تصبح مكلفة مع طول مسارات التفكير. في النهج التقليدية لسلسلة الأفكار، يتم توليد الخطوات الوسيطية بشكل متسلسل ثم إعادة تغذيتها إلى مراحل لاحقة من عملية التفكير.

BDH-CQ مصمم للاحتفاظ بالمزيد من هذا الحساب داخل حالته الداخلية بدلاً من ترجمة كل خطوة حسابية وسيطة إلى نص.

لا يعني هذا أن العقلانية القائمة على اللغة أصبحت عفا عليها الزمن. بل Pathway تجربة ما إذا كانت بعض أحمال العمل العقلانية يمكن التعامل معها بشكل أكثر كفاءة دون الحاجة إلى كل خطوة حسابية وسيطة لتكون مسلسلة ك نص.

ARC-AGI Results يضع كفاءة التكلفة في المركز

النتيجة الأكثر إثارة للاهتمام المرافقة للتمويل تأتي من ARC-AGI-1، وهو معيار مصمم لاختبار ما إذا كانت أنظمة الذكاء الاصطناعي قادرة على استنتاج التحويلات من عدد صغير من الأمثلة وتطبيق هذه القواعد على مدخلات غير موصلة.

حقق نموذج BDH-CQ ذو 150 مليون معلمة نسبة نجاح 29.5٪ في مجموعة التقييم العامة ARC-AGI-1.

تُقدر التقييم الفني أن كل مهمة استغرق حوالي 0.85 ثانية من وقت وحدة معالجة الرسومات NVIDIA H200، مما ي相当 تكلفة تقريبية قدرها 0.00070 دولار لكل مهمة.

تؤكد Pathway أن هذا يضع BDH-CQ خارج الحد الأقصى السابق المبلغ عنه لمنحنى كفاءة التكلفة مقابل الدقة ل ARC-AGI-1.

الأهمية ليست أن نموذج 150 مليون معلمة يحقق الآن أعلى درجة ARC المطلقة. بعض أنظمة العقلانية الأكبر تُحقق درجات أعلى. بدلاً من ذلك، تركز Pathway على مقدار أداء العقلانية الذي يمكن أن يقدمه النموذج لكل دولار من إنفاق الاستدلال.

قد يصبح هذا الأمر مهمًا بشكل متزايد مع انتقال المؤسسات لأنظمة الذكاء الاصطناعي من التفاعلات النادرة مع بوت الدردشة إلى وكلاء وأنظمة أخرى قد تقوم بعدد كبير من عمليات العقلانية بشكل مستمر.

النتائج الفنية تظهر أيضًا أين يجد BDH-CQ صعوبات

يقدم التقييم الأوسع صورة أكثر دقة من الرقم القياسي الرئيسي.

على ConceptARC، الذي يفصل مشاكل العقلانية إلى فئات مفهومية مختلفة، تباين أداء BDH-CQ بشكل كبير. أدى بشكل جيد بشكل خاص في العديد من المهام التي تتضمن تمديد الحدود والتمييز بين المناطق الممتلئة وغير الممتلئة، في حين أثبتت المجالات التي تتضمن النسخ والترتيب أنها أكثر صعوبة.

أنتجت التجارب المراقبة نمطًا مشابهًا.

بقيت انتشار الحدود والنسخ دقيقين مع تمديد هذه العمليات داخل النطاقات المُختبرة. تدهورت الأداء بشكل أكثر أهمية مع طول تسلسلات الترتيب. أصبحت المشاكل العلاقية المتداخلة أكثر صعوبة بمجرد زيادة عمق التضمين المطلوب.

وجد الباحثون أيضًا أن توفير عروض أقرب إلى تعقيد المشكلة المستهدفة يمكن أن يحسن الأداء بشكل كبير في بعض الحالات، مما يشير إلى أن جزءًا من القصور يتعلق بكيفية استطاعة النظام الاستفادة من الأمثلة التي يتلقاها.

تكون هذه الضعف مهمة لأن ARC-AGI يظل معيارًا متخصصًا للعقلانية البصرية. لا تُظهر القوة الكفائية للتكلفة على ARC أن البنية نفسها يمكن أن تتفوق على نماذج اللغة العامة في حمولات الإنتاج.

بدلاً من ذلك، توفر النتائج أدلة على فكرة أضيق ولكنها قد تكون مهمة: قد لا تتطلب القدرات العقلانية المتقدمة دائمًا أعدادًا هائلة من المعلمات أو تسلسلات طويلة من رموز العقلانية المولدة.

Pathway تبني أيضًا بنية تحتية لذكاء الوقت الحقيقي

سبقت أعمال Pathway دفعها إلى نماذج ما بعد Transformer. إلى جانب BDH، تطور الشركة إطارًا لprocessing البيانات يهدف إلى بيانات التدفق، والتحليلات في الوقت الفعلي، وتطبيقات نماذج اللغة الكبيرة، والجيل المعزز بالاسترجاع.

تم تصميم المنصة لمساعدة أنظمة الذكاء الاصطناعي على العمل مع المعلومات التي تتغير باستمرار بدلاً من الاعتماد بشكل كامل على مجموعات البيانات الثابتة أو الفهارس التي يتم إعادة بناؤها بشكل دوري.

يتوافق خلفية البنية التحتية بشكل وثيق مع اتجاه البحث العام لشركة Pathway. تركز تقنياتها الحالية على الحفاظ على تطبيقات الذكاء الاصطناعي متزامنة مع البيانات الخارجية المتغيرة، في حين تستكشف BDH ما إذا كانت الذاكرة والتعديل يمكن أن تصبح بشكل متزايد سمات البنية نفسها.

قد يكون هذا الأمر مهمًا لأنظمة الوكلاء وأي نظام يعمل لمدة طويلة ويحتاج إلى الحفاظ على الحالة أثناء الاستجابة للمعلومات الجديدة على مدى فترات زمنية طويلة.

ماذا يأتي بعد ذلك لشركة Pathway

تعتزم شركة Pathway استخدام رأس المال الجديد لزيادة سعة النموذج وتدريب أنظمة BDH أكثر قدرة على العمل.

يتضمن خططها تطوير العقلانية الرياضية وARC-AGI-2 وARC-AGI-3، بالإضافة إلى تطوير نموذج لغة كبير يدمج العقلانية اللاتنتية.

تقول الشركة إن تجارب ما قبل التدريب المبكرة على مستويات تتراوح من 1 مليار إلى 600 مليار معلمة أظهرت سلوكًا متسلسلاً مشابهًا للنماذج Transformer مع الحفاظ على الخصائص المرتبطة bằng العقلانية اللاتنتية لمنهج BDH.

يظل هذا إشارة مبكرة وليس دليلًا على أن مزايا البنية سوف تظل سارية عبر النماذج الكبيرة والشاملة.

تستهدف شركة Pathway في النهاية مجالات مثل الخدمات المالية والرعاية الصحية والتكنولوجيا، حيث قد تصبح الذاكرة المستدامة والمعلومات المتغيرة وتكلفة الاستدلال مهمة بشكل خاص مع انتقال أنظمة الذكاء الاصطناعي نحو سير عمل أطول.

للمرة الحالية، يمثل التمويل البالغ 500 مليون دولار رهانًا كبيرًا على بديل لاستراتيجية التوسع السائدة في الصناعة. سوف يأتي الاختبار الأكثر أهمية عندما تتحرك شركة Pathway BDH إلى ما وراء معايير العقلانية المحكومة بشكل معقول وتثبت ما إذا كانت مزايا البنية سوف تظل سارية عبر اللغة والرياضيات والوكلاء والتطبيقات العملية.