مقابلات

أندرو فيلدمان، المؤسس المشارك والرئيس التنفيذي لشركة Cerebras Systems – سلسلة المقابلات

Antoine Tardif
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةبنت سيربراس محركًا بحجم رقاقة كاملة للتحرر من مشقة الحوسبة الموزعة في عناقيد وحدات…
عرض المزيد
  • بنت سيربراس محركًا بحجم رقاقة كاملة للتحرر من مشقة الحوسبة الموزعة في عناقيد وحدات معالجة الرسومات.
  • أظهرت أندروميدا توسعًا خطيًا شبه مثالي تعجز الحواسيب الفائقة التقليدية عن تحقيقه.
  • ترى سيربراس أن فوائد قانون مور تتحقق الآن بوتيرة أبطأ وتكلفة أعلى، لذا تنقل الرقائق الأكبر بيانات أقل خارج الرقاقة.

أندرو هو المؤسس المشارك والرئيس التنفيذي لشركة Cerebras Systems (CBRS ). وهو رائد أعمال مخصص لتحدي الحدود في مجال الحوسبة. قبل شركة Cerebras، كان المؤسس المشارك والرئيس التنفيذي لشركة SeaMicro، رائدة في مجال الخوادم المايكروية ذات الكفاءة في استهلاك الطاقة وذات النطاق الترددي العالي. تم الاستحواذ على شركة SeaMicro من قبل AMD في عام 2012 مقابل 357 مليون دولار. قبل شركة SeaMicro، كان أندرو نائب الرئيس لإدارة المنتجات والتسويق والتنمية التجارية في شركة Force10 Networks، والتي تم بيعها لاحقًا لشركة Dell Computing مقابل 800 مليون دولار. قبل شركة Force10 Networks، كان أندرو نائب الرئيس للتسويق وتطوير الأعمال في شركة RiverStone Networks من بداية الشركة حتى الاكتتاب العام في عام 2001. يحمل أندرو شهادة البكالوريوس ودرجة الماجستير في إدارة الأعمال من جامعة ستانفورد.

تعتبر شركة Cerebras Systems شركة تعمل على بناء فئة جديدة من أنظمة الحاسوب، مصممة من البداية لتحقيق هدف واحد هو تسريع الذكاء الاصطناعي وتغيير مستقبل عمل الذكاء الاصطناعي.

يمكنك مشاركة قصة نشأة شركة Cerebras Systems؟

عملت مع المؤسسين المشاركين الآخرين في شركة SeaMicro التي أسستها أنا ومدير التكنولوجيا لدينا غاري في2007، والتي بيعت لشركة AMD في عام 2012 مقابل 334 مليون دولار. المؤسسون المشاركون معي هم بعض أبرز المهندسين والمصممين الحاسوبيين في الصناعة – غاري لوتيرباخ، شون لي، جاي بي فريكر ومايكل جيمس. عندما اجتمعت معهم مرة أخرى في عام 2015، كتبنا شيئين على لوح أبيض – أننا نريد العمل معًا، وأننا نريد بناء شيء يغير الصناعة ويدخل متحف تاريخ الحاسوب، وهو ما يعادل قاعة مشاهير الحاسوب. تشرّفنا عندما أدرج متحف تاريخ الحاسوب إنجازاتنا وأضاف معالج WSE-2 إلى مجموعته في العام الماضي، مشيرًا إلى كيف غير ذلك منظر الذكاء الاصطناعي.

تعتبر شركة Cerebras Systems فريقًا من رواد الهندسة الحاسوبية، وعلماء الحاسوب، وباحثي التعلم العميق، ومهندسي جميع الأنواع الذين يحبون القيام بالهندسة الجريئة. كان هدفنا عندما اجتمعت معًا هو بناء حاسوب جديد لتعزيز التعلم العميق، الذي أصبح واحدًا من أهم حمولات العمل في وقتنا.

لقد أدركنا أن التعلم العميق له متطلبات حسابية فريدة وضخمة ومتزايدة. وليس متوافقًا بشكل جيد مع الآلات التقليدية مثل وحدات معالجة الرسومات (GPUs)، والتي تم تصميمها في الأساس لأعمال أخرى. ونتيجة لذلك، تتقيّد قدرات الذكاء الاصطناعي اليوم لا بسبب التطبيقات أو الأفكار، ولكن بسبب توافر الحوسبة. يمكن أن يستغرق اختبار فرضية جديدة – تدريب نموذج جديد – أيامًا أو أسابيع أو حتى أشهر وتكلف مئات الآلاف من الدولارات في وقت الحوسبة. وهذا حجر عثرة كبير للابتكار.

لذلك كانت بداية شركة Cerebras هي بناء نوع جديد من الحاسوب مُحسَّن حصريًا للتعلم العميق، بدءًا من ورقة نظيفة. لتحقيق المتطلبات الحسابية الهائلة للتعلم العميق، قمنا بتصميم وتصنيع أكبر شريحة تم بناؤها على الإطلاق – محرك على مستوى الرقاقة (WSE). في إنشاء أول معالج على مستوى الرقاقة في العالم، قمنا بتحقيق تحديات عبر التصميم والتصنيع والتغليف – كلها كانت تعتبر مستحيلة لمدة 70 عامًا من تاريخ الحواسيب. تم تصميم كل عنصر من عناصر WSE لتمكين أبحاث التعلم العميق بسرعات غير مسبوقة ومقياس، مما يزوّد أسرع حاسوب فائق للذكاء الاصطناعي في الصناعة، وهو نظام Cerebras CS-2.

مع كل مكون مُحسَّن لعمل الذكاء الاصطناعي، يوفر نظام CS-2 أداء حوسبي أفضل في مساحة أقل وطاقة أقل من أي نظام آخر. وهو يفعل ذلك مع تقليل تعقيد البرمجة بشكل كبير، وزمن الحوسبة الفعلي، ووقت الحل. اعتمادًا على حمولة العمل، من الذكاء الاصطناعي إلى الحوسبة الفائقة، يوفر نظام CS-2 أداءً بمئات أو آلاف المرات أكثر من البدائل التقليدية. يوفر نظام CS-2 موارد حوسبية للتعلم العميق تعادل مئات وحدات معالجة الرسومات (GPUs)، مع توفير سهولة البرمجة والإدارة والتشغيل مثل جهاز واحد.

في الأشهر القليلة الماضية، يبدو أن شركة Cerebras موجودة في كل مكان في الأخبار، ماذا يمكنك أن تخبرنا عنه فيما يتعلق بجهاز Andromeda الجديد؟

أعلنا عن جهاز Andromeda في نوفمبر من العام الماضي، وهو واحد من أسرع وأقوى حواسيب الذكاء الاصطناعي على الإطلاق. يوفر أكثر من 1 إكسافلوب من حوسبة الذكاء الاصطناعي و 120 بيتافلوب من الحوسبة الكثيفة، ويحتوي جهاز Andromeda على 13.5 مليون نواة عبر 16 نظام CS-2، وهو الحاسوب الفائق الوحيد للذكاء الاصطناعي الذي أظهر توسعًا خطيًا شبه مثالي على حمولات نماذج اللغة الكبيرة. كما أنه بسيط الاستخدام.

من خلال التذكير، فإن أكبر حاسوب فائق على الأرض – Frontier – يحتوي على 8.7 مليون نواة. في العدد الإجمالي للنواة، جهاز Andromeda أكبر بأكثر من مرة ونصف. إنه يفعل عملًا مختلفًا بالطبع، ولكن هذا يعطي فكرة عن النطاق: ما يقرب من 100 تيرابيت من النطاق الترددي الداخلي، و 20,000 نواة Epyc من AMD تغذيها، ومختلف عن الحواسيب الفائقة العملاقة التي تأخذ سنوات للتشغيل – قمنا بتشغيل جهاز Andromeda في ثلاثة أيام وبعد ذلك مباشرة، كان يُقدم توسعًا خطيًا شبه مثالي للذكاء الاصطناعي.

كان مختبر Argonne الوطني أول عميل لنا يستخدم جهاز Andromeda، وقام بتطبيقه على مشكلة كانت تعجز عن معالجتها عنقودة تضم 2000 وحدة معالجة رسومات (GPU) يُدعى Polaris. كانت المشكلة تتمثل في تشغيل نماذج توليدية GPT-3XL الكبيرة جدًا، مع وضع الجينوم الكامل للفيروس التاجي في نافذة التسلسل، بحيث يمكن تحليل كل جين في سياق الجينوم الكامل للفيروس التاجي. قام جهاز Andromeda بتشغيل حمولة جينية فريدة مع أطوال تسلسل طويلة (MSL من 10K) عبر 1 و 2 و 4 و 8 و 16 عقدة، مع توسع خطي شبه مثالي. التوسع الخطي هو واحد من أكثر السمات المطلوبة للحواسيب الفائقة الكبيرة. وقدم جهاز Andromeda 15.87 مرة من الإنتاجية عبر 16 نظام CS-2، مقارنة بنظام CS-2 واحد، وتقليل وقت التدريب ليتوافق.

يمكنك أن تخبرنا عن الشراكة مع Jasper التي تم الكشف عنها في أواخر نوفمبر وماذا تعني هذه الشراكة لكلا الشركات؟

شركة Jasper هي شركة مثيرة للاهتمام جدًا. وهي رائدة في مجال المحتوى التوليدي للذكاء الاصطناعي للتسويق، وتستخدم منتجاتها أكثر من 100,000 عميل حول العالم لكتابة نصوص التسويق والإعلانات والكتب والمزيد. إنه مجال مثير ومتنامي بسرعة جدًا الآن. في العام الماضي، أعلنا عن شراكة معهم لتسريع تبني وتحسين دقة الذكاء الاصطناعي التوليدي عبر التطبيقات التجارية والاستهلاكية. تستخدم شركة Jasper جهاز Andromeda الفائق لتدريب نماذجها الحسابية الكثيفة جدًا في جزء من الوقت. هذا سوف يوسع نطاق نماذج الذكاء الاصطناعي التوليدي إلى الجماهير.

بفضل قوة جهاز Andromeda الفائق، يمكن لشركة Jasper التقدم بشكل كبير في عمل الذكاء الاصطناعي، بما في ذلك تدريب شبكات GPT لتناسب مخرجات الذكاء الاصطناعي لجميع مستويات تعقيد وضبط المستخدم. هذا يحسن دقة السياق لنماذج التوليد وسيسمح لشركة Jasper بتخصيص المحتوى بسرعة وبسهولة عبر فئات متعددة من العملاء.

تسمح لنا شراكتنا لشركة Jasper باختراع مستقبل الذكاء الاصطناعي التوليدي، من خلال القيام بأشياء غير عملية أو مستحيلة مع البنية التحتية التقليدية، وتسريع إمكانات الذكاء الاصطناعي التوليدي، وجلب فوائده إلى قاعدة عملائنا المتزايدة بسرعة حول العالم.

في إعلان صحفي حديث، أعلن مختبر التكنولوجيا الوطني للطاقة ومركز بيتسبرغ للحوسبة الفائقة عن أول محاكاة حاسوبية لديناميكيات السوائل الحاسوبية على محرك على مستوى الرقاقة من شركة Cerebras. يمكنك أن تخبرنا عن ما هو محرك على مستوى الرقاقة وكيف يعمل؟

محرك على مستوى الرقاقة (WSE) هو معالج الذكاء الاصطناعي الثوري لنظام الحاسوب الخاص بنا للتعلم العميق، وهو نظام CS-2. على عكس المعالجات العامة التقليدية، تم بناء WSE من البداية لتعزيز التعلم العميق: لديه 850,000نواة محسّنة لعمليات الموترات المتناثرة، وذاكرة كبيرة عالية النطاق الترددي على الشريحة، ووصلات بينية أسرع بمراتب أسية مما يمكن أن يحققه عنقود تقليدي – كل ذلك يعطيك موارد حوسبية للتعلم العميق تعادل مجموعة من الآلات التقليدية في جهاز واحد، وسهل البرمجة مثل عقدة واحدة – ويقلل بشكل كبير من تعقيد البرمجة وزمن الحوسبة الفعلي ووقت الحل.

الجيل الثاني من WSE-2، الذي يُقدم نظام CS-2، يمكن أن يحل مشاكل بشكل سريع جدًا. سريع جدًا لتمكين نماذج عالية الدقة في الوقت الفعلي للأنظمة الهندسية محل الاهتمام. إنه مثال نادر على نجاح “التوسع القوي”، وهو استخدام التوازي لتقليل وقت الحل مع حجم مشكلة ثابت.

وهذا ما يستخدمه مختبر التكنولوجيا الوطني للطاقة ومركز بيتسبرغ للحوسبة الفائقة. لقد أعلنا عن بعض النتائج المثيرة جدًا لمحاكاة ديناميكيات السوائل الحاسوبية (CFD)، تتكون من حوالي 200 مليون خلية، بمعدلات قريبة من الوقت الفعلي. هذا الفيديو يظهر محاكاة عالية الدقة لحمل رايلي-بينار الحراري، الذي يحدث عندما يتم تسخين طبقة سائلة من الأسفل وتبريدها من الأعلى. هذه الحركات السائلة المُحفزة بالحرارة موجودة حولنا – من أيام عاصفة إلى عواصف ثلجية على بحيرة، إلى تيارات الماغما في قلب الأرض وحركة البلازما في الشمس. كما يقول المُحَدِّث، ليس فقط جمال المحاكاة المرئي مهمًا، بل أيضًا السرعة التي نستطيع حسابها بها. فلأول مرة يستطيع NETL، باستخدام محركنا على مستوى الرقاقة، التحكم في شبكة تضم نحو200مليون خلية بزمن شبه آني.

ما نوع البيانات التي يتم محاكاتها؟

كان الحمل الذي تم اختباره هو تدفقات السوائل المُحفزة بالحرارة، وهو تطبيق لديناميكيات السوائل الحاسوبية (CFD). تظهر تدفقات السوائل بشكل طبيعي حولنا – من أيام عاصفة إلى عواصف ثلجية على بحيرة، إلى حركة الصفائح التكتونية. هذه المحاكاة، التي تتكون من حوالي 200 مليون خلية، تركز على ظاهرة تُدعى “حمل رايلي-بينار الحراري”، التي تحدث عندما يتم تسخين سائل من الأسفل وتبريده من الأعلى. في الطبيعة، يمكن أن يؤدي هذا إلى أحداث جوية شديدة مثل التيارات الهابطة والانفجارات الهابطة الصغيرة وعواصف ديريتشو. كما أنه مسؤول عن حركة الماغما في قلب الأرض وحركة البلازما في الشمس.

في نوفمبر 2022، قدم مختبر التكنولوجيا الوطني للطاقة واجهة برمجة تطبيقات جديدة لنمذجة المعادلات الحقلية، مدعومة بنظام CS-2، والتي كانت تصل إلى 470 مرة أسرع من ما كان ممكنًا على حاسوب Joule من مختبر التكنولوجيا الوطني للطاقة. هذا يعني أنه يمكن أن يوفر سرعات تتجاوز ما يمكن أن تحققه مجموعات من المعالجات المركزية أو وحدات معالجة الرسومات – باستخدام واجهة برمجة تطبيقات بسيطة تتيح المعالجة على مستوى الرقاقة للعلم الحاسوبي، توفر WFA مكاسب في الأداء وسهولة الاستخدام التي لا يمكن الحصول عليها على حواسيب تقليدية وحواسيب فائقة – في الواقع، تفوقت على OpenFOAM على حاسوب Joule 2.0 من مختبر التكنولوجيا الوطني للطاقة بأكثر من مرتبتين عشريتين في زمن الوصول إلى الحل.

بسبب بساطة واجهة برمجة تطبيقات WFA، تم تحقيق النتائج في بضعة أسابيع وتواصل التعاون الوثيق بين مختبر التكنولوجيا الوطني للطاقة ومركز بيتسبرغ للحوسبة الفائقة وشركة Cerebras Systems.

من خلال تحويل سرعة ديناميكيات السوائل الحاسوبية (CFD) (التي كانت دائمًا مهمة بطيئة وغير متصلة بالزمن) على WSE، يمكننا فتح مجموعة جديدة من التطبيقات الفعلية لهذا والمزيد من التطبيقات الأساسية للحوسبة الفائقة. هدفنا هو أن من خلال تمكين المزيد من القوة الحاسوبية، يمكن لعملائنا إجراء المزيد من التجارب واختراع علوم أفضل. قال لنا مدير مختبر التكنولوجيا الوطني للطاقة، بريان أندرسون، أنه سوف يسرع بشكل كبير ويعزز عملية التصميم لبعض المشاريع الكبيرة التي يعمل عليها مختبر التكنولوجيا الوطني للطاقة حول التخفيف من تغير المناخ وتمكين مستقبل آمن للطاقة، مثل مشروعات احتجاز الكربون وإنتاج الهيدروجين الأزرق.

تتمتع شركة Cerebras دائمًا بأداء أفضل من المنافسين عند إطلاق حواسيب فائقة، ما هي بعض التحديات التي تواجه بناء حواسيب فائقة من الدرجة الأولى؟

على العكس من ذلك، واحد من أصعب تحديات الذكاء الاصطناعي الكبير هو الحوسبة الموزعة.

لتدريب أحدث الشبكات العصبية اليوم، يستخدم الباحثون غالبًا مئات أو آلاف وحدات معالجة الرسومات (GPUs). وليس ذلك سهلًا؛ فتوسيع تدريب نموذج لغوي كبير عبر عنقود من هذه الوحدات يتطلب توزيع العمل على أجهزة صغيرة كثيرة، والتعامل مع قيود أحجام ذاكرة الأجهزة وعرض نطاق الذاكرة، وإدارة أعباء الاتصال والمزامنة بعناية.

اتبعنا نهجًا مختلفًا تمامًا لتصميم حواسيبنا الفائقة، من خلال تطوير Cerebras Wafer-Scale Cluster ونمط التنفيذ Cerebras Weight Streaming. وباستخدام هاتين التقنيتين، تقدم Cerebras طريقة جديدة للتوسع تستند إلى ثلاث نقاط أساسية:

استبدال المعالجة بوحدات CPU وGPU بمسرّعات على مستوى الرقاقة، مثل نظام Cerebras CS-2. ويقلل هذا التغيير عدد الوحدات الحاسوبية المطلوبة للوصول إلى سرعة حوسبة مقبولة.

لمواجهة تحدي حجم النموذج، نستخدم معمارية تفصل الحوسبة عن تخزين النموذج. وترتبط خدمة حوسبة تستند إلى عنقود من أنظمة CS-2، يوفر عرض نطاق حوسبيًا كافيًا، ارتباطًا وثيقًا بخدمة ذاكرة ذات سعة كبيرة، تزود عنقود الحوسبة بأجزاء من النموذج عند الطلب. وكالمعتاد، تقدم خدمة بيانات دفعات من بيانات التدريب لخدمة الحوسبة بحسب الحاجة.

ونستخدم نموذجًا مبتكرًا لجدولة أعمال التدريب وتنسيقها عبر عنقود CS-2، يوظف توازي البيانات والتدريب طبقة واحدة في كل مرة، مع بث الأوزان المتناثرة عند الطلب والاحتفاظ بالتنشيطات في خدمة الحوسبة.

توجد مخاوف من نهاية قانون مور منذ نحو عقد. كم سنة إضافية يمكن للصناعة الاستمرار، وما أنواع الابتكارات اللازمة؟

أعتقد أن السؤال الذي نواجهه جميعًا هو ما إذا كان قانون مور، كما صاغه مور، قد انتهى. فلم يعد الحصول على مزيد من الترانزستورات يستغرق عامين، بل أربعة أو خمسة أعوام. كما أن هذه الترانزستورات لا تأتي بالسعر نفسه، بل بأسعار أعلى بكثير. ولذلك يصبح السؤال: هل ما زلنا نجني الفوائد نفسها من الانتقال من7إلى5إلى3نانومترات؟ الفوائد أصغر والتكلفة أعلى، لذا أصبحت الحلول أعقد من مجرد الشريحة.

قدّم جاك دونغارا، أحد أبرز معماريي الحاسوب، محاضرة مؤخرًا قال فيها: «أصبحنا أفضل بكثير في إنتاج عمليات الفاصلة العائمة وفي عمليات الإدخال والإخراج». وهذا صحيح حقًا. فقدرتنا على نقل البيانات خارج الشريحة تتأخر كثيرًا عن قدرتنا على زيادة الأداء داخلها. سعدنا في Cerebras بسماع ذلك، لأنه يؤكد صواب قرارنا بصنع شريحة أكبر ونقل قدر أقل من البيانات إلى خارجها. كما يقدم إرشادًا إلى طرق مستقبلية لتحسين أداء الأنظمة التي تستخدم الشرائح. ولا يقتصر العمل المطلوب على استخراج مزيد من عمليات الفاصلة العائمة، بل يشمل أيضًا تقنيات نقلها ونقل البيانات بين الشرائح، حتى من شريحة ضخمة إلى أخرى ضخمة.

هل ترغب في مشاركة شيء آخر حول Cerebras Systems؟

للأفضل أو للأسوأ، يضع الناس Cerebras كثيرًا ضمن فئة «أصحاب الشريحة الكبيرة جدًا». وقد تمكنا من تقديم حلول مقنعة للشبكات العصبية الضخمة جدًا، بما يلغي الحاجة إلى حوسبة موزعة شاقة. وأعتقد أن ذلك مثير للاهتمام للغاية، ويمثل السبب الأساسي لحب عملائنا لنا. وسيكون المجال المثير للاهتمام في2023هو كيفية إجراء حوسبة كبيرة بدقة أعلى وبعدد أقل من عمليات الفاصلة العائمة.

يقدم عملنا في التناثر نهجًا مثيرًا للاهتمام للغاية. فنحن لا ننفذ أعمالًا لا تقرّبنا من الهدف، والضرب في الصفر فكرة سيئة. سننشر قريبًا ورقة بحثية مهمة عن التناثر، وأعتقد أن مزيدًا من الجهود سيُوجّه لدراسة كيفية بلوغ نقاط الكفاءة هذه واستهلاك طاقة أقل. ولا يقتصر الأمر على تقليل الطاقة اللازمة للتدريب؛ فكيف نقلل تكلفة الاستدلال والطاقة التي يستهلكها؟ أعتقد أن التناثر يفيد على الجبهتين.

شكرًا على هذه الإجابات المتعمقة. يمكن للقراء الراغبين في معرفة المزيد زيارة Cerebras Systems.

أنطوان قائد صاحب رؤية وشريك مؤسس في Unite.AI، يدفعه شغف راسخ بتشكيل مستقبل الذكاء الاصطناعي والروبوتات وتعزيزه. وبصفته رائد أعمال أسس عدة مشروعات، يؤمن بأن الذكاء الاصطناعي سيُحدث تحولًا في المجتمع يضاهي ما أحدثته الكهرباء، وكثيرًا ما يتحدث بحماس عن إمكانات التقنيات التحويلية والذكاء الاصطناعي العام (AGI).

وبصفته مستشرفًا للمستقبل، يكرس جهوده لاستكشاف كيف ستشكل هذه الابتكارات عالمنا. وهو أيضًا مؤسس Securities.io، وهي منصة تركز على الاستثمار في التقنيات المتطورة التي تعيد تعريف المستقبل وتعيد تشكيل قطاعات بأكملها.