أندرو فيلدمان، المؤسس المشارك والرئيس التنفيذي لشركة Cerebras Systems – سلسلة المقابلات

أندرو هو المؤسس المشارك والرئيس التنفيذي لشركة Cerebras Systems. وهو رائد أعمال يلتزم بتحدي الحدود في مجال الحوسبة. قبل انضمامه إلى Cerebras، شارك في تأسيس شركة SeaMicro، وهي رائدة في مجال الخوادم الدقيقة ذات الطاقة المنخفضة والشبكات العريضة. تم الاستحواذ على SeaMicro من قبل AMD في عام 2012 مقابل 357 مليون دولار. قبل SeaMicro، كان أندرو نائب الرئيس لإدارة المنتجات والتسويق والتنمية التجارية في شركة Force10 Networks، والتي تم بيعها لاحقًا إلى Dell Computing مقابل 800 مليون دولار. قبل انضمامه إلى Force10 Networks، كان أندرو نائب الرئيس للاستراتيجية والتسويق والتنمية في شركة RiverStone Networks منذ تأسيسها وحتى الاكتتاب العام في عام 2001. يحمل أندرو شهادة البكالوريوس والماجستير في إدارة الأعمال من جامعة ستانفورد.

تعتبر Cerebras Systems شركة تعمل على بناء فئة جديدة من أنظمة الحاسوب، مصممة من البداية لتحقيق هدف واحد هو تسريع الذكاء الاصطناعي وتغيير مستقبل عمل الذكاء الاصطناعي.

يمكنك أن ت partager قصة نشأة Cerebras Systems؟

عملت مع مؤسسي الآخرين في شركة سابقة التي أسسها мой الرئيس التنفيذي غاري وأنا في عام 2007، وهي شركة SeaMicro (التي تم بيعها لشركة AMD في عام 2012 مقابل 334 مليون دولار). مؤسسي الآخرون هم من بين كبار مصممي ومهندسي الحواسيب في الصناعة – غاري لوتيرباخ، شون لي، جاي بي فريكر ومايكل جيمس. عندما اجتمعت معهم مرة أخرى في عام 2015، كتبنا شيئين على اللوحة البيضاء – أننا نريد العمل معًا، وأننا نريد بناء شيء يغيّر الصناعة ويدخل متحف تاريخ الحاسوب، وهو ما يعادل قاعة مشاهير الحوسبة. لقد كنا مشرفين عندما أدرج متحف تاريخ الحاسوب إنجازاتنا وأضاف معالج WSE-2 إلى مجموعته في العام الماضي، مشيرًا إلى كيفية تغييره لمساحة الذكاء الاصطناعي.

تعتبر Cerebras Systems فريقًا من رواد تصميم الحواسيب وعلوم الحاسوب وآلات التعلم العميق والمهندسين من جميع الأنواع الذين يحبون القيام بالهندسة الجريئة. كان هدفنا عندما اجتمعت معًا هو بناء فئة جديدة من الحواسيب لتسريع التعلم العميق، الذي أصبح واحدًا من أهم الحمولات في وقتنا.

لقد أدركنا أن التعلم العميق له متطلبات حسابية فريدة وضخمة ومتزايدة. وليس من المتوافق جيدًا مع الآلات التقليدية مثل وحدات معالجة الرسومات (GPUs)، والتي تم تصميمها في الأساس لأعمال أخرى. ونتيجة لذلك، فإن الذكاء الاصطناعي اليوم مقيد ليس بالتطبيقات أو الأفكار، ولكن بتوافر الحوسبة. يمكن أن يستغرق اختبار فرضية جديدة واحدة – تدريب نموذج جديد – أيامًا أو أسابيع أو حتى أشهر وتكلفة مئات الآلاف من الدولارات في وقت الحوسبة. هذا هو عائق كبير للابتكار.

لذلك، كانت نشأة Cerebras هي بناء نوع جديد من الحاسوب مُختصر حصريًا للتعلم العميق، بدءًا من ورقة نظيفة. لتلبية الطلبات الحسابية الهائلة للتعلم العميق، قمنا بتصميم وتصنيع أكبر شريحة تم بناؤها على الإطلاق – محرك الوفرة على مستوى الشريحة (WSE). من خلال إنشاء معالج الوفرة على مستوى الشريحة لأول مرة في العالم، قمنا بتجاوز التحديات عبر التصميم والتصنيع والتغليف – جميعها كانت تعتبر مستحيلة لمدة 70 عامًا من تاريخ الحواسيب. كل عنصر من عناصر WSE مصمم لتمكين أبحاث التعلم العميق بسرعات غير مسبوقة ومقياس، وقوى أسرع حاسوب الذكاء الاصطناعي في الصناعة، وهو نظام Cerebras CS-2.

مع كل مكون مُختصر لعمل الذكاء الاصطناعي، يوفر CS-2 أداءً حسابيًا أكبر في مساحة أقل وطاقة أقل من أي نظام آخر. يفعل ذلك مع تقليل تعقيد البرمجة بشكل كبير، ووقت الحوسبة على الحائط، ووقت الحل. اعتمادًا على الحمل، من الذكاء الاصطناعي إلى الحوسبة الفائقة، يوفر CS-2 أداءً أفضل بمئات أو آلاف المرات من البديل التقليدية. يوفر CS-2 موارد حوسبة للتعلم العميق tương đương مع مئات وحدات معالجة الرسومات، مع توفير سهولة البرمجة والإدارة والتنفيذ لجهاز واحد.

على مدار الأشهر القليلة الماضية، يبدو أن Cerebras موجود في كل مكان في الأخبار، ماذا يمكنك أن تخبرنا عنه بشأن حاسوب Andromeda الذكاء الاصطناعي الجديد؟

أعلنا عن Andromeda في نوفمبر الماضي، وهو واحد من أكبر وأقوى حواسيب الذكاء الاصطناعي على الإطلاق. يوفر أكثر من 1 إكسافلوب من حوسبة الذكاء الاصطناعي و 120 بيتافلوب من الحوسبة الكثيفة، ويحتوي Andromeda على 13.5 مليون نواة عبر 16 نظام CS-2، وهو الحاسوب الوحيد للذكاء الاصطناعي الذي أظهر تسلسلًا خطيًا مثاليًا تقريبًا على حمولات نماذج اللغة الكبيرة. كما أنه بسيط الاستخدام.

كما تذكير، فإن أكبر حاسوب فائق في الأرض – Frontier – يحتوي على 8.7 مليون نواة. في عدد النوى الخام، Andromeda أكبر بأكثر من مرة ونصف المرة. إنه يفعل عملًا مختلفًا بالطبع، ولكن هذا يعطي فكرة عن النطاق: ما يقرب من 100 تيرابيت من النطاق الترددي الداخلي، وما يقرب من 20,000 نواة Epyc من AMD تغذيها، ومما ي отличаетه عن الحواسيب الفائقة العملاقة التي تستغرق سنوات للتركيب – قمنا بتركيب Andromeda في ثلاثة أيام وعرضه على الفور، وكان يعمل بنسبة تسلسل خطي مثالية تقريبًا للذكاء الاصطناعي.

كان مختبر Argonne الوطني أول عميل لنا يستخدم Andromeda، وقام بتطبيقها على مشكلة كانت تسبب مشاكل لclusرهم من 2000 وحدة معالجة رسومات أسموها Polaris. كانت المشكلة تتمثل في تشغيل نماذج توليدية كبيرة جدًا، GPT-3XL، مع وضع الجينوم الكامل للفيروس التاجي في نافذة التسلسل، بحيث يمكن تحليل كل جين في سياق الجينوم الكامل للفيروس التاجي. قام Andromeda بتشغيل حمولة جينية فريدة مع أطوال تسلسل طويلة (MSL من 10K) عبر 1 و 2 و 4 و 8 و 16 عقدة، مع تسلسل خطي مثالي تقريبًا. التسلسل الخطي هو واحد من أكثر السمات المرغوبة في кластер كبير. قدم Andromeda 15.87 مرة من الإنتاجية عبر 16 نظام CS-2، مقارنة بنظام CS-2 واحد، وتقليلًا في وقت التدريب لتطابق.

يمكنك أن تخبرنا عن الشراكة مع Jasper التي تم الكشف عنها في أواخر نوفمبر وماذا تعني هذه الشراكة لكلا الشركتين؟

Jasper هي شركة مثيرة للاهتمام حقًا. وهي رائدة في مجال المحتوى التوليدي للذكاء الاصطناعي للتسويق، وتستخدم منتجاتها من قبل أكثر من 100,000 عميل حول العالم لكتابة المحتوى للتسويق والإعلانات والكتب والمزيد. إنه مجال مثير ومتنامي بسرعة الآن. في العام الماضي، أعلنا عن شراكة معهم لتسريع تبني وتحسين دقة الذكاء الاصطناعي التوليدي عبر التطبيقات التجارية والاستهلاكية. تستخدم Jasper حاسوبنا الفائق Andromeda لتدريب نماذجها الحسابية الكثيفة بشكل كبير في جزء من الوقت. هذا سوف يوسع نطاق نماذج الذكاء الاصطناعي التوليدي إلى الجماهير.

بفضل قوة حاسوب Cerebras Andromeda الفائق، يمكن لشركة Jasper تقدم عمل الذكاء الاصطناعي بشكل كبير، بما في ذلك تدريب شبكات GPT لتناسب مخرجات الذكاء الاصطناعي لجميع مستويات تعقيد وضئيلية المستخدم النهائي. هذا يحسن دقة السياق لنماذج التوليد وسيسمح لشركة Jasper ب PERSONALIZE المحتوى عبر فئات متعددة من العملاء بسرعة وسهولة.

تسمح لنا شراكتنا لشركة Jasper باختراع مستقبل الذكاء الاصطناعي التوليدي، من خلال القيام بأشياء غير عملية أو مستحيلة مع البنية التحتية التقليدية، وتسريع إمكانات الذكاء الاصطناعي التوليدي، وجلب فوائده إلى قاعدة عملائنا المتزايدة حول العالم.

في إعلان صحفي حديث، أعلن مختبر التكنولوجيا الوطني للطاقة ومركز بيتسبرغ للحوسبة الفائقة عن أول محاكاة ديناميكية سائلة حسابية على محرك الوفرة على مستوى الشريحة من Cerebras. يمكنك أن تخبرنا عن ما هو محرك الوفرة على مستوى الشريحة وكيف يعمل؟

محرك الوفرة على مستوى الشريحة (WSE) هو معالج الذكاء الاصطناعي الثوري لنظام الحاسوب للتعلم العميق، وهو نظام CS-2. على عكس المعالجات العامة التقليدية، تم بناء WSE من البداية لتعزيز التعلم العميق: لديه 850,000 نواة مُختصرة للعمليات النادرة للتنسيق، وذاكرة داخلية ضخمة و高速، وترابط بأوامر أكبر من ما يمكن أن تحققه кластер تقليدية – كل ذلك يعطيك موارد حوسبة للتعلم العميق تعادل кластер من الآلات التقليدية في جهاز واحد، وسهل البرمجة كعقدة واحدة – تقليل تعقيد البرمجة بشكل كبير، ووقت الحوسبة على الحائط، ووقت الحل.

محرك WSE-2 الثاني من الجيل الثاني، الذي يدير نظام CS-2، يمكن حل المشاكل بسرعة كبيرة. بسرعة كافية للسماح بنماذج عالية الدقة في الوقت الفعلي لأنظمة هندسية interessante. إنه مثال نادر على التوسيع القوي، وهو استخدام التوازي لتقليل وقت الحل مع حجم مشكلة ثابت.

وهذا ما يستخدمه مختبر التكنولوجيا الوطني للطاقة ومركز بيتسبرغ للحوسبة الفائقة. لقد أعلنا عن بعض النتائج المثيرة للاهتمام لمحاكاة ديناميكية سائلة حسابية، تتكون من حوالي 200 مليون خلية، بسرعات قريبة من الوقت الفعلي. هذا الفيديو يظهر محاكاة عالية الدقة لحركة الحمل الحراري، والتي تحدث عندما يتم تسخين طبقة سائلة من الأسفل وتبريد من الأعلى. هذه الحركات السائلة المحركة حراريًا موجودة حولنا – من أيام رياح إلى عواصف ثلجية على البحيرة، إلى حركات المagma في قلب الأرض وحركة البلازما في الشمس. كما يقول المعلق، ليس فقط الجمال البصري للمحاكاة مهمًا، ولكن السرعة التي نحسب بها. لأول مرة، باستخدام محرك الوفرة على مستوى الشريحة، يمكن لمختبر التكنولوجيا الوطني للطاقة التعامل مع شبكة من حوالي 200 مليون خلية في الوقت الفعلي تقريبًا.

ما نوع البيانات التي يتم محاكاتها؟

كان الحمل الذي تم اختباره هو تدفقات السوائل المحركة حراريًا، وهو تطبيق للديناميكية السائلة الحسابية (CFD). تحدث تدفقات السوائل بشكل طبيعي حولنا – من أيام رياح إلى عواصف ثلجية على البحيرة، إلى حركات الصفائح التكتونية. هذه المحاكاة، التي تتكون من حوالي 200 مليون خلية، تركز على ظاهرة تعرف باسم “توصيل رالي بنارد”، والتي تحدث عندما يتم تسخين سائل من الأسفل وتبريد من الأعلى. في الطبيعة، يمكن أن تؤدي هذه الظاهرة إلى أحداث جوية شديدة مثل الانفجارات الهوائية والانفجارات الدقيقة والديرايو. كما أنها مسؤولة عن حركة المagma في قلب الأرض وحركة البلازما في الشمس.

في نوفمبر 2022، قدم مختبر التكنولوجيا الوطني للطاقة واجهة برمجة تطبيقات جديدة لنمذجة المعادلات الحقلية، مدعومة بنظام CS-2، والتي كانت أسرع بأكثر من 470 مرة من ما كان ممكنًا على حاسوب Joule الفائق من مختبر التكنولوجيا الوطني للطاقة. هذا يعني أنه يمكن أن يوفر سرعات تتجاوز ما يمكن أن تحققه кластерات من المعالجات المركزية أو وحدات معالجة الرسومات. باستخدام واجهة برمجة تطبيقات بسيطة بالغة بايثون تمكّن المعالجة على مستوى الشريحة، يوفر WFA مكاسب في الأداء وسهولة الاستخدام التي لا يمكن الحصول عليها على الحواسيب التقليدية والحواسيب الفائقة – في الواقع، تفوق أداء OpenFOAM على حاسوب Joule 2.0 الفائق من مختبر التكنولوجيا الوطني للطاقة بأكثر من أمرين من حيث وقت الحل.

بسبب بساطة واجهة برمجة تطبيقات WFA، تم تحقيق النتائج في بضعة أسابيع فقط وتواصل التعاون الوثيق بين مختبر التكنولوجيا الوطني للطاقة ومركز بيتسبرغ للحوسبة الفائقة وشركة Cerebras Systems.

من خلال تحويل سرعة الديناميكية السائلة الحسابية (CFD) (التي كانت دائمًا مهمة بطيئة وغير متصلة) على محرك الوفرة على مستوى الشريحة، يمكننا فتح مجموعة كاملة من الحالات الجديدة في الوقت الفعلي لهذا وتطبيقات الحوسبة الفائقة الأساسية الأخرى. هدفنا هو أن من خلال تمكين المزيد من قدرة الحوسبة، يمكن لعملائنا إجراء المزيد من التجارب واختراع العلوم بشكل أفضل. قال مدير مختبر التكنولوجيا الوطني للطاقة بريان أندرسون لنا إن هذا سوف يسرع بشكل كبير ويحسن من عملية التصميم لمشاريع كبيرة جدًا يعمل عليها مختبر التكنولوجيا الوطني للطاقة حول التخفيف من تغير المناخ وتمكين مستقبل الطاقة الآمن – مثل مشاريع إزالة الكربون وإنتاج الهيدروجين الأزرق.

تعتبر Cerebras دائمًا تتفوق على المنافسة عند إصدار حواسيب فائقة، ما هي بعض التحديات وراء بناء حواسيب فائقة من الدرجة الأولى؟

بصورةironية، واحدة من أصعب تحديات الذكاء الاصطناعي الكبير هو ليس الذكاء الاصطناعي نفسه. إنه الحوسبة الموزعة.

لتدريب شبكات الذكاء الاصطناعي الحالية، غالبًا ما يستخدم الباحثون مئات أو آلاف وحدات معالجة الرسومات. وليس من السهل. يتطلب توسيع تدريب نموذج اللغة الكبير عبر кластер من وحدات معالجة الرسومات توزيع حمولة العمل عبر العديد من الأجهزة الصغيرة، وتعامل مع قيود حجم الذاكرة وسرعة النقل، وإدارة التزامات الاتصال وتزامنها بعناية.

لقد اتخذنا نهجًا مختلفًا تمامًا لتصميم حواسيبنا الفائقة من خلال تطوير кластер الوفرة على مستوى الشريحة ومode التنفيذ Cerebras Weight Streaming. مع هذه التكنولوجيا، تتمثل تقنية Cerebras في نهج جديد للتمكين القائم على ثلاث نقاط رئيسية:

استبدال المعالجة بواسطة وحدات معالجة الرسومات ومعالجات الوفرة على مستوى الشريحة مثل نظام CS-2. هذا التغيير يقلل من عدد وحدات الحوسبة المطلوبة لتحقيق سرعة حوسبة مقبولة.

لمواجهة تحدي حجم النموذج، نستخدم هندسة نظام تفصل الحوسبة عن تخزين النموذج. خدمة حوسبة تقوم على кластер من أنظمة CS-2 (توفير نطاق حوسبة كافٍ) متصلة بشكل وثيق بخدمة ذاكرة (بسعة ذاكرة كبيرة) توفر أجزاء من النموذج إلى кластер الحوسبة عند الطلب. كما تخدم خدمة البيانات دفعات من بيانات التدريب إلى خدمة الحوسبة عند الحاجة.

نموذج مبتكر لجدولة وتنسيق عمل التدريب عبر кластер CS-2 الذي يستخدم موازاة البيانات وتدريب الطبقة تلو الأخرى مع وزن نادر يتم بثه عند الطلب، و الاحتفاظ bằng التنشيط في خدمة الحوسبة.

هناك مخاوف من نهاية قانون مور لما يقرب من عقد من الزمان، كم سنة أخرى يمكن للصناعة ضغطها وما هي أنواع الابتكارات المطلوبة لهذا؟

أعتقد أن السؤال الذي نتعامل معه جميعًا هو ما إذا كان قانون مور – كما كتبه مور – ميتًا. لا يستغرق الأمر عامين للحصول على المزيد من الترانزستورات. الآن يستغرق الأمر أربع أو خمس سنوات. وتلك الترانزستورات لا تأتي بنفس السعر – إنها تأتي بأسعار أعلى بكثير. لذلك يصبح السؤال، هل نحصل على نفس الفوائد من الانتقال من سبع إلى خمس إلى ثلاثة نانومتر؟ الفوائد أقل وتكلف أكثر، لذا تصبح الحلول أكثر تعقيدًا من مجرد الشريحة.

قال جاك دونجارا، مهندس حاسوب رائد، في حديثه الأخير، “لقد أصبحنا أفضل في صنع الفلوبس وصنع الإدخال/الإخراج”. هذا صحيح حقًا. قدرةنا على نقل البيانات من الشريحة تقل عن قدرتنا على زيادة الأداء على الشريحة بدرجة كبيرة. في Cerebras، كنا سعداء عندما قال ذلك، لأنها تؤكد قرارنا بصنع شريحة أكبر ونقل أقل من الشريحة. كما توفر بعض الإرشاد حول طرق جعل الأنظمة مع الشريحة تعمل بشكل أفضل. هناك عمل يجب القيام به، ليس فقط في سحق المزيد من الفلوبس ولكن أيضًا في تقنيات نقلها ونقل البيانات من الشريحة إلى الشريحة – حتى من شريحة كبيرة جدًا إلى شريحة كبيرة جدًا.

هل هناك أي شيء آخر تود أن تشاركه حول Cerebras Systems؟

لأفضل أو أسوأ، غالبًا ما يضع الناس Cerebras في فئة “أشخاص الشريحة الكبيرة”. لقد تمكنا من تقديم حلول مقنعة لشبكات عصبية كبيرة جدًا، وبالتالي القضاء على الحاجة إلى الحوسبة الموزعة المؤلمة. أعتقد أن هذا مثير للاهتمام بشكل كبير ويعتبر في صميم سبب حب عملائنا لنا. المجال المثير في عام 2023 سيكون كيفية الحوسبة الكبيرة إلى مستوى دقة أعلى، باستخدام فلوبس أقل.

عملنا على النادرية يوفر نهجًا مثيرًا للاهتمام بشكل كبير. لا نعمل على الأشياء التي لا تحركنا نحو خط الغاية. سنصدر ورقة مثيرة للاهتمام حول النادرية قريبًا، وأعتقد أن هناك المزيد من الجهود التي ستكون في البحث عن كيفية الوصول إلى هذه النقاط الفعالة، وكيف نفعل ذلك بأقل قدرة وطاقة. وليس فقط لتدريب بأقل طاقة، ولكن كيف نخفض التكلفة والطاقة المستخدمة في الاستدلال؟ أعتقد أن النادرية تساعد على الجانبين.

شكرًا على هذه الإجابات العميقة، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا Cerebras Systems.