مقابلات
Avi Baum، الرئيس التقني في Hailo – سلسلة المقابلات
أضف Unite.AI إلى مصادرك المفضلة على Google
Avi Baum، الرئيس التقني في Hailo، يقود رؤية الشركة التقنية وابتكار المنتجات. شغل سابقًا منصب الرئيس التقني للاتصال اللاسلكي في Texas Instruments (TXN )، يقود استراتيجيات المتحكمات الدقيقة المتصلة في أسواق إنترنت الأشياء والصناعات، وشغل مناصب عليا في الهندسة والقيادة في قوات الدفاع الإسرائيلية.
Hailo هي شركة إسرائيلية لتصنيع شرائح الذكاء الاصطناعي متخصصة في معالجات الذكاء الاصطناعي الطرفية عالية الأداء ومنخفضة الطاقة لتطبيقات مثل المركبات الذاتية القيادة، والكاميرات الذكية، والروبوتات، وتدعمها مجموعة شاملة من البرمجيات ونظام شراكة عالمي.
هل يمكنك مشاركة ما جذبك أصلاً إلى مجال الذكاء الاصطناعي الطرفي وكيف شكلت تجاربك الهندسية المبكرة تفكيرك حول تصميم المعالجات؟
قادتني مسيرتي المهنية إلى مجالات الأسواق الناشئة. خلال فترة عملي في TI (Texas Instruments)، الشركة الرائدة في أشباه الموصلات ذات الإرث الطويل، أتيحت لي الفرصة لقيادة تصميم النظام على مستوى النظام والهندسة المعمارية، وتولي رئاسة قسم تعريف المنتج ولاحقًا شغل منصب الرئيس التقني لهذا القسم. أدى ذلك إلى استكشافي المستمر للتقنيات الصاعدة التي من المرجح أن تشكل المستقبل “ليس ببعيد”.
عندما أسسنا Hailo في عام 2017، كان واضحًا أن الذكاء الاصطناعي، الذي بدأ يزدهر في السحابة، يمتلك أيضًا القدرة على أن يصبح تقنية تمكينية للأجهزة الطرفية. لذا وضعنا مسارًا وبدأنا هذه الرحلة.
مع توسع الذكاء الاصطناعي التوليدي على الطرفية، لماذا لم يعد مقياس TOPS—التري عمليات في الثانية—معيارًا كافيًا لتقييم أداء المعالج؟
كان TOPS طويلاً المعيار المفضل لتقييم عتاد الذكاء الاصطناعي، لكن في عصر الذكاء الاصطناعي التوليدي على الطرفية، لم يعد كافيًا. طبيعة النماذج الكلاسيكية هي تحويل كميات كبيرة من البيانات إلى رؤى ذات معنى، لذا فإن كمية الحوسبة المطلوبة لمعالجة البيانات الواردة تزداد مع كمية البيانات التي يجب معالجتها. النماذج لهذه المهام عادةً ما تكون أصغر حجمًا من كمية البيانات التي تعالجها، مما يجعل عبء النطاق الترددي المرتبط بالوصول إلى معلمات النموذج ضئيلًا نسبيًا.
ومع ذلك، تكون النماذج التوليدية أكبر بشكل ملحوظ – في نطاق مليارات المعلمات، وفي هذه الحالات يصبح عرض النطاق الترددي للذاكرة عاملًا غير قابل للتجاهل.
بدلاً من التركيز على TOPS فقط، من الضروري تقييم مدى توازن المعالج بين الحوسبة والذاكرة في ظروف العالم الحقيقي. ليس الأمر مطاردة أعلى رقم؛ بل ضبط الهندسة المعمارية لتتناسب مع أحمال العمل التي يحتاج إلى التعامل معها.
لماذا أصبح عرض النطاق الترددي للذاكرة الآن عنق زجاجة أكثر حرجًا من الحوسبة في أحمال عمل الذكاء الاصطناعي الطرفية، خاصةً للنماذج اللغوية الكبيرة والنماذج البصرية الكبيرة؟
في أحمال عمل الذكاء الاصطناعي الطرفية، وخاصة تلك التي تتضمن نماذج لغوية كبيرة أو نماذج بصرية كبيرة، يصبح عرض النطاق الترددي للذاكرة بسرعة العنق الزجاجي الأساسي. عادةً ما تتراوح هذه النماذج بين 0.5 إلى 8 مليارات معلمة، متجاوزة سعة الذاكرة على الشريحة وتستلزم الوصول إلى ذاكرة خارج الشريحة مثل DRAM. هذا يزيد الطلب على عرض النطاق الترددي للذاكرة بشكل كبير. على سبيل المثال، يمكن لنموذج ببارامتر واحد أن يقدم ما يصل إلى ~40 رمزًا في الثانية تحت ظروف مثالية باستخدام واجهة LPDDR4X قياسية، لكن الحفاظ على هذا المعدل مع نموذج بأربعة مليارات معلمة يتطلب أكثر من أربعة أضعاف ذلك العرض الترددي. بدون ذلك، تتدهور الأداء ليس بسبب نقص الحوسبة، بل لأن المعالج لا يستطيع إمداد البيانات بسرعة كافية. هذا الاختلال بين الحوسبة والذاكرة هو أحد أكثر التحديات إلحاحًا في نشر الذكاء الاصطناعي التوليدي على الطرفية. ويتفاقم الأمر في الهندسات التي تحسب الطبقة طبقة، حيث تزيد النتائج الوسيطة أيضًا من حركة الذاكرة وتزيد الضغط على النطاق الترددي.
كيف يجب على فرق المنتج إعادة التفكير في استراتيجية القياس المرجعي عند التصميم لتطبيقات الطرفية الواقعية؟
يجب على فرق المنتج الابتعاد عن الاعتماد على مقياس أداء واحد مثل TOPS وتبني استراتيجية قياس مرجعي تعكس واقع نشر الطرفية. يبدأ ذلك بفهم الحالة الاستخدامية المحددة، وحجم العمل الفعلي الذي يحتاج المعالج إلى معالجته، وتحديد “نقطة العمل”: تقاطع قيود الطاقة، التكلفة، والكمون. من هناك، يتعين تقييم كيفية تفاعل الحوسبة والذاكرة تحت تلك الظروف. المعالج ذو TOPS عالي لن يقدم أداءً إذا كان عرض النطاق الترددي للذاكرة محدودًا، ولا تساعد الذاكرة الإضافية إذا كانت سعة الحوسبة غير كافية.
يجب على الفرق تقييم ما إذا كان المعالج قادرًا على الحفاظ على الأداء عبر مهام مثل الإدراك، التعزيز، والمهام التوليدية، كل منها يتطلب متطلبات مختلفة جدًا. الهدف ليس تحسين القمم القصوى، بل ضمان أداء متوازن عبر كامل نطاق الحالات المتوقعة في بيئات العالم الحقيقي.
هذا تحول طبيعي من المقاييس “المعقمة” إلى نهج أكثر تعقيدًا يعكس كيفية استخدام المنصات وكيفية تقييمها – مشابه لما حدث مع بنى أخرى أصبحت سائدة (مثل SPEC، Coremark، 3DMark، إلخ).
كيف تؤثر قيود الطاقة والتكلفة على قرارات الهندسة المعمارية لمعالجات Hailo، خاصةً للأجهزة الطرفية التي تواجه المستهلك؟
الطاقة والتكلفة هما من أكثر القيود تحديدًا عند تصميم معالجات الذكاء الاصطناعي للأجهزة الطرفية، خاصة في المنتجات الموجهة للمستهلك. في الأجهزة المدمجة مثل حساسات إنترنت الأشياء أو مساعدين المنزل الذكي، تكون ميزانيات الطاقة ضيقة، وغالبًا لا يوجد تبريد نشط، لذا تصبح كفاءة الطاقة أمرًا حاسمًا. كل مورد إضافي من الحوسبة أو الذاكرة يضيف استهلاكًا للطاقة وحرارة، مما يؤثر مباشرة على قابلية الاستخدام وعمر البطارية.
التكلفة لها نفس التأثير. يجب أن تبقى الأجهزة الاستهلاكية ضمن نقاط سعرية تنافسية، مما يعني أن المعالج لا يمكنه تضمين الكثير من عمليات TOPS والذاكرة قبل أن يصبح غير مجدٍ اقتصاديًا. هذه القيود تفرض تنازلات معمارية صعبة. في Hailo، نعطي الأولوية لتصاميم توفر التوازن الصحيح بين الحوسبة والذاكرة لتلبية احتياجات التطبيقات الواقعية ضمن نطاق ضيق من الطاقة والتكلفة، مما يضمن أن يصبح الذكاء الاصطناعي الطرفي قابلًا للتطبيق، فعالًا، وقابلًا للتوسع عبر مجموعة واسعة من المنتجات الاستهلاكية.
هل يمكنك إرشادنا حول كيفية تعريف “نقطة العمل” لتطبيق ما ولماذا تُعد هذه النقطة مهمة جدًا في نشر الذكاء الاصطناعي الطرفي؟
تحديد “نقطة العمل” هو أحد أهم الخطوات عند تصميم نظام. يشير إلى تقاطع قيود الطاقة والتكلفة والكمون التي تشكل ما يمكن تحقيقه واقعيًا في نشر معين. على عكس السحابة، حيث يمكنك إضافة المزيد من الحوسبة أو الذاكرة إلى مشكلة ما، تعمل الأجهزة الطرفية ضمن نطاق ثابت. وهذا يعني أنه يجب إجراء تنازلات مدروسة بناءً على المتطلبات الفعلية للتطبيق. على سبيل المثال، قد يعطي حسّاس إنترنت الأشياء أولوية لكفاءة الطاقة على الأداء الخام، بينما قد يتطلب نظام ذاتي القيادة زمن استجابة منخفض جدًا بغض النظر عن استهلاك الطاقة. بمجرد تحديد نقطة العمل، يمكنك تقييم ما إذا كان المعالج يمتلك التوازن المناسب بين الحوسبة والذاكرة لتلبية ذلك الاحتياج. الأمر ليس تعظيم المواصفات في كل اتجاه؛ بل ضمان أداء مستدام وموثوق في الظروف الواقعية التي سيواجهها التطبيق.
بشكل عام، نقطة العمل هي المكان الذي تريد فيه مؤشرات الأداء الرئيسية أن تكون في أقصى مستوياتها. الفشل في تحقيق ذلك قد يؤدي إلى تشغيل غير مثالي تحت أكثر سيناريوهات الاستخدام شيوعًا للمنصة.
كمثال بسيط، يمكن للمرء جعل نظام تحليلات الذكاء الاصطناعي فعالًا للغاية عندما تكون المدخلات بدقة عالية جدًا، ولكن إذا تم نشر هذا النظام في أجهزة لا تصل أبدًا إلى هذه الدقة، فإن هذا التحسين يصبح بلا معنى.
مع دمج الفيديو والصوت واللغة في الأجهزة الحديثة، كيف تتعامل مع تحسين النماذج متعددة الوسائط؟
تتطلب النماذج متعددة الوسائط توازنًا مدروسًا بين موارد الحوسبة والذاكرة. كل وسيلة تضغط على النظام بشكل مختلف: الفيديو يتطلب حوسبة مكثفة بسبب الدقة العالية ومعدلات الإطارات، بينما اللغة والصوت أكثر كثافة ولكنهما يضعان طلبات أكبر على عرض نطاق الذاكرة. في التطبيقات مثل معالجة الرؤية واللغة، يتضح هذا الانقسام (على الرغم من أن ذلك ليس ضمانًا بل سيناريو شائع): معالجة الفيديو تدفع الحوسبة، بينما يمكن لنموذج اللغة أن يصطدم بسرعة بعقبات الذاكرة.
نحن نتعامل مع التحسين من خلال النظر إلى كيفية تفاعل هذه الأحمال عبر خط الأنابيب وضمان أن المعالج مُصمم لدعمها simultaneously، دون السماح لوسيلة واحدة أن تُقَلِّل من أداء الأخرى.
كيف يؤدي زيادة حجم النموذج على الطرف إلى تعقيد الكمون واستهلاك الطاقة، وما هو دور بنية النظام في حل ذلك؟
مع زيادة حجم النموذج على الطرف، يصبح من الصعب إدارة الكمون واستهلاك الطاقة. النماذج الأكبر تعتمد بشكل أكبر على الذاكرة الخارجية، مما يزيد من كل من استهلاك الطاقة والتأخير، خاصة عندما يصبح عرض نطاق الذاكرة عنق زجاجة. على سبيل المثال، الانتقال من نموذج ببارامتر واحد مليار إلى نموذج بأربعة مليارات بارامتر سيتطلب أكثر من أربعة أضعاف عرض النطاق للحفاظ على نفس الأداء – لكن في الواقع، لا يتوسع الأداء خطيًا بسبب قيود عرض النطاق ومستوى النظام.
ليس الأمر مجرد امتلاك TOPS عالية أو ذاكرة كبيرة؛ بل يتعلق بكيفية تفاعل تلك المكونات. يضمن التصميم المتوازن أن تعمل الحوسبة والذاكرة وعرض النطاق معًا بكفاءة، مما يمنع موردًا واحدًا من تقييد النظام بأكمله.
كيف تصمم Hailo لتكون مستقبلية—نظرًا للسرعة التي تتطور بها نماذج الذكاء الاصطناعي، والأحمال، ومتطلبات النشر؟
التصميم المستقبلي في الذكاء الاصطناعي الطرفي يعني إنشاء معالجات يمكنها التعامل مع مجموعة واسعة من الأحمال المتطورة. في Hailo، نركز على بنى متوازنة لا تُصمم لمهمة واحدة فقط بل يمكنها دعم كل شيء من وظائف الإدراك مثل اكتشاف الكائنات إلى النماذج التوليدية مثل VLMs. كل نوع من الأحمال يضغط على الحوسبة والذاكرة بشكل مختلف، لذا نصمم للمرونة، متجنبين عنق الزجاجة عند الانتقال بينها. كما نأخذ في الاعتبار الحدود الواقعية للطاقة والتكلفة والكمون عبر التطبيقات. من خلال إعطاء الأولوية لتنوع الأحمال وتوازن الموارد، نهدف إلى دعم الجيل القادم من نشرات الذكاء الاصطناعي الطرفي عبر حالات الاستخدام الاستهلاكية والصناعية.
مع ذلك، لا يمكن لحجم واحد أن يناسب الجميع، وتستهدف الحافظة تطبيقات معينة قابلة للمعالجة وتحاول التوافق مع الميزانية المتاحة، مثل الطاقة، وحجم الشكل، وهذا ما يحدد “نقطة العمل”.
ما الدور الذي يلعبه نظام المطورين في تعظيم قيمة المعالج، وكيف تضمن أن الفرق يمكنها الاستفادة الكاملة من قدرات Hailo؟
كجهاز قابل للبرمجة، من الضروري توفير أدوات سهلة للمطورين لاستغلال إمكانات المعالج، وتقليل المسار إلى النشر، وتمكين حالات استخدام جديدة. من خلال توفير بيئة مدعومة جيدًا حول معالجاتنا، نساعد الفرق على إحياء تطبيقات الذكاء الاصطناعي عبر مجموعة متنوعة من حالات الاستخدام.
ما النصيحة التي توجّهها للمهندسين أو رؤساء التقنية الذين يختارون أول مسرّع للذكاء الاصطناعي لمنتج الجيل التالي الذي يُبنى اليوم؟
مع وجود الظروف الملائمة، أعتقد أن هناك إمكانات ابتكار كبيرة، تسمح لنا بتحويل الخيال إلى منتجات حقيقية. في بيئة تتغير بسرعة، اختيار مسرّع يتيح دورة سريعة من الفكرة إلى النشر أمر حاسم.
شكرًا على هذه المقابلة الرائعة، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا Hailo.
