Аві Баум, технічний директор Hailo – Інтерв’ю Серія

Аві Баум, технічний директор Hailo, очолює технологічну візію компанії та інновації продукції. Раніше він обіймав посаду технічного директора з питань бездротової зв’язку в Texas Instruments (TXN ), розробляючи стратегії для підключених мікроконтролерів на ринках IoT та IIoT, а також займав керівні посади в ізраїльських оборонних силах.

Hailo – це ізраїльська компанія з виробництва мікропроцесорів AI, що спеціалізується на високопродуктивних, низьковольтних процесорах AI для застосунків, таких як автономні транспортні засоби, розумні камери та робототехніка, підтримуваних комплексною програмною суїткою та глобальною екосистемою партнерів.

Чи можете ви розповісти, що спочатку привабило вас до галузі країв AI, і як ваші ранні інженерні досвіди сформували ваше мислення про проектування процесорів?

Мій кар’єрний шлях привів мене до областей нових ринків. Під час моєї роботи в TI (Texas Instruments), лідера в галузі напівпровідників з довгою історією, у мене була можливість очолити системний дизайн і архітектуру, очолюючи відділ визначення продукції та пізніше обіймаючи посаду технічного директора цього відділу. Це змусило мене постійно досліджувати нові технології, які, ймовірно, сформують “не надто віддалене” майбутнє.

Коли ми заснували Hailo в 2017 році, було зрозуміло, що AI, який почав розвиватися в хмарі, також мав потенціал стати технологією, що дозволяє краям пристроїв. Тому ми вибрали курс і почали цей шлях.

Чому TOPS – тера операцій в секунду – вже не є достатнім критерієм для оцінки продуктивності процесора?

TOPS вже давно є основним критерієм для оцінки апаратного забезпечення AI, але в епоху генерації AI на краях він вже не достатній. Природа класичних моделей полягає в тому, щоб перекласти велику кількість даних у значимі висновки, тому кількість обчислень, необхідних для обробки вхідних даних, зростає з кількістю даних, які потрібно обробити. Моделі для цих завдань зазвичай менші за розміром, ніж кількість даних, яку потрібно обробити, тому накладні витрати, пов’язані з доступом до параметрів моделі, відносно незначні.

Генераційні моделі, однак, помітно більші – в області мільярдів параметрів, і в цих випадках пропускна здатність пам’яті стає суттєвим фактором.

Натомість, ніж зосереджуватися лише на TOPS, критично оцінити, наскільки добре процесор балансує обчислення та пам’ять у реальних умовах. Це не про те, щоб гнатися за найвищим числом; це про те, щоб налаштувати архітектуру для завдань, які потрібно виконувати.

Чому пропускна здатність пам’яті тепер стає критичнішим вузьким місцем, ніж обчислення, у периферійних завданнях AI, особливо для LLM і VLM?

Для завдань AI на краях, особливо тих, що включають LLM або VLM, пропускна здатність пам’яті швидко стає основним вузьким місцем. Ці моделі зазвичай мають від 0,5 до 8 мільярдів параметрів, що перевищує місткість пам’яті на кристалі і вимагає доступу до зовнішньої пам’яті, наприклад DRAM. Це суттєво збільшує вимоги до пропускної здатності пам’яті. Наприклад, модель з 1 мільярдом параметрів може забезпечити до ~40 токенів за секунду під оптимальними умовами з стандартним інтерфейсом LPDDR4X, але підтримання цієї швидкості з 4-мільярдною моделлю вимагає більш ніж у чотири рази більше пропускної здатності. Без цього продуктивність страждає, не через обмежені обчислення, а через те, що процесор не може забезпечити швидке введення даних. Ця дисбаланс між обчисленнями та пам’яттю є однією з найбільш насущних проблем при розгортанні генерації AI на краях. Це ще більше посилюється в архітектурах, які обчислюють шар за шаром, де проміжні результати також збільшують трафік пам’яті та ще більше навантажують пропускну здатність.

Як команди продукту повинні змінити свою стратегію бенчмаркінгу при проектуванні для реальних застосунків на краях?

Команди продукту повинні відійти від залежності від одного показника продуктивності, такого як TOPS, і замість цього прийняти стратегію бенчмаркінгу, яка відображає реальність розгортання на краях. Це починається з розуміння конкретного випадку застосування, фактичної робочої нагрузки, яку процесор повинен обробляти, та визначення “робочої точки”: перетину обмежень потужності, вартості та затримки. Звідти це питання оцінки того, як обчислення та пам’ять взаємодіють під цими умовами. Процесор з високим TOPS не забезпечить продуктивність, якщо пропускна здатність пам’яті обмежена, а більше пам’яті не допоможе, якщо обчислювальна потужність недостатня.

Команди повинні оцінити, чи може процесор забезпечувати стабільну продуктивність при виконанні завдань, таких як сприйняття, посилення та генерація, кожне з яких має дуже різні вимоги. Метою не є оптимізація для пікових характеристик, а забезпечення балансированої продуктивності по всьому діапазону очікуваних випадків використання в реальних умовах.

Це природний перехід від “стерильних” заходів до більш складних підходів, які відображають, як платформи використовуються та як вони оцінюються – подібно до того, що відбулося з іншими архітектурами, які стали загальними (наприклад, SPEC, Coremark, 3DMark тощо).

Як обмеження потужності та вартості впливають на архітектурні рішення за процесорами Hailo, особливо для споживчих пристроїв на краях?

Потужність та вартість є двома з найбільш визначальних обмежень при проектуванні процесорів AI для пристроїв на краях, особливо в споживчих продуктах. У компактних пристроях, таких як датчики IoT або розумні домашні помічники, бюджет потужності обмежений, і часто немає активного охолодження, тому енергоефективність стає критичною. Кожний додатковий обчислювальний або пам’ятний ресурс додає потужність та тепло, що безпосередньо впливає на зручність використання та тривалість роботи батареї.

Вартість є рівноцінно впливовою. Споживчі пристрої повинні залишатися в конкурентних цінових точках, тому процесор може включати тільки певну кількість TOPS та пам’яті, перш ніж він стане економічно недоцільним. Ці обмеження змушують до складних архітектурних компромісів. В Hailo ми пріоритезуємо проекти, які забезпечують правильний баланс обчислень та пам’яті для задоволення реальних вимог застосунків у рамках обмеженого пакету потужності та вартості, забезпечуючи, щоб AI на краях став можливим, ефективним та масштабованим у широкому діапазоні споживчих продуктів.

Чи можете ви розповісти, як ви визначаєте “робочу точку” для застосунку, і чому це має таку велику важливість у розгортанні AI на краях?

Визначення “робочої точки” є одним з найбільш важливих кроків при проектуванні системи. Це стосується перетину обмежень потужності, вартості та затримки, які формують те, що реально досяжне в конкретному розгортанні. На відміну від хмари, де можна кинути більше обчислень або пам’яті на проблему, пристрої на краях працюють у фіксованому пакеті. Це означає, що потрібно робити свідомі компроміси на основі фактичних вимог застосунку. Наприклад, датчик IoT може пріоритезувати енергоефективність над суровою продуктивністю, тоді як автономна система може вимагати наднизької затримки незалежно від потужності. Як тільки робоча точка встановлена, можна оцінити, чи має процесор правильний баланс обчислень та пам’яті для задоволення цієї потреби. Це не про те, щоб максимізувати характеристики в кожному напрямку; це про те, щоб забезпечити стабільну, надійну продуктивність у реальних умовах, з якими застосунок буде зустрічатися.

Загалом кажучи, робоча точка – це місце, де ви хочете, щоб ключові показники продуктивності були оптимальними. Невдача у цьому може призвести до субоптимальної роботи під найбільш типовими сценаріями використання платформи.

Як простий приклад, можна зробити систему аналізу AI дуже ефективною, коли вхідні дані мають дуже високу роздільну здатність, але якщо це розгорнуто в системах, які ніколи не досягають цієї роздільної здатності, ця оптимізація втрачає сенс.

Як ви підходите до оптимізації по відношенню до багатомодальних моделей?

Багатомодальні моделі вимагають вдумливого балансу обчислювальних та пам’ятних ресурсів. Кожна модальність навантажує систему по-різному: відео – обчислювально-інтенсивне через високу роздільну здатність та частоту кадрів, тоді як мова та аудіо – компактніші, але розміщують більші вимоги до пропускної здатності пам’яті. У застосунках, таких як обробка мови та зору, це розрізнення стає очевидним (хоча це не гарантовано, а типовий сценарій): обробка відео тягне за собою обчислення, тоді як мова може швидко влучити в пам’ятні бутлеги.

Ми підходимо до оптимізації, розглядаючи, як ці робочі навантаження взаємодіють по всьому трубопроводу, та забезпечуючи, що процесор архітектурно спроектований для підтримки їх одночасно, не дозволяючи жодній модальності компрометувати продуктивність іншої.

Як збільшення розміру моделі на краях ускладнює затримку та споживання потужності, і яку роль відіграє системна архітектура у вирішенні цієї проблеми?

Зі збільшенням моделей для периферійних пристроїв стає складніше контролювати затримку та енергоспоживання. Великі моделі сильніше залежать від зовнішньої пам’яті, що збільшує обидва показники, особливо коли пропускна здатність пам’яті стає вузьким місцем. Наприклад, перехід від моделі з 1 млрд параметрів до моделі з 4 млрд потребує більш ніж учетверо більшої пропускної здатності для збереження тієї самої продуктивності. На практиці ж продуктивність не масштабується лінійно через обмеження пропускної здатності та всієї системи.

Це не тільки про те, щоб мати високі TOPS або велику пам’ять; це про те, як ці компоненти взаємодіють. Балансований дизайн забезпечує, що обчислення, пам’ять та пропускна здатність працюють разом ефективно, запобігаючи тому, щоб один ресурс обмежував всю систему.

Як Hailo проектує майбутнє – враховуючи, як швидко еволюціонують моделі AI, робочі навантаження та вимоги до розгортання?

Підготовка до майбутнього периферійного ШІ означає проєктування процесорів, здатних виконувати широкий спектр робочих навантажень, що постійно розвиваються. У Hailo ми зосереджуємося на збалансованих архітектурах, які підтримують усе — від задач сприйняття до генеративних моделей на кшталт VLM. Кожний тип навантаження по-різному використовує обчислювальні ресурси й пам’ять, тому ми закладаємо гнучкість та уникаємо вузьких місць під час перемикання між ними. Ми також враховуємо реальні обмеження потужності, вартості й затримки в різних застосунках. Віддаючи пріоритет різноманітності навантажень і балансу ресурсів, ми прагнемо підтримати наступне покоління периферійних систем ШІ для споживчих і промислових сценаріїв.

Однак, один розмір не може підходити всім, і портфель орієнтований на певні адресовані застосування та намагається поміститися у доступний бюджет, наприклад, потужності, форми та цього визначає “робочу точку”.

Яка роль відіграє екосистема розробників у максимізації цінності процесора, і як ви забезпечуєте, щоб команди могли повністю використовувати можливості Hailo?

Як програмований пристрій, важливо мати прості інструменти для розробників, щоб вони могли реалізувати потенціал процесора, скоротити шлях до розгортання та дозволити нові випадки використання. Надавши добре підтримуване середовище навколо наших процесорів, ми допомагаємо командам оживити застосунки AI по всьому спектру випадків використання.

Яку пораду ви дали б інженерам або технічним директорам, які обирають свій перший прискорювач AI для наступної генерації продукту, який будується сьогодні?

З зрілими умовами, я вважаю, що існує багато інноваційного потенціалу, що дозволяє нам перекладати уяву у реальні продукти. У швидко змінюваному середовищі вибір прискорювача, який дозволяє швидкий цикл концепції до розгортання, є критичним.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Hailo.