Бен Коска, засновник і генеральний директор SF Tensor – Серія інтерв’ю

Бен Коска, засновник і генеральний директор SF Tensor, є дослідником штучного інтелекту і системним інженером, відомим своєю роботою над високопродуктивними обчисленнями, оптимізацією ядра і ефективною тренуванням моделей. Його досвід охоплює розробку низькорівневої інфраструктури штучного інтелекту, поліпшення пропускної здатності тренування і створення інструментів, які роблять розвиток передових моделей доступним без великих інженерних витрат. Він зосереджується на будівництві систем, які розширюють межі швидкості, портативності і надійності на гетерогенному обладнанні.

SF Tensor – це компанія, яку він очолює, щоб перетворити цю філософію у практичну платформу. Вона вводить уніфіковану модель програмування, оптимізатор ядра і шар оркестрації у хмарі, призначений для видалення складності розподілених завдань штучного інтелекту. Платформа має на меті надати інженерам чисте, апаратно-незалежне середовище, в якому вони можуть писати код один раз, розгортати всюди і автоматично досягати високої продуктивності. Місія SF Tensor – зробити обчислення штучного інтелекту значно швидшим, легшим у керуванні і вільним від залежності від постачальників.

Ви заснували SF Tensor у віці 19 років після того, як вже очолювали інженерію в декількох стартапах. Що спонукало вас прийняти виклик переосмислення інфраструктури штучного інтелекту так рано у своїй кар’єрі?

Проблема, яку ми вирішуємо, – це проблема, про яку я глибоко турбуюсь, оскільки це проблема, з якою я сам зіштовхнувся. Коли ми розробляли те, що зараз є ядром SF Tensor, ми не працювали над комерційним проєктом, а над академічним проєктом. Ми отримали грант на проведення деяких цікавих досліджень, але провели більшу частину часу на боротьбі з інфраструктурою і оптимізацією, а не на проведенні досліджень. Ми виявили, що люди були універсально більш зацікавлені в наших технологіях інфраструктури, а не в нашому дослідницькому проєкті.

SF Tensor займається однією з найскладніших проблем штучного інтелекту – звільнення від домінування NVIDIA CUDA. Як ви підходили до розробки системи, яка могла б досягти справжньої апаратної портативності без компромісу продуктивності?

У кінцевому підсумку, все штучний інтелект зводиться до простої математики. Кожна модель є суттєво набором математичних операцій, які нам потрібно обчислити. Розглядаючи це в першу чергу як математичну проблему, а не проблему комп’ютерної науки, ми можемо визначити найменший набір обмежень на розрахунки, а потім згенерувати мільйони різних способів перетворення цих розрахунків у машинний код, знаходимо найшвидший. Це легше сказати, ніж зробити, оскільки ми не можемо фактично запустити мільярди різних програм, щоб знайти найшвидшу, тому нам потрібно було розробити точну математичну модель для оцінки швидкості програми для даного апаратного забезпечення, яка є однією з основних інновацій, що робить можливим те, що ми робимо сьогодні.

Блог компанії підкреслює інновації навколо компілятора оптимізації і оркестрації у хмарі. Чи можете ви пояснити, як підхід SF Tensor відрізняється від існуючих фреймворків, таких як PyTorch або JAX?

Ми ще не написали технічний блог про це, але ми фактично підтримуємо фреймворки, такі як PyTorch і JAX, що дозволяє коду, написаному в них, бути оптимізованим нашим стеком. Є кілька архітектурних рішень, які JAX і PyTorch прийняли, що відрізняють їх від нашого стека, але найбільш значущим є те, що ми розглядаємо всю модель як одне обчислення, яке потрібно розв’язати, а не окремі модулі, які потрібно окремо і спільно оптимізувати. Таким чином, замість застосування традиційних технік оптимізації компілятора і спроби застосувати кожну окрему оптимізацію, ми створюємо простір пошуку мільйонів потенційних ядер і стверджуємо, що жодна людина не може створити набір правил для перетворення будь-якого коду в найшвидший, тому нам потрібно просто створити кожну комбінацію і потім ідентифікувати найшвидшу.

Багато стартапів зосереджені на ефективності тренування, але ви підкреслили “податок на інфраструктуру” – час, який дослідники втрачають на керування обчисленнями, а не на інновації. Як SF Tensor вирішує цей дисбаланс?

Ми вважаємо, що обидві проблеми потрібно вирішувати, і багато нашої роботи спрямовано на вирішення ефективності тренування, але найбільш гостра проблема, яку ми можемо вирішити зараз без залежності від майбутніх інновацій, – це податок на інфраструктуру, оскільки це проблема, яку ми вже вирішили для себе.

Ви згадували про досягнення до 80% зниження витрат на тренування. Які конкретні оптимізації або архітектурні прориви роблять це можливим?

Наш весь програмний стек побудований на ідеї про те, що компілятор на основі пошуку завжди переможе людські правила. До цього часу найбільшим обмеженням цих компіляторів було те, що не можливо протестувати і ранжувати мільярди або навіть мільйони ядер. Тому нам потрібно було створити математичну модель обчислень, яка зможе точно оцінити час, необхідний для виконання даного розрахунку або набору розрахунків, на даному апаратному забезпеченні. Роблячи це, ми можемо розширити наш простір пошуку, а потім скоротити його, що є необхідним, якщо ви хочете знайти найшвидші ядра постійно.

Як ваш досвід у будівництві мови програмування Emma впливає на архітектуру і філософію SF Tensor щодо продуктивності і абстракції?

Не кажіть моїм інвесторам, але в серці я все ще компіляторний інженер. Я завжди був зацікавлений у пошуку різних способів зробити речі навіть трохи швидшими. Розробляючи Emma, ми викинули весь компілятор 4 або 5 разів; ми почали з нуля кожен раз, оскільки ми зіштовхнулися з оптимізацією, яку не могли реалізувати з урахуванням поточних обмежень, що змусило нас переробити систему, щоб зробити її ще більш загальною, при цьому дозволяючи нам опуститися на найнижчий рівень оптимізації, коли це необхідно, часто йдучи проти загальних принципів компілятора і мови програмування. Ці знання і результатна архітектура, поєднані майже з двома роками того, що виглядало для багатьох як незначні оптимізації і неправильні ставки, скумулювалися в систему, яка дозволяє нам зараз ітерувати швидше і оптимізувати краще, ніж будь-які з систем, які слідували загальним принципам, оскільки ці принципи фундаментально розроблені для ЦП, а не для ГП і моделей штучного інтелекту.

Ви працювали над великомасштабними тренувальними запусками на 4 000+ ГП – які були деякими з найбільших уроків, вивчених у керуванні обчисленнями у такому масштабі? 

Одним із найбільших уроків є те, що апаратна невдача значно поширеніша і проблематична, ніж можна було б припустити. Пробувши багато часу, працюючи з традиційними програмами і компіляторами, загалом кажучи, комп’ютер робить саме те, що йому наказано, і якщо щось піде не так, це майже завжди вина людини, яка написала код. З іншого боку, апаратна невдача є звичайним явищем, особливо у розподілених тренувальних запусках на дуже великих кластерах. У поєднанні з цим є той факт, що на відміну від ЦП, які загалом діють у досить детермінованій і передбачуваній манері, ГП іноді без пояснення роблять речі, такі як зниження тактової частоти без явної причини, що сповільнює весь процес тренування, оскільки одна чип робить все повільніше.

Y Combinator підтримала деякі з найбільш трансформативних інфраструктурних компаній у техніці. Як цей досвід сформував ваш підхід до масштабування продукту і бачення SF Tensor? 

Починаючи з Y Combinator, я думав, що ставка, на яку ми хотіли зробити тоді, була амбітною. Через кілька тижнів наша визначення амбітного змінилося, і ми подвоїли ставку на ще більшу ставку. З іншого боку, відчуття спільноти і навчання, яке я можу підняти телефон або надіслати електронну пошту майже будь-якій компанії або людині там і отримати відповідь і пораду протягом декількох годин до днів, змінило те, як ми думаємо про вирішення проблем і прийняття значно більш колаборативного підходу.

Оглядаючи майбутнє, ви висловили інтерес до моделей, які не є моделями великого мови, робототехніки і синтетичних даних. Як ці області входять у вашу довгострокову бачення компанії? 

Моделі великого мови абсолютно цікава технологія і будуть мати інтегральну частку в тому, як світ виглядатиме в майбутньому, але причина, по якій вони значно більш розвинені, ніж будь-яка інша область штучного інтелекту, полягає в тому, що в них вкладається багато грошей, і достатньо людей співпрацюють над проблемою, тому вони стали досить оптимізованими. Якщо ми можемо знизити бар’єр входу, дозволивши дослідникам по всій країні і планеті, навіть тим, хто має обмежені ресурси і мало знань про оптимізацію, проводити свої дослідження якомога дешевше і ефективніше, я думаю, ми побачимо цілу нову генерацію моделей, які будуть вирішувати проблеми, які моделі великого мови не підходять, або через те, що вони взаємодіють з фізичним світом, або через те, що це проблеми, які не можуть бути належним чином виражені мовою.

Що ви думаєте, яким буде стек інфраструктури штучного інтелекту через п’ять років – і де ви бачите роль SF Tensor у ньому?

Через п’ять років я сподіваюся, що багато компаній розроблять і випустять свої спеціалізовані чипи, і що дослідники зможуть використовувати їх і використовувати їх без потреби писати код конкретно для них, ідеально без навіть знання про їхнє існування. Це майбутнє, до якого ми працюємо, і я вірю, що ми будемо грати значну роль у його формуванні.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати SF Tensor.