Джей Давані є співзасновником і генеральним директором Lemurian Labs – Серія інтерв’ю

Джей Давані є співзасновником і генеральним директором Lemurian Labs. Лемурійські лабораторії має на меті розробити недорогі, доступні та ефективні комп’ютери зі штучним інтелектом, керуючись переконанням, що ШІ має бути не розкішшю, а інструментом, доступним кожному. Команда засновників Lemurian Labs поєднує досвід у галузі ШІ, компіляторів, числових алгоритмів і комп’ютерної архітектури, об’єднаних єдиною метою: переосмислити прискорені обчислення.

Чи можете ви розповісти нам про своє минуле та wщо привело вас до ШІ?

Абсолютно. Я програмував з 12 років і створював власні ігри тощо, але насправді я почав займатися штучним інтелектом у 15 років завдяки другу мого батька, який любив комп’ютери. Він задовольнив мою цікавість і дав мені прочитати такі книги, як «Комп’ютер і мозок» фон Неймана, «Персептрони» Мінського, «Сучасний підхід ШІ» Рассела та Норвіга. Ці книги дуже вплинули на моє мислення, і тоді було майже очевидно, що штучний інтелект буде трансформаційним, і я просто повинен бути частиною цієї сфери. 

Коли прийшов час вступу до університету, я дуже хотів вивчати штучний інтелект, але я не знайшов жодного університету, який би це пропонував, тому я вирішив натомість вивчати прикладну математику, і через деякий час після вступу до університету я почув про результати AlexNet на ImageNet, які було справді захоплююче. У той час у моїй голові був момент «зараз або ніколи», і я з повною нудою читав кожну статтю та книгу, які могли потрапити до мене, пов’язані з нейронними мережами, і шукав усіх лідерів у цій галузі, щоб повчитися у них, тому що як часто вам доводиться бути присутнім на зародженні нової галузі та вчитися у її піонерів. 

Дуже швидко я зрозумів, що мені не подобаються дослідження, а мені подобається вирішувати проблеми та створювати продукти з підтримкою штучного інтелекту. Це привело мене до роботи над автономними автомобілями та роботами, штучним інтелектом для відкриття матеріалів, генеративними моделями для багатофізичних симуляцій, симуляторами на основі штучного інтелекту для навчання професійних водіїв гоночних автомобілів і допомоги в налаштуваннях автомобілів, космічних роботів, алгоритмічної торгівлі та багато іншого. 

Тепер, зробивши все це, я намагаюся платити за навчання та розгортання штучного інтелекту, тому що це буде найбільшою перешкодою на нашому шляху до створення світу, де кожна людина та компанія зможуть мати доступ до ШІ та отримувати від нього користь. найбільш економним способом.

Багато компаній, що працюють у сфері прискорених обчислень, мають засновників, які зробили кар’єру в галузі напівпровідників та інфраструктури. Як, на вашу думку, ваш минулий досвід у сфері ШІ та математики впливає на вашу здатність розуміти ринок і ефективно конкурувати?

Насправді я вважаю, що не приходжу з галузі дає мені перевагу аутсайдера. Я часто бачив, що відсутність знання галузевих норм чи загальноприйнятих поглядів дає людині свободу досліджувати вільніше та глибше, ніж більшість інших, тому що ти не обтяжений упередженнями. 

Я маю свободу задавати «дурніші» запитання та перевіряти припущення так, як більшість інших не зробили б, тому що багато речей є загальноприйнятою істиною. За останні два роки я кілька разів спілкувався з людьми в індустрії, де вони були дуже догматичними щодо чогось, але вони не могли сказати мені походження ідеї, що мене дуже спантеличило. Мені подобається розуміти, чому були зроблені певні вибори, які припущення чи умови існували в той час і чи вони досі актуальні. 

Оскільки я займаюся штучним інтелектом, я, як правило, розглядаю програмне забезпечення, дивлячись на сьогоднішні робочі навантаження, і ось усі можливі способи, як вони можуть змінюватися з часом, а також моделювання всього конвеєра машинного навчання для навчання та висновків, щоб зрозуміти вузькі місця, які говорять я там, де є можливості для досягнення цінності. І оскільки я маю математичний досвід, мені подобається моделювати речі, щоб наблизитися до істини якомога ближче, і це веде мене. Наприклад, ми створили моделі для розрахунку продуктивності системи для загальної вартості володіння, і ми можемо виміряти переваги, які ми можемо принести клієнтам за допомогою програмного та/або апаратного забезпечення, і щоб краще зрозуміти наші обмеження та різні ручки, доступні нам, і десятки інші моделі для різного. Ми дуже керуємося даними, і використовуємо інформацію з цих моделей, щоб керувати нашими зусиллями та компромісами. 

Схоже, що прогрес у штучному інтелекті в першу чергу став результатом масштабування, яке потребує експоненціально більших обчислювальних ресурсів та енергії. Здається, ми беремо участь у гонці озброєнь, коли кожна компанія намагається створити найбільшу модель, і кінця цьому не видно. Як ви думаєте, чи є з цього вихід?

Шляхи є завжди. Масштабування виявилося надзвичайно корисним, і я не думаю, що ми ще бачили кінець. Зовсім скоро ми побачимо, як тренуються моделі, вартість яких становить щонайменше мільярд доларів. Якщо ви хочете бути лідером у генеративному штучному інтелекті та створювати передові базові моделі, вам доведеться витрачати принаймні кілька мільярдів на рік на обчислення. Тепер існують природні обмеження для масштабування, такі як можливість побудувати достатньо великий набір даних для моделі такого розміру, отримати доступ до людей із відповідними ноу-хау та отримати доступ до достатньої кількості обчислювальних ресурсів. 

Постійне збільшення розміру моделі неминуче, але ми також не можемо перетворити всю земну поверхню на суперкомп’ютер розміром з планету для навчання та обслуговування магістрів права зі зрозумілих причин. Щоб контролювати це, у нас є кілька ручок, якими ми можемо пограти: кращі набори даних, нові архітектури моделей, нові методи навчання, кращі компілятори, алгоритмічні вдосконалення та використання, краща комп’ютерна архітектура тощо. Якщо ми все це зробимо, можна буде знайти покращення приблизно на три порядки величини. Це найкращий вихід. 

Ви вірите в основні принципи мислення, як це формує ваше мислення для того, як ви керуєте Lemurian Labs?

Ми, безперечно, використовуємо багато основних принципів мислення в Lemurian. Я завжди вважав загальноприйняту думку оманливою, оскільки ці знання були сформовані в певний момент часу, коли були певні припущення, але все завжди змінюється, і вам потрібно часто перевіряти припущення, особливо коли живете в такому швидкоплинному світі. 

Я часто задаю собі запитання на кшталт «це здається гарною ідеєю, але чому це може не спрацювати», або «що має бути правдою, щоб це спрацювало», або «що ми знаємо, що є абсолютною істиною та які припущення ми робимо і чому?», або «чому ми вважаємо, що саме цей підхід є найкращим способом вирішення цієї проблеми». Мета полягає в тому, щоб зробити недійсними та знищити ідеї якомога швидше та дешевше. Ми хочемо спробувати збільшити кількість речей, які ми пробуємо в будь-який момент часу. Йдеться про те, щоб бути одержимим проблемою, яку потрібно вирішити, і не бути надмірно самовпевненим щодо того, яка технологія найкраща. Забагато людей, як правило, надмірно зосереджуються на технології, і в кінцевому підсумку вони неправильно розуміють проблеми клієнтів і пропускають зміни, що відбуваються в галузі, що може зробити недійсним їхній підхід і призвести до їхньої нездатності адаптуватися до нового стану світу.

Але мислення на перших принципах не так вже й корисне саме по собі. Ми схильні поєднувати це з ретроспективним аналізом, що в основному означає уявити ідеальний або бажаний майбутній результат і працювати назад, щоб визначити різні кроки або дії, необхідні для його реалізації. Це гарантує, що ми знайдемо значуще рішення, яке є не лише інноваційним, але й ґрунтується на реальності. Немає сенсу витрачати час на пошук ідеального рішення лише для того, щоб зрозуміти, що його неможливо побудувати через ряд обмежень реального світу, таких як ресурси, час, регулювання або створення, здавалося б, ідеального рішення, але пізніше це з’ясується ви зробили це занадто складним для клієнтів.

Час від часу ми опиняємося в ситуації, коли нам потрібно прийняти рішення, але не маємо даних, і в цьому сценарії ми використовуємо мінімум гіпотез, які можна перевірити, які дають нам сигнал щодо того, чи має сенс щось шукати з найменшими витратами. витрат енергії. 

Все це в поєднанні дає нам гнучкість, швидкі цикли ітерації для швидкого зменшення ризиків елементів, і допомогло нам налаштувати стратегії з високою впевненістю та досягти значного прогресу в дуже складних проблемах за дуже короткий проміжок часу. 

Спочатку ви були зосереджені на край AI, що спонукало вас переорієнтуватися на хмарні обчислення?

Ми почали з периферійного штучного інтелекту, оскільки в той час я був дуже зосереджений на спробах вирішити дуже конкретну проблему, з якою зіткнувся, намагаючись відкрити світ автономної робототехніки загального призначення. Автономна робототехніка обіцяє стати найбільшою зміною платформи в нашій спільній історії, і здавалося, що у нас є все необхідне для створення базової моделі для робототехніки, але нам не вистачає ідеального чіпа висновку з правильним балансом пропускної здатності, затримки та енергоефективності. , а також можливість програмування для запуску зазначеної базової моделі.

У цей час я не думав про дата-центр, оскільки там було більш ніж достатньо компаній, які зосереджувалися на ньому, і я очікував, що вони це зрозуміють. Ми розробили справді потужну архітектуру для цього простору додатків і готувалися її записати, а потім стало абсолютно зрозуміло, що світ змінився, і проблема справді в центрі обробки даних. Швидкість, з якою магістерські програми масштабувалися та споживали обчислювальні ресурси, значно випереджає темпи прогресу в обчислювальній техніці, і якщо взяти до уваги впровадження, це починає малювати тривожну картину. 

Здавалося, що саме тут ми повинні зосередити наші зусилля, щоб максимально знизити витрати на енергію ШІ в центрах обробки даних, не накладаючи обмежень на те, де і як ШІ має розвиватися. І тому ми почали працювати над вирішенням цієї проблеми. 

Чи можете ви поділитися історією походження співзасновника Lemurian Labs?

Історія починається на початку 2018 року. Я працював над навчанням базової моделі для автономності загального призначення разом із моделлю для генеративної мультифізичної симуляції, щоб навчити агента та налаштувати його для різних програм, а також над деякими іншими речами, які допомагали масштабувати в мульти -агентні середовища. Але дуже швидко я вичерпав свій обчислювальний ресурс, і, за моїми підрахунками, потрібно більше 20,000 100 графічних процесорів VXNUMX. Я намагався зібрати достатньо, щоб отримати доступ до комп’ютера, але ринок ще не був готовий до такого масштабу. Однак це змусило мене задуматися про розгортання, і я сів, щоб підрахувати, яка продуктивність мені знадобиться для обслуговування цієї моделі в цільових середовищах, і я зрозумів, що не існує мікросхеми, яка могла б це зробити. 

Кілька років потому, у 2020 році, я зустрівся з Вассілом, моїм майбутнім співзасновником, щоб надолужити згаяне, і поділився труднощами, через які я пройшов, створюючи базову модель автономії, і він запропонував створити мікросхему для висновків, яка могла б керувати основою модель, і він поділився, що багато думав про числові формати, а краще представлення допоможе не тільки змусити нейронні мережі зберігати точність при меншій бітовій ширині, але й створити потужнішу архітектуру. 

Це була інтригуюча ідея, але вона була далекою від моєї рубки. Але це не залишало мене, що змусило мене витрачати місяці й місяці на вивчення тонкощів комп’ютерної архітектури, наборів інструкцій, середовища виконання, компіляторів і моделей програмування. Зрештою створення напівпровідникової компанії мало сенс, і я сформував тезу про те, в чому полягає проблема та як її вирішити. А наприкінці року ми почали Lemurian. 

Раніше ви говорили про те, що при розробці апаратного забезпечення необхідно спершу розібратися з програмним забезпеченням, чи могли б ви детальніше розповісти про те, чому проблема з апаратним забезпеченням є перш за все проблемою програмного забезпечення?

Багато людей не розуміють, що програмне забезпечення напівпровідників набагато складніше, ніж саме апаратне забезпечення. Побудова корисної архітектури комп’ютера для використання клієнтами та отримання від неї переваг — це повна проблема, і якщо у вас немає такого розуміння та готовності, ви отримаєте красиву на вигляд архітектуру, яка є дуже продуктивною та ефективною, але абсолютно непридатний для розробників, що насправді важливо. 

Звичайно, є й інші переваги використання підходу «перша частина програмного забезпечення», наприклад, швидший час виходу на ринок. Це надзвичайно важливо в сучасному світі, що швидко змінюється, де занадто оптимізм щодо архітектури чи функції може означати, що ви повністю втратите ринок. 

Відсутність погляду на програмне забезпечення, як правило, призводить до того, що ви не ризикуєте важливими речами, необхідними для впровадження продукту на ринку, не можете реагувати на зміни на ринку, наприклад, коли робоче навантаження розвивається неочікуваним чином, і недостатньо використовуєте апаратне забезпечення. Все не чудові речі. Це велика причина, чому ми дуже дбаємо про те, щоб бути орієнтованими на програмне забезпечення, і чому ми вважаємо, що ви не можете бути компанією з виробництва напівпровідників, не будучи справді компанією з програмного забезпечення. 

Чи можете ви обговорити свої найближчі цілі щодо стека програмного забезпечення?

Коли ми розробляли нашу архітектуру та думали про перспективну дорожню карту та про можливості підвищення продуктивності та енергоефективності, стало дуже ясно, що ми побачимо набагато більше неоднорідності, що створить багато проблем на програмне забезпечення. І нам потрібно не просто мати можливість продуктивно програмувати різнорідні архітектури, ми маємо мати справу з ними в масштабі центру обробки даних, що є проблемою, з якою ми раніше не стикалися. 

Це викликало у нас занепокоєння, тому що востаннє нам довелося пройти значний перехід, коли індустрія перейшла від одноядерних до багатоядерних архітектур, і тоді знадобилося 10 років, щоб програмне забезпечення працювало і люди його використовували. Ми не можемо дозволити собі чекати 10 років, щоб розібратися в програмному забезпеченні для неоднорідності в масштабі, це потрібно розібрати зараз. Отже, ми маємо працювати над розумінням проблеми та того, що має існувати, щоб існував цей стек програмного забезпечення. 

Наразі ми співпрацюємо з багатьма провідними напівпровідниковими компаніями та постачальниками гіпермасштабувальників/хмарних послуг і випустимо наш стек програмного забезпечення протягом наступних 12 місяців. Це уніфікована модель програмування з компілятором і середовищем виконання, здатними орієнтуватися на будь-яку архітектуру та оркеструвати роботу в кластерах, що складаються з різних типів обладнання, і здатні масштабуватися від одного вузла до кластера з тисячі вузлів для максимально можливої ​​продуктивності. .

Дякую за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати Лемурійські лабораторії.