Джей Давані є співзасновником та генеральним директором Lemurian Labs – Серія інтерв’ю

Джей Давані є співзасновником та генеральним директором Lemurian Labs. Lemurian Labs має на меті доставити доступні, доступні та ефективні комп’ютери штучного інтелекту, керуючись переконанням, що штучний інтелект не повинен бути розкішшю, а інструментом, доступним кожному. Засновницька команда в Lemurian Labs поєднує досвід у сфері штучного інтелекту, компіляторів, числових алгоритмів та комп’ютерної архітектури, об’єднана єдиною метою: переосмислити прискорене обчислення.

Розкажіть нам про свій досвід і те, що спонукало вас зайнятися штучним інтелектом спочатку?

Абсолютно. Я програмував з 12 років і створював свої власні ігри та інше, але я фактично зайнявся штучним інтелектом, коли мені було 15, завдяки другові мого батька, який цікавився комп’ютерами. Він підживлював мою цікавість і дав мені книги для читання, такі як “Комп’ютер і мозок” фон Неймана, “Перцептрони” Мінського, “Штучний інтелект: сучасний підхід” Рассела та Норвіга. Ці книги сильно вплинули на моє мислення і здавалося майже очевидним, що штучний інтелект буде трансформаційним, і я просто мав бути частиною цього поля. 

Коли настав час для університету, я дуже хотів вивчити штучний інтелект, але не знайшов жодного університету, який би пропонував це, тому вирішив спеціалізуватися в прикладній математиці. Через деякий час після вступу до університету я дізнався про результати AlexNet на ImageNet, що було дуже цікаво. На той час у мене виникло відчуття “тераз або ніколи” і я повністю зайнявся читанням кожної статті та книги, пов’язаної з нейронними мережами, і шукав лідерів у цій галузі, щоб вивчити у них, адже як часто трапляється бути присутнім при народженні нової галузі та вивчити у її піонерів. 

Дуже швидко я зрозумів, що мені не подобається дослідження, але мені подобається розв’язувати проблеми та створювати продукти, що використовують штучний інтелект. Це привело мене до роботи над автономними автомобілями та роботами, штучним інтелектом для відкриття матеріалів, генеративними моделями для багатофізичних симуляцій, штучним інтелектом для тренування професійних водіїв та налаштування автомобілів, космічними роботами, алгоритмічною торгівлею та багатьма іншими речами. 

Тепер, після всього цього, я намагаюсь приборкати витрати на навчання та розгортання штучного інтелекту, оскільки це буде найбільшим бар’єром, з яким ми зустрінемося на нашому шляху до забезпечення світу, де кожна людина та компанія зможуть мати доступ до штучного інтелекту найекономічнішим чином.

Багато компаній, що працюють у сфері прискореного обчислень, мають засновників, які побудували свої кар’єри у сфері напівпровідників та інфраструктури. Як ви думаєте, ваш попередній досвід у сфері штучного інтелекту та математики впливає на вашу здатність зрозуміти ринок та ефективно конкурувати?

Я фактично вважаю, що не походження з галузі дає мені перевагу аутсайдера. Я часто знаходжу, що не маючи знань про галузеві норми чи звичайну мудрість, дає можливість вільніше досліджувати та глибше проникати у питання, ніж більшість інших, оскільки ви не обмежені упередженнями. 

У мене є свобода запитувати “дурніші” питання та перевіряти припущення таким чином, яким більшість інших не зробили б, оскільки багато речей приймаються як істина. За останні два роки я мав кілька розмов з людьми у галузі, які були дуже догматичними щодо чогось, але вони не могли мені сказати, звідки взялося це поняття, що я знайшов дуже дивним. Мені подобається зрозуміти, чому певні рішення були прийняті, та які припущення чи умови були на той час і чи вони все ще діють. 

Маючи досвід у сфері штучного інтелекту, я схильний дивитися на це з точки зору програмного забезпечення, розглядаючи, де зараз знаходяться робочі навантаження, та всі можливі способи, якими вони можуть змінитися з часом, і моделюючи весь процес навчання та висновку, щоб зрозуміти, де знаходяться можливості для надання цінності. А оскільки я походжу з математичної галузі, мені подобається моделювати речі, щоб наблизитися до істини, і це керує мною. Наприклад, ми створили моделі для розрахунку продуктивності системи для загальної вартості володіння та ми можемо виміряти вигоду, яку ми можемо принести клієнтам за допомогою програмного забезпечення та/або апаратного забезпечення, і краще зрозуміти наші обмеження та різні можливості, які перед нами, і десятки інших моделей для різних речей. Ми дуже залежимо від даних і використовуємо знання з цих моделей, щоб керувати нашими зусиллями та компромісами. 

Ви вважаєте, що існує вихід із цієї ситуації, коли прогрес у сфері штучного інтелекту в основному полягає у масштабуванні, яке вимагає експоненційно більше обчислень та енергії?

Є завжди способи. Масштабування виявилося дуже корисним, і я не думаю, що ми бачили кінець цього процесу. Ми скоро побачимо моделі, які будуть тренуватися за ціну не менше мільярда доларів. Якщо ви хочете бути лідером у сфері генерації штучного інтелекту та створити передові фундаментальні моделі, вам потрібно буде витратити не менше кількох мільярдів доларів на рік на обчислення. Тепер є природні обмеження масштабуванню, такі як можливість створити достатньо великий набір даних для моделі такого розміру, отримати доступ до людей з потрібними знаннями та отримати достатньо обчислювальних ресурсів. 

Продовження масштабування розміру моделі є неминучим, але ми також не можемо перетворити всю поверхню Землі на планетарний суперкомп’ютер для навчання та обслуговування великих мовних моделей за очевидних причин. Щоб отримати контроль над цим, у нас є кілька можливостей, з якими ми можемо працювати: кращі набори даних, нові архітектури моделей, нові методи навчання, кращі компілятори, алгоритмічні поліпшення та експлуатація, краща комп’ютерна архітектура тощо. Якщо ми зробимо все це, то існує приблизно три порядки величини поліпшення, які можна досягти. Це найкращий вихід. 

Ви є прихильником мислення з першої принципи, як це формує вашу думку щодо того, як ви керуєте Lemurian Labs?

Ми точно застосовуємо багато мислення з першої принципи в Lemurian. Я завжди вважав, що звичайна мудрість є оманливою, оскільки це знання було сформовано в певний момент часу, коли певні припущення були справедливими, але речі завжди змінюються, і вам потрібно часто перевіряти припущення, особливо у такому швидкозмінному світі. 

Я часто задаю собі питання типу “це здається дуже хорошою ідеєю, але чому це не може спрацювати”, або “що потрібно, щоб це спрацювало”, або “що ми знаємо, що є абсолютними істинами, а які припущення ми робимо і чому?”, або “чому ми вважаємо, що цей підхід є найкращим способом розв’язання цієї проблеми”. Метою є інвалідувати та вбити ідеї якомога швидше та дешевше. Ми хочемо спробувати максимізувати кількість речей, які ми пробуємо в будь-який момент часу. Це про те, щоб бути одержимим проблемою, яка потрібно розв’язати, і не бути занадто впевненим у тому, яке технологія є найкращою. Занадто багато людей схильні надмірно зосереджуватися на технології, і вони закінчують тим, що не розуміють проблем клієнтів та пропускають переходи, які відбуваються в галузі, що може зробити їхній підхід недієвим та призвести до їхньої нездатності адаптуватися до нового стану світу.

Але мислення з першої принципи не дуже корисне само по собі. Ми схильні поєднувати його з беккастингом, який полягає у тому, щоб уявити ідеальний або бажаний результат у майбутньому та працювати назад, щоб ідентифікувати різні кроки або дії, необхідні для реалізації цього результату. Це забезпечує те, що ми зходимо до значимого розв’язання, яке не тільки інноваційне, але й ґрунтується на реальності. Це не має сенсу витрачати час на створення ідеального розв’язання, тільки щоб пізніше зрозуміти, що його неможливо побудувати через різні реальні обмеження, такі як ресурси, час, регуляторні вимоги або те, що ви створили розв’язання, яке надто складне для клієнтів. 

Коли ми іноді знаходимось у ситуації, коли нам потрібно прийняти рішення, але у нас немає даних, ми використовуємо мінімальні тести для гіпотез, які дають нам сигнал про те, чи має сенс продовжувати з цим. 

Все це разом дає нам гнучкість, швидкі цикли ітерації для швидкого ризикування, і допомогло нам скоригувати стратегії з високою впевненістю та зробити великий прогрес у дуже складних проблемах за дуже короткий час. 

Спочатку ви зосереджувалися на штучному інтелекті на краю мережі, що спонукало вас змінити фокус та перейти до обчислень у хмарі?

Ми почали з штучного інтелекту на краю мережі, оскільки на той час я був дуже зосереджений на розв’язанні конкретної проблеми, з якою я зіштовхнувся під час спроби створити світ загальної автономної робототехніки. Автономна робототехніка обіцяє стати найбільшою платформною зміною в нашій спільній історії, і здавалося, що у нас є все необхідне для створення фундаментальної моделі для робототехніки, але нам бракувало ідеального чипа для висновку з правильним балансом пропускної здатності, затримки, енергоефективності та програмованості для виконання цієї моделі. 

Я не думав про дата-центр на той час, оскільки там було достатньо компаній, які зосереджувалися на цьому, і я очікував, що вони розв’яжуть цю проблему. Ми створили дуже потужну архітектуру для цього застосування, і були готові до її реалізації, але потім стало абсолютно ясно, що світ змінився, і проблема фактично була у дата-центрі. Темп, з яким великі мовні моделі масштабуються та споживають обчислювальні ресурси, далеко перевищує темп прогресу у сфері обчислень, і коли ви враховуєте прийняття, це починає малювати тривожну картину. 

Здається, що це саме те місце, де ми повинні зосередити свої зусилля, щоб зменшити енергетичну вартість штучного інтелекту у дата-центрах якомога більше, не накладаючи обмежень на те, де та як штучний інтелект повинен розвиватися. І тому ми приступили до розв’язання цієї проблеми. 

Розкажіть нам про історію створення Lemurian Labs?

Історія починається на початку 2018 року. Я працював над тренуванням фундаментальної моделі для загальної автономності та моделі для генеративної багатофізичної симуляції для тренування агента та налаштування його для різних застосунків, і деякими іншими речами, щоб допомогти масштабуватися у багатозадачному середовищі. Але дуже швидко я вичерпав кількість обчислювальних ресурсів, які у мене були, і я оцінив, що мені потрібно понад 20 000 графічних процесорів V100. Я спробував зібрати достатньо коштів, щоб отримати доступ до цих обчислювальних ресурсів, але ринок ще не був готовий до такого масштабу. Це, однак, змусило мене думати про сторону розгортання та я сів розраховувати, яку продуктивність мені потрібно буде для обслуговування цієї моделі в цільовому середовищі, і я зрозумів, що не існує чипа, який міг би мені допомогти. 

Два роки по тому, у 2020 році, я зустрівся з Вассілем – моїм майбутнім співзасновником – щоб поспілкуватися, і я поділився з ним проблемами, з якими я зіштовхнувся під час створення фундаментальної моделі для автономності, і він запропонував створити чип для висновку, який міг би виконувати фундаментальну модель, і він поділився з мені тим, що він думав багато про формати чисел та кращі представлення допоможуть не тільки зберегти точність нейронних мереж при нижчій ширині біт, але й створити більш потужні архітектури. 

Це була цікава ідея, але вона була далеко за межами моїх можливостей. Але вона не залишила мене, що змусило мене витратити місяці на вивчення тонкостей комп’ютерної архітектури, наборів інструкцій, часу виконання, компіляторів та моделей програмування. Зрештою, створення напівпровідникової компанії почало мати сенс, і я сформував тезу про те, яка проблема була та як її розв’язати. І, потім, до кінця року ми створили Lemurian. 

Ви раніше говорили про необхідність розв’язання програмної частини спочатку при створенні апаратної частини, розкажіть нам про свою думку щодо того, чому проблема апаратної частини є перш за все програмною проблемою?

То, чого багато людей не розуміють, полягає у тому, що програмна частина напівпровідникових пристроїв є набагато складнішою, ніж сама апаратна частина. Створення корисної комп’ютерної архітектури для клієнтів, яку вони можуть використовувати та отримувати вигоду, є повною проблемою стека, і якщо у вас немає цього розуміння та підготовки з самого початку, ви закінчите з красивою архітектурою, яка дуже продуктивна та ефективна, але абсолютно недоступна для розробників, що насправді важливо. 

Є інші переваги підходу “програмне забезпечення спочатку”, наприклад, швидший час виходу на ринок. Це дуже важливо у сучасному швидкозмінному світі, де бути занадто оптимістичним щодо архітектури або функції може означати, що ви пропустите ринок зовсім. 

Не приймаючи підхід “програмне забезпечення спочатку”, зазвичай призводить до того, що ви не деризикуєте важливі речі, необхідні для прийняття продукту на ринку, не можете реагувати на зміни на ринку, наприклад, коли робочі навантаження еволюціонують несподіваним чином, і маєте недообладнану апаратну частину. Все це не дуже хороші речі. Це велика причина, чому ми ставимося до програмного забезпечення як до центру нашої уваги та чому наша точка зору полягає у тому, що ви не можете бути компанією, що займається напівпровідниками, якщо ви не є насправді компанією, що займається програмним забезпеченням. 

Розкажіть нам про свої найближчі цілі щодо програмної частини?

Коли ми проектували нашу архітектуру та думали про майбутній план та де були можливості для надання більшої продуктивності та енергоефективності, стало досить ясно, що ми побачимо багато більше гетерогенності, яка створить багато проблем на стороні програмного забезпечення. І нам не потрібно лише能够 продуктивно програмувати гетерогенні архітектури, нам потрібно мати справу з ними у масштабі дата-центру, що є викликом, з яким ми раніше не зіштовхнулися. 

Це змусило нас турбуватися, оскільки останній раз, коли нам потрібно було пройти через великий перехід, був тоді, коли галузь перейшла від одноядерних до багатокорних архітектур, і на той час нам знадобилось 10 років, щоб програмне забезпечення почало працювати та люди почали його використовувати. Ми не можемо чекати 10 років, щоб розібратися з програмним забезпеченням для гетерогенності у масштабі, це потрібно зробити зараз. І тому ми приступили до розуміння проблеми та того, що потрібно, щоб це програмне забезпечення існувало. 

Ми зараз співпрацюємо з багатьма провідними компаніями, що займаються напівпровідниками, та гіперскейлерами/постачальниками хмарних послуг, і ми випустимо своє програмне забезпечення протягом наступних 12 місяців. Це є уніфікована модель програмування з компілятором та часом виконання, здатним націлюватися на будь-який тип архітектури, і оркеструвати роботу по кластерам, що складаються з різних типів апаратного забезпечення, і здатним масштабуватися від одного вузла до тисяч вузлів для найбільшої можливої продуктивності.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, рекомендуємо відвідати Lemurian Labs.