Юбеї Чен, співзасновник Aizip Inc – Серія інтерв’ю

Юбеї Чен є співзасновником Aizip inc., компанії, яка створює найменші та найефективніші моделі штучного інтелекту. Він також є асистентом професора в департаменті елекротехніки та комп’ютерних наук Університету Каліфорнії, Девіс. Дослідження Чена знаходиться на перетині комп’ютерної нейробіології та глибокого безопeraційного (самооперованого) навчання, що покращує наше розуміння обчислювальних принципів, які керують безопeraційним навчанням представлень у мозку та машинах, і змінює наше розуміння природної статистики сигналів.

До того, як він приєднався до Університету Каліфорнії, Девіс, Чен проходив постдокторські дослідження з професором Яном Лекуном у Центрі даних науки Нью-Йоркського університету (CDS) та Meta Fundamental AI Research (FAIR). Він закінчив докторантуру в Центрі теоретичної нейробіології та Беркліському дослідницькому інституті штучного інтелекту (BAIR), Університет Каліфорнії, Берклі, під керівництвом професора Бруно Ольсгаузена.

Aizip розробляє ультра-ефективні рішення штучного інтелекту, оптимізовані для пристроїв краю, пропонуючи компактні моделі для зору, аудіо, часових рядів, мови та сенсорної фузії. Її продукти дозволяють виконувати завдання, такі як розпізнавання облич та об’єктів, розпізнавання ключових слів, аналіз ЕКГ/ЕЕГ та чат-боти на пристрої, всі вони працюють на основі TinyML. За допомогою платформи штучного інтелекту Aizipline компанія прискорює розробку моделей, використовуючи фундаментальні та генеративні моделі для руху до повної автоматизації проектування штучного інтелекту. Серія малих мовних моделей Aizip (300M–2B параметрів) підтримує широкий спектр пристроїв, привнося інтелектуальні можливості на край.

Ви проходили постдокторські дослідження з Яном Лекуном у Нью-Йоркському університеті та Meta FAIR. Як робота з ним та ваші дослідження в Університеті Каліфорнії, Берклі, сформували ваш підхід до створення реальних рішень штучного інтелекту?

У Берклі моя робота була глибоко пов’язана з науковими дослідженнями та математичною строгістю. Мої дослідження докторантури, які поєднували електротехніку, комп’ютерні науки та комп’ютерну нейробіологію, були зосереджені на розумінні систем штучного інтелекту з “білого ящика” або розробці методів, які розкривають основні структури даних та моделей навчання. Я працював над створенням інтерпретованих, високопродуктивних моделей штучного інтелекту та візуалізаційних технік, які допомогли відкритися чорним коробкам штучного інтелекту.

У Meta FAIR увага була зосереджена на розробці систем штучного інтелекту для досягнення найвищої продуктивності у масштабі. З доступом до світового класу обчислювальних ресурсів, я досліджував межі самооперованого навчання та внесли свій внесок у те, що ми зараз називаємо “світовими моделями” — системами штучного інтелекту, які вчаться з даних та уявляють можливі середовища. Цей подвійний досвід — наукове розуміння в Берклі та інженерно-орієнтована масштабованість у Meta — дав мені комплексний погляд на розвиток штучного інтелекту. Він підкреслив важливість того, що обидва теоретичні знання та практична реалізація мають значення при розробці рішень штучного інтелекту для реальних застосунків.

Ваша робота поєднує комп’ютерну нейробіологію зі штучним інтелектом. Як знання з нейробіології впливають на те, як ви розробляєте моделі штучного інтелекту?

У комп’ютерній нейробіології ми вивчаємо, як мозок обробляє інформацію, вимірюючи його реакції на різні стимули, подібно до того, як ми досліджуємо моделі штучного інтелекту, щоб зрозуміти їх внутрішні механізми. На початку своєї кар’єри я розробив візуалізаційні техніки для аналізу вкладень слів — розбивки слів, таких як “яблуко”, на їх складові семантичні елементи, такі як “фрукт” та “технологія”. Пізніше цей підхід розширився до більш складних моделей штучного інтелекту, таких як трансформери та великі мовні моделі, які допомогли розкрити, як вони обробляють та зберігають знання.

Ці методи фактично паралельні технікам у нейробіології, таким як використання електродів або фМРТ для вивчення активності мозку. Дослідження внутрішніх представлень моделі штучного інтелекту дозволяє нам зрозуміти її стратегії прийняття рішень та виявити виникнення властивостей, таких як нейрони-концепти, які активауються для конкретних ідей (наприклад, особливості моста Золоті Ворота, яку виявила компанія Anthropic при картуванні моделі Claude). Ця лінія досліджень зараз широко прийнята в галузі, оскільки вона довела свою ефективність для забезпечення інтерпретації та практичних втручань, усунення упереджень з моделей. Отже, підходи, натхнені нейробіологією, допомагають нам зробити штучний інтелект більш зрозумілим, надійним та ефективним.

Що надихнуло вас на співзаснування Aizip? Чи можете ви розповісти про шлях від концепції до запуску компанії?

Як фундаментальний дослідник штучного інтелекту, більша частина моєї роботи була теоретичною, але я хотів звузити розрив між дослідженнями та реальними застосунками. Я співзаснував Aizip, щоб привести інновації штучного інтелекту у практичне використання, особливо в середовищах з обмеженими ресурсами. Замість будівництва великих фундаментальних моделей ми зосередилися на розробці найменших та найефективніших моделей штучного інтелекту, які будуть оптимізовані для пристроїв краю.

Шлях фактично розпочався з ключового спостереження: поки розвиток штучного інтелекту швидко зростав, реальні застосування часто вимагали компактних та високоефективних моделей. Ми побачили можливість піонерства нового напрямку, який балансував наукову строгість з практичною реалізацією. Використовуючи знання з самооперованого навчання та компактних архітектур моделей, Aizip змогла доставити рішення штучного інтелекту, які працюють ефективно на краю та відкривають нові можливості для штучного інтелекту у вбудованих системах, Інтернеті речей та за його межами.

Aizip спеціалізується на малих моделях штучного інтелекту для пристроїв краю. Яка прогалина на ринку ви бачили, що привела до цього акценту?

Галузь штучного інтелекту в основному зосереджувалася на масштабуванні моделей, але реальні застосування часто вимагають протилежного — високої ефективності, низького споживання енергії та мінімальної затримки. Багато моделей штучного інтелекту сьогодні надто обчислювально дорогі для розгортання на малих вбудованих пристроях. Ми побачили прогалину на ринку рішень штучного інтелекту, які можуть доставити сильну продуктивність, працюючи в умовах крайніх обмежень ресурсів.

Ми визнали, що не кожному застосунку штучного інтелекту потрібно працювати на масивних моделях, і що це також не буде масштабованим, щоб покладатися на моделі такого розміру для всього. Замість цього ми зосереджуємося на оптимізації алгоритмів для досягнення максимальної ефективності, зберігаючи точність. Розробляючи моделі штучного інтелекту, призначені для застосунків краю — чи то в розумних сенсорах, носимих пристроях або промисловій автоматизації — ми дозволяємо штучному інтелекту працювати в місцях, де традиційні моделі були б недоцільними. Наш підхід робить штучний інтелект більш доступним, масштабованим та енергоефективним, розблоковуючи нові можливості для інновацій, керованих штучним інтелектом, за межами хмари.

Aizip була на передовій розробки малих мовних моделей (SLM). Як ви бачите конкуренцію або доповнення великих моделей, таких як GPT-4?

SLM та великі моделі, такі як GPT-4, не конкурують безпосередньо, оскільки вони служать різним потребам. Великі моделі потужні у плані узагальнення та глибокого розуміння, але вимагають суттєвих обчислювальних ресурсів. SLM розроблені для ефективності та розгортання на низькопотужних пристроях краю. Вони доповнюють великі моделі, дозволяючи можливості штучного інтелекту у реальних застосуваннях, де обчислювальна потужність, затримка та витрати мають значення — наприклад, у пристроях Інтернету речей, носимих пристроях та промисловій автоматизації. По мірі зростання прийняття штучного інтелекту ми бачимо появу гібридного підходу, коли великі, хмарні моделі обробляють складні запити, а SLM забезпечують реальне, локалізоване інтелект на краю.

Які найбільші технічні виклики у створенні моделей штучного інтелекту достатньо ефективними для низькопотужних пристроїв краю?

Одним із фундаментальних викликів є відсутність повного теоретичного розуміння того, як працюють моделі штучного інтелекту. Без чіткого теоретичного підґрунтя зусилля з оптимізації часто є емпіричними, обмежуючи вигоди з ефективності. Крім того, навчання людини відбувається різними способами, яких поточні парадигми машинного навчання не повністю охоплюють, що робить складним розробку моделей, які імітують людську ефективність.

З інженерної точки зору, поштовх штучного інтелекту до роботи в умовах крайніх обмежень вимагає інноваційних рішень у стисненні моделей, квантуванні та проектуванні архітектури. Іншим викликом є створення моделей штучного інтелекту, які можуть адаптуватися до різноманітних пристроїв та середовищ, зберігаючи при цьому надійність. По мірі того, як штучний інтелект все більше взаємодіє з фізичним світом через Інтернет речей та сенсори, потреба у природних та ефективних інтерфейсах — таких як голосове та жестове розпізнавання та інші нетрадиційні входи — стає критичною. Штучний інтелект на краю — це про пере визначення того, як користувачі взаємодіють з цифровим світом безперешкодно.

Чи можете ви поділитися деякими деталями про роботу Aizip з компаніями, такими як Softbank?

Ми недавно партнерували з SoftBank над проектом аквакультури, який отримав нагороду CES Innovation Award — одну з тих, якої ми особливо пишаємося. Ми розробили ефективну, краєву модель штучного інтелекту для застосування до лічби риби, яку можуть використовувати оператори рибних господарств. Це рішення адресує критичний виклик у рибному господарстві, який може в кінцевому підсумку створити питання сталості, харчових відходів та прибутковості. Галузь була повільною у прийнятті штучного інтелекту як рішення через ненадійну потужність та зв’язок на морі, що робить хмарні рішення штучного інтелекту непрактичними.

Щоб вирішити цю проблему, ми розробили рішення на основі пристрою. Ми поєднали комп’ютерні симуляції SoftBank для навчальних даних з нашими компактними моделями штучного інтелекту та створили високо точну систему, яка працює на смартфонах. У підводних польових випробуваннях вона досягла 95% рейтингу розпізнавання, суттєво покращивши точність лічби риби. Це дозволило фермерам оптимізувати умови зберігання, визначити, чи слід перевозити рибу живою чи замороженою, та виявити потенційні захворювання чи інші питання здоров’я риби.

Цей прорив покращує ефективність, знижує витрати та зменшує залежність від ручної праці. Ширше, це демонструє, як штучний інтелект може мати суттєвий вплив на реальні проблеми.

Aizip ввела концепцію “AI Nanofactory”. Чи можете ви пояснити, що це означає та як це автоматизує розробку моделей штучного інтелекту?

AI Nanofactory — це наш внутрішній конвеєр автоматизації проектування штучного інтелекту, натхненний електронною автоматизацією проектування (EDA) у виробництві напівпровідників. Ранній розвиток у будь-якій новій галузі передбачає багато ручної праці, тому автоматизація стає ключем до прискорення прогресу та масштабування рішень, коли галузь дозріває.

Ми поставили собі питання: чи може штучний інтелект прискорити自己的 розвиток? AI Nanofactory автоматизує кожну стадію розробки моделей штучного інтелекту — від обробки даних до проектування архітектури, вибору моделі, навчання, квантування, розгортання та налагодження. Використовуючи штучний інтелект для оптимізації самого себе, ми змогли скоротити час розробки нових моделей у середньому у 10 разів. У деяких випадках — більш ніж на 1000 разів. Це означає, що модель, яку раніше розробляли понад рік, тепер можна створити за кілька годин.

Іншою перевагою є те, що ця автоматизація також забезпечує, що рішення штучного інтелекту є економічно життєздатними для широкого спектра застосунків, роблячи розгортання штучного інтелекту у реальному світі більш доступним та масштабованим.

Як ви бачите розвиток ролі штучного інтелекту на краю за наступні п’ять років?

Штучний інтелект на краю обіцяє трансформувати, як ми взаємодіємо з технологіями, подібно до того, як смартфони революціонізували доступ до Інтернету. Більшість застосунків штучного інтелекту сьогодні хмарні, але це починає змінюватися, оскільки штучний інтелект рухається ближче до сенсорів та пристроїв, які взаємодіють з фізичним світом. Цей зсув підкреслює критичну потребу у ефективній, реальній обробці на краю.

У найближчі п’ять років ми очікуємо, що штучний інтелект на краю буде дозволяти більш природну взаємодію людини з комп’ютером, таку як розпізнавання голосу та жестів та інші інтуїтивні інтерфейси, які будуть усувати залежність від традиційних бар’єрів, таких як клавіатури та сенсорні екрани. Штучний інтелект також очікується стати більш вбудованим у повсякденні середовища, такі як розумні будинки чи промислову автоматизацію, щоб забезпечити прийняття рішень у реальному часі з мінімальною затримкою.

Іншим ключовим трендом буде зростання автономності систем штучного інтелекту на краю. Моделі штучного інтелекту стануть більш самооптимізованими та адаптивними завдяки досягненням у автоматизації типу AI Nanofactory, тому вони будуть зменшувати потребу у втручанні людини під час розгортання та технічного обслуговування. Це відкриє нові можливості у різних галузях, таких як охорона здоров’я, автомобільна промисловість та сільське господарство.

Які майбутні пристрої, керовані штучним інтелектом від Aizip, вас найбільш цікавлять?

Ми працюємо над розширенням випадків використання наших моделей у нових галузях, і однією з тих, яку ми особливо цікавимося, є агент штучного інтелекту для автомобільної галузі. Існує зростаючий імпульс, особливо серед китайських виробників автомобілів, до розробки голосових помічників, керованих мовними моделями, які відчуваються як ChatGPT у салоні. Викликом є те, що більшість поточних помічників все ще залежать від хмари, особливо для природної, гнучкої діалогу. Тільки базові завдання керування (наприклад, “включити кондиціонер” або “відкрити багажник”) зазвичай працюють локально на транспортному засобі, а жорстка природа цих команд може стати розривом для водіїв, якщо вони не мають їх абсолютно точно запам’ятаних.

Ми розробили серію ультра-ефективних, малих мовних моделей, керованих штучним інтелектом, які зараз використовуються в ряді застосунків для різних галузей, і ми працюємо над їх розгортанням як співпілотів у транспортних засобах. Цей агент навчений розуміти намір більш тонким способом і, працюючи як штучний інтелект транспортного засобу, міг би виконувати команди через розмовну, вільну мову. Наприклад, агент міг би регулювати температуру в салоні, якщо водій просто сказав “Мені холодно”, або відповів на запит, такий як “Я їду до Бостона завтра, у що мені одягнутися?”, перевіривши погоду та запропонувавши пораду.

Оскільки вони працюють локально та не залежать від хмари, ці агенти продовжують функціонувати у зонах без зв’язку, таких як тунелі, гори або сільська місцевість. Вони також підвищують безпеку, надавши водіям повний голосовий контроль без відведення уваги від дороги. І, на окремій та легшій ноті, я хотів би також згадати, що ми зараз працюємо над введенням у виробництво моделі штучного інтелекту для карaoke для транспортних засобів та блютузних динаміків, яка працює локально, як і співпілот. По суті, вона приймає будь-який аудіовхід та видаляє людські голоси з нього, що дозволяє створити версію карaoke будь-якої пісні в реальному часі. Отже, окрім того, щоб допомогти клієнтам безпечніше керувати контролем у автомобілі, ми також шукаємо способи зробити досвід більш веселим.

Ці рішення, які роблять суттєву різницю у повсякденному житті людей, — ті, яких ми найбільш пишаємося.

Aizip розробляє ультра-ефективні рішення штучного інтелекту, оптимізовані для пристроїв краю, пропонуючи компактні моделі для зору, аудіо, часових рядів, мови та сенсорної фузії. Її продукти дозволяють виконувати завдання, такі як розпізнавання облич та об’єктів, розпізнавання ключових слів, аналіз ЕКГ/ЕЕГ та чат-боти на пристрої, всі вони працюють на основі TinyML. За допомогою платформи штучного інтелекту Aizipline компанія прискорює розробку моделей, використовуючи фундаментальні та генеративні моделі для руху до повної автоматизації проектування штучного інтелекту. Серія малих мовних моделей Aizip (300M–2B параметрів) підтримує широкий спектр пристроїв, привнося інтелектуальні можливості на край.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Aizip.