Сатосі Шірага, співзасновник і генеральний директор Cellid – Серія інтерв’ю

Сатосі Шірага є співзасновником і генеральним директором Cellid, де він очолює бачення компанії та стратегію розвитку передових технологій. До заснування компанії він проводив дослідження в галузі фізики частинок у CERN, Fermilab у США та INFN в Італії. Він має ступінь магістра фізики в аспірантурі Університету ВASET, де спеціалізувався на фізиці частинок.

Cellid – це японська компанія, яка розробляє передові технології доповненої реальності, включаючи ультралегкі модулі дисплея з хвилеводами та двигуни розпізнавання простору для окулярів наступного покоління доповненої реальності. Використовуючи власний оптичний дизайн і методи виробництва, Cellid створює компоненти товщиною з окулярні лінзи та співпрацює з глобальними виробниками для прискорення впровадження апаратури доповненої реальності.

Що спонукало вас перейти від дослідження фізики частинок у CERN і Fermilab до заснування Cellid у 2016 році?

Після закінчення університету я вступив до Європейської організації ядерних досліджень (CERN), де проводив дослідження фізики частинок, які вимагали величезної обчислювальної потужності. Водночас я вивчав передові розробки в галузі інформатики. Цьому інтересу сприяла ідея застосування нових обчислювальних технологій – таких як нейронні мережі та інструменти моделювання – до реальних проблем.

Заснування Cellid у 2016 році дало мені можливість розробити технології, які стали основою нашої роботи. Визнавши, що окуляри доповненої реальності є оптимальним пристроєм для реалізації потенціалу сервісів розпізнавання простору, ми визначили їх одним з наших основних напрямків діяльності. Ми почали досліджувати окуляри доповненої реальності як оптимальне апаратне забезпечення для надання сервісів розпізнавання простору. Під час наших досліджень ми спілкувалися з інженерами та виявили, що апаратне забезпечення, використовуване для дисплея окулярів доповненої реальності, було вузьким місцем. Спостерігаючи за еволюцією комп’ютерних пристроїв, ми прийшли до висновку, що носимі окуляри доповненої реальності стануть наступним поколінням смартфонів. На цьому ринкові нової техніки ми спрямовані на використання наших передових обчислювальних технологій для лідерства в інноваціях.

Як ваш досвід роботи з паралельними обчисленнями в масштабі петабайт вплинув на ваш підхід до дизайну дисплея доповненої реальності та оптичної симуляції в Cellid?

Мій досвід роботи у сфері фізики частинок у CERN включав роботу з паралельними обчислювальними системами для моделювання та візуалізації складних фізичних явищ. Цей досвід безпосередньо сформував наш підхід до дизайну дисплея доповненої реальності та оптичної симуляції в Cellid.

Наші хвилеводи створюються шляхом формування дифракційної оптичної елемента (DOE) на субстраті з використанням нанотехнологій. З трьох елементів – дизайну, матеріалів та виробництва – ми відповідаємо за дизайн. Використовуючи свій досвід роботи з високопродуктивними обчисленнями, ми розробили власний симуляційний двигун на основі штучного інтелекту, який автоматизує процес дизайну. Він не тільки симулює матеріальну складову DOE та субстрату, але також передбачає та оптимізує точність формування плівки та обробки. Cellid очолює або співпрацює з партнерами у розробці матеріалів, технологій виробництва та процесів. (Більшість виробництва базується на експертизі Cellid).

Цей симуляційний робочий процес дозволяє нам швидко та ефективно досліджувати величезні простори дизайну, подібно до паралельних симуляцій, які я проводив у сфері фізики частинок. Як тільки ми остаточно затверджуємо дизайн, ми співпрацюємо з партнерами з матеріалів та виробництва, щоб виробити його.

Штучний інтелект відіграє подвійну роль у Cellid – як досвід користувача на пристрої та у дизайні та виробництві, оптичному дизайні, як ви використовуєте штучний інтелект для поліпшення досвіду користувача та як ви використовуєте його у виробництві та дизайні?

Cellid максимально використовує штучний інтелект для обох цілей. Для поліпшення досвіду користувача ми використовуємо штучний інтелект для забезпечення розпізнавання простору, презентації інформації в режимі реального часу та інтуїтивної операційної системи.

У дизайні та виробництві ми застосовуємо штучний інтелект до оптичної симуляції дизайну та оптимізації процесу, а також для забезпечення стабільності якості у масштабі – допомагаючи нам розробляти та масово виробляти хвилеводи та оптику, які є тонкими, легкими та енергоефективними для окулярів.

Ці два застосування штучного інтелекту не пов’язані безпосередньо, але обоє вони важливі для масового впровадження: дизайн, керований штучним інтелектом, робить окуляри доповненої реальності носимими; штучний інтелект, що керує користувачем, робить їх корисними..

Які реальні приклади безшовного використання доповненої реальності, зроблені можливими за допомогою SDK Cellid?

Ми зосереджені на реальних, повсякденних випадках використання, де окуляри доповненої реальності можуть додати реальну цінність зараз:

Проект King Salmon – Віддалена робота у будівництві та міській адміністрації: У проекті King Salmon у Токіо Cellid співпрацював з районом Шібуя, щоб протестувати окуляри доповненої реальності для віддаленого контролю якості у будівництві та місцевих державних установах. Робітники носили легкі окуляри доповненої реальності Cellid (з використанням дизайну посилання). Використання дизайну посилання покращило роботу на будівельній площадці, забезпечивши віддалений нагляд, спілкування в режимі реального часу та точний огляд матеріалів. Для нагляду менеджери та спеціалісти могли контролювати хід робіт, надавати інструкції та консультувати з методів будівництва без присутності на місці. Окуляри також відображали інформацію про замовлення, що дозволяло порівнювати їх з доставленими предметами та швидко виявляти розбіжності. Ефект від безперебійного спілкування між персоналом та віддаленими експертами забезпечував негайну зворотню зв’язок та керівництво.

Пілотний проект у магазині зручності – Інтелектуальний досвід покупок: У співпраці з відомим магазином зручності в Японії та групою SMBC Cellid провів тест у реальному магазині зручності, щоб продемонструвати досвід покупок за допомогою окулярів доповненої реальності. Більше 300 учасників взяли участь у тесті, який включав автоматичне розпізнавання продуктів, персоналізовані рекомендації на основі товарів, доданих до кошика (включаючи показ купонів та напрямків до місць розташування продуктів), та оплату через окуляри доповненої реальності.

Проект медичної доповненої реальності CREST – Валідування окулярів доповненої реальності для медичного використання: За допомогою окулярів доповненої реальності в клінічних умовах цей проект проводить демонстраційні експерименти на клінічних ділянках для оцінки методів відображення інформації клініцистам під час процедур та збільшення зображень областей лікування. Результати цих випробувань інформують про методи програмного забезпечення та інтерфейси для практичних медичних потоків. Робота є частиною багаторічної програми JST CREST (“Реалізація медичних окулярів доповненої реальності за допомогою метаматеріальної технології”, 2024-2029 рік; грант JPMJCR24R1), консорціуму з Інституту науки Токіо, Cellid та Mitsui Chemicals, який охоплює розвиток матеріалів, оптичний дизайн, встановлення процесу виробництва, реалізацію програмного забезпечення та клінічне підтвердження.

Cellid внесла свій внесок у розвиток оптичної симуляції, дизайну хвилеводів та розробки програмного забезпечення для створення ультралегких окулярів доповненої реальності, придатних для клінічних середовищ. Проект включає клінічне підтвердження з хірургами для оцінки методів відображення, які підтримують, але не заважають, медичним процедурам. Тестування прототипів інформуватиме як оптичний дизайн, так і зручність інтерфейсу на основі реальної хірургічної зворотної зв’язки.

Ці приклади демонструють, як апаратне забезпечення та SDK Cellid забезпечують практичну, повсякденну цінність – покращення ефективності, прийняття рішень та досвіду користувача як у роздрібній торгівлі, так і в середовищі праці.

Як ваші власні хвилеводи на основі пластику порівняються з традиційними скляними альтернативами за вагою, потужністю та комфортом?

У Cellid ми розробляємо як пластикові, так і скляні хвилеводи для вирішення різних випадків використання доповненої реальності. Наші пластикові хвилеводи значно легші за скло, приблизно 5 грамів на моноокулярний блок проти близько 8,2 грамів для скла. Ця знижена вага сприяє загальній носимості та комфорту для щоденного використання.

У пілотних оцінках наші пластикові хвилеводи – з кутом огляду 30 градусів – отримали позитивну зворотну зв’язку від користувачів. На цьому рівні кута огляду оптична продуктивність між пластиком та склом є порівнюваною.

Твердість є ще однією перевагою пластику. Хвилеводи Cellid з пластику пройшли як американські, так і японські іспити на удар для окулярів без тріщин. Навпаки, скло зазвичай вимагає додаткового армування для відповідності подібним стандартам безпеки. Це очевидно з того факту, що звичайні окулярні лінзи виготовляються з пластику.

Хоча пластик добре підходить для багатьох повсякденних випадків використання, де легкі та компактні пристрої доповненої реальності є важливими, скло все ще пропонує переваги в деяких сценаріях у промислових середовищах, де вища оптична ясність має пріоритет. Надавши обидві матеріальні платформи, Cellid може прискорити подальше впровадження окулярів доповненої реальності для задоволення різних випадків використання.

Які були найбільшими інженерними або матеріаловими науковими викликами при інтеграції цих компонентів у носимий форм-фактор?

Ключовим викликом було мініатюризація та розміщення їх у стилі окулярів без компромісу. Нам довелося переосмислити, як оптичні елементи, такі як хвилеводи та проєктори, можуть бути компактними без погіршення продуктивності. Матеріали мали бути тонкими, але міцними, оптично ефективними, але виготовлюваними у масштабі. Крім того, розробка спеціальних матеріалів для хвилеводів та власного процесу виробництва могла представляти виклики. Вирішення всіх цих факторів вимагало тісної інтеграції між симуляцією та виробництвом.

Можете роз’яснити, як працює ваша платформа симуляції та як вона скорочує час ітерації та витрати на виробництво?

У Cellid симуляція грає критичну роль у прискоренні розробки та зниженні витрат на впровадження апаратури доповненої реальності на ринок. Ми використовуємо власні інструменти для оцінки складних оптичних компонентів – таких як хвилеводи, дифракційні оптичні елементи, смоли та покриття – до створення будь-яких фізичних прототипів. Симулюючи, як ці матеріали працюють під різними умовами, ми можемо оптимізувати ясність, кут огляду та ефективність на ранній стадії процесу дизайну. Це допомагає мінімізувати залежність від методу проб і помилок, скоротити цикли ітерації та знизити витрати на виробництво.

Які функції пропонує SDK Cellid розробникам, а що наступне у планах?

Cellid пропонує SDK для імпорту зображень, визнаних камерою, відображення зображень доповненої реальності у визначених просторах, відображення даних програм для смартфонів та керування апаратним забезпеченням, реалізованим у окулярах доповненої реальності, таких як мікрофони та динаміки. Крім того, SDK Cellid для дизайну посилання включає API для генерації штучного інтелекту, який дозволяє використовувати його у широкому спектрі випадків використання. Наприклад, запитуючи через дизайн посилання, як використовувати пристрій перед вами, пристрій можна автоматично розпізнати, та інструкції з використання та експлуатації можна відображати. Крім того, реєстрація контенту до маркерів доповненої реальності дозволяє розпізнавати маркери доповненої реальності та відображати контент у реальному просторі, що дозволяє користувачам миттєво перевіряти інструкції з експлуатації обладнання та інші безрукавні дані. Крім того, плануються додаткові функції відстеження очей та розпізнавання жестів.

Ці зусилля зосереджені на забезпечення швидшої розробки, ширшої сумісності пристроїв та тіснішої ув’язки між продуктивністю апаратного забезпечення та реакцією програмного забезпечення – усіх критичних для доставки окулярів наступного покоління доповненої реальності. Як розробник окулярів доповненої реальності та програмного забезпечення для розпізнавання простору, Cellid займає унікальну позицію для забезпечення середовища, яке включає SDK для швидкої розробки програм, придатних для окулярів доповненої реальності.

Які галузі ви найактивніше зосереджені на, і чому вони найкраще підходять для ближнього впровадження доповненої реальності?

Ринок окулярів доповненої реальності зараз знаходиться на ранній стадії, з впровадженням, яке спонукається практичними застосуваннями для відображення інформації, таких як сповіщення, оновлення погоди, переклади та інтеграція з генерацією штучного інтелекту. У цих випадках маленькі, легкі пристрої, які можуть забезпечити достатню цінність користувачеві навіть з відносно вузьким кутом огляду, очікується, що підтримуватимуть початковий ріст ринку.

Оглядаючи вперед, попит на більш іммерсивні досвіди, такі як перегляд відео, 3D-контент та взаємодія з реальним простором (обчислення простору), очікується зростати.

З цієї точки зору ми визначаємо два найближчі сегменти, у яких хвилеводні окуляри доповненої реальності пропонують явні переваги:

1. Офтальмологічне / повсякденне використання

Передові хвилеводи роблять окуляри доповненої реальності у формі окулярів (“офтальмологічних”) практичними – тієї ж загальної форми, що й звичайні окуляри – позиціонуючи їх як найбільш ймовірний наступний великий пристрій після смартфонів. Як і у випадку зі смартфонами, ця форма підтримує широке, щоденне використання окремими особами та компаніями у багатьох застосуваннях. Коли хвилеводи стають більш компактними та ефективними за вартістю, вони стимулюють повсякденне використання споживачів – навігацію, тонкі підказки та інші завдання на ходу. У роздрібній торгівлі наш пілотний проект є прикладом нашої уваги

2. Підприємства та промислові операції

Ефективні хвилеводи забезпечують реальне наложення даних для техніків та польових працівників, допомагаючи зменшити помилки та підвищити продуктивність у секторах, таких як виробництво, логістика та охорона здоров’я. Ці “інформаційно-відображальні” сценарії підходять до сучасних обмежень потужності та кута огляду, одночасно зберігаючи пристрої легкими.

Як виглядатиме “повсякденна доповнена реальність” за п’ять років?

З появою багатомодальної генерації штучного інтелекту окуляри доповненої реальності переживуть швидкий ріст як один із їхніх інтерфейсів вводу/виводу.

Ми бачимо майбутнє, де окуляри доповненої реальності стають інтуїтивним, завжди-включеним компаньйоном – змішуючи цифровий і фізичний світ через безшовну взаємодію та легкий дизайн. Стимульовані еволюцією використання генерації штучного інтелекту, окуляри доповненої реальності також еволюціонуватимуть, щоб стати природним інтерфейсом для доступу до інформації в режимі реального часу, автоматизації завдань та отримання контекстної допомоги..

У Cellid ми віримо, що досягнення повсякденної зручності залежить від трьох основ: комфорту, інтелекту та енергоефективності. Тому наші дизайни посилень дають пріоритет ультралегким оптикам поряд з тонкими форм-факторами, які нагадують звичайні окуляри. Це забезпечує те, що окуляри доповненої реальності можуть бути носимими протягом тривалого часу без втоми.

Оглядаючи вперед, ми продовжимо спільну розробку відкритої екосистеми з глобальними партнерами, щоб забезпечити, щоб окуляри доповненої реальності не тільки виглядали та відчувалися як повсякденні аксесуари, але й доставляли тривалу цінність у різних галузях. Чи то навігація містом, підтримка польових робіт чи покращення роздрібного досвіду, доповнена реальність все частіше перейде від нової інтерфейсної системи до практичного інструменту, який природно вписується у повсякденне життя. В кінцевому підсумку доповнена реальність переозначить, як люди взаємодіють як з фізичним, так і з цифровим світом, ставши потужним компаньйоном людського досвіду.

Дякуємо за чудове інтерв’ю. Читачам, які бажають дізнатися більше, слід відвідати Cellid.