Сумит Кумар, соучредитель и генеральный директор Innatera – серия интервью

Сумит Кумар Является соучредителем и генеральным директором компании Innatera Nanosystems, где он руководит разработкой сверхэффективных нейроморфных процессоров для анализа данных датчиков в Интернете вещей, носимых и встраиваемых устройствах. Ранее он руководил финансируемыми ЕС исследованиями в Делфтском техническом университете, включая проект PRYSTINE стоимостью 50 миллионов евро по технологиям автономного транспорта, а также занимал различные должности в Intel и занимался научными исследованиями в области передовых архитектур процессоров.

Иннатера — компания-производитель полупроводников, специализирующаяся на разработке интеллектуальных устройств со сверхнизким энергопотреблением для «сенсорных технологий». Их основная инновация заключается в импульсных нейронных процессорах, построенных на архитектуре аналогово-смешанных сигналов, которые имитируют обработку сигналов в мозге. Эти чипы способны распознавать закономерности в данных с датчиков при уровне мощности менее милливатт и сверхнизкой задержке, что делает их идеальными для постоянно работающих устройств с ограниченным энергопотреблением.

В 2018 году вы стали соучредителем Innatera, стремясь перенести нейроморфные процессоры из лабораторных исследований в реальные устройства. Что лично побудило вас основать компанию и как это видение развивалось за последние семь лет?

Компания Innatera была основана с четкой миссией: донести интеллект, подобный мозгу, непосредственно до сенсоров. Это было очевидно еще в 2018 году: устройства интегрировали все более сложные датчики, и потребность в постоянном считывании данных росла. Микроконтроллерам не хватало энергоэффективных возможностей искусственного интеллекта, и даже это не решало проблему непрерывной обработки данных в устройствах с питанием от небольших батареек. Было очевидно, что способ обработки данных с сенсоров в этих устройствах нуждается в изменении, и десятилетие исследований, проведенных нами в Техническом университете Дельфта в области нейроморфных вычислений и энергоэффективной обработки данных, казалось, предлагало решение этой проблемы.

Наше видение остаётся неизменным: более умный, чистый и безопасный мир, основанный на окружающем нас интеллекте. Благодаря интеллектуальным возможностям датчиков наши чипы позволят обрабатывать данные с датчиков по всему миру непосредственно у источника, что приведёт к радикальному сокращению энергопотребления современного искусственного интеллекта. Мы стремимся сделать миллиард датчиков интеллектуальными к 2030 году.

пресс Это первый шаг на этом пути: это первый в мире нейроморфный микроконтроллер, разработанный для массового внедрения. Он делает интеллект, вдохновлённый работой мозга, практически применимым в носимых устройствах, устройствах для умного дома и промышленных системах, среди прочего, одновременно закладывая основу для адаптивных автономных технологий будущего.

В основе Pulsar лежит принципиально новый подход к обработке данных на сенсоре, реализованный за 7 лет кропотливых исследований и разработок. То, что начиналось как проект с четырьмя людьми, за это время выросло до глобальной команды из 100 человек в 15 странах, объединённых культурой, ориентированной на человека и основанной на стойкости, креативности и амбициозности.

Pulsar описывается как первый по-настоящему массовый нейроморфный микроконтроллер. Чем он отличается от предыдущих нейроморфных чипов, которые в основном использовались только в исследовательских лабораториях?

В центре внимания академических исследований часто находится разработка инновационных подходов к решению сложных задач. В результате преимущества решений, как правило, оцениваются изолированно. Однако при внедрении этих новых технологий в эксплуатацию им приходится взаимодействовать с другими частями системы, что часто приводит к снижению их эффективности. Это также относится ко многим нейроморфным и традиционным технологиям ускорения ИИ: они интегрируются в системы, разработанные с учётом иных фундаментальных принципов, что приводит к снижению эффективности. Pulsar же — это полноценный автономный микроконтроллер, специально разработанный для эффективной обработки данных с датчиков на пределе возможностей.

Он был разработан с нуля, чтобы интегрировать всё необходимое для обработки данных с датчиков в одном чипе: аналоговые и цифровые импульсные нейронные ядра, ускорители сверточных нейронных сетей (CNN) и быстрого преобразования Фурье (FFT), а также полноценную 32-битную подсистему RISC-V для управления системой и датчиками. Эта гетерогенная архитектура позволяет Pulsar преобразовывать необработанные данные с датчиков в полезную информацию непосредственно на устройстве, потребляя при этом до 500 раз меньше энергии и работая в 100 раз быстрее, чем традиционные процессоры искусственного интеллекта.

Помимо аппаратного обеспечения, Pulsar также решает давнюю проблему программного обеспечения. Его пакет Talamo SDK с нативной интеграцией с PyTorch делает нейроморфную разработку доступной для инженеров-практиков и позволяет компактным моделям размером менее 5 КБ работать при бюджете энергопотребления менее милливатт. Умещая всё это в корпусе размером 2.8 x 2.6 мм, Pulsar устраняет необходимость в громоздких многокристальных системах, делая его первым нейроморфным процессором, готовым к массовому внедрению.

Доступность — важная тема для Innatera. Как Talamo SDK, особенно благодаря интеграции с PyTorch, снижает барьеры для разработчиков, впервые осваивающих нейроморфные вычисления? 

На протяжении десятилетий основным препятствием для внедрения нейроморфных технологий было не аппаратное обеспечение, а отсутствие удобных для разработчиков инструментов. Разработчики сталкивались с трудностями в обучении и непривычными рабочими процессами, что, в свою очередь, замедляло внедрение инноваций. Talamo решает эту проблему, предоставляя SDK на основе PyTorch, который позволяет инженерам проектировать, обучать и развертывать импульсные нейронные сети, используя привычные рабочие процессы. Компактные модели легко интегрируются в существующие архитектуры датчиков, обеспечивая постоянное наличие интеллекта даже в самых маленьких устройствах с ограниченными возможностями. Упрощая и ускоряя разработку, Talamo делает нейроморфные вычисления доступными для основных разработчиков и ускоряет путь от прототипа до готового продукта.

Как с технической точки зрения сбалансировать аналоговые и цифровые импульсные ускорители внутри Pulsar для эффективной обработки разнообразных рабочих нагрузок? 

Архитектура Pulsar сочетает аналоговые и цифровые импульсные ядра для оптимизации энергопотребления и гибкости. Аналоговые ядра обеспечивают сверхэффективную обработку данных для непрерывной, постоянно активной работы датчиков, где каждый микроватт имеет значение. Цифровые ядра обеспечивают программируемость и точность для более сложных или переменных задач, оставаясь в пределах эффективного энергопотребления. Рабочие нагрузки распределяются между двумя ядрами в зависимости от потребностей приложения, что гарантирует потребление энергии только при изменении данных. Этот событийно-управляемый подход позволяет Pulsar поддерживать производительность на уровне субмилливатт, сохраняя при этом гибкость для поддержки различных реальных приложений.

Можете ли вы подробно рассказать нам о типичном рабочем процессе разработчика — от обучения модели до ее развертывания на Pulsar — ​​и где достигается наибольший рост эффективности?

Рабочий процесс начинается в PyTorch, где разработчики проектируют и обучают свои модели так же, как и для обычного ИИ. С помощью Talamo SDK от Innatera модель преобразуется в импульсную нейронную сеть, оптимизированную для оборудования Pulsar. Затем разработчики могут моделировать, совершенствовать и разворачивать модель непосредственно на чипе, часто занимая всего 5 КБ. Этап разработки модели интегрирован в более масштабный процесс разработки приложения, что позволяет разработчику создавать код, ориентированный как на RISC-V, так и на ускоритель сверточных нейронных сетей, унифицированным образом. Это обеспечивает улучшенный процесс разработки и сокращает время разработки.

Наибольший прирост эффективности достигается после запуска модели на событийно-управляемых импульсных ядрах Pulsar. В отличие от обычных микроконтроллеров, которые потребляют энергию непрерывно, Pulsar выполняет вычисления только при изменении входных данных. Это позволяет непрерывно выполнять такие задачи, как распознавание жестов или обнаружение присутствия радара, на субмилливаттном уровне, обеспечивая повышение энергоэффективности на порядок, сохраняя при этом высокую точность и невероятно малую задержку.

В каких секторах наблюдается самое быстрое внедрение вашей технологии, и можете ли вы привести примеры первых клиентов или партнеров, которые уже внедряют Pulsar в свои продукты?

Внедрение Pulsar происходит быстрее всего в областях, где наиболее важны постоянное обнаружение и сверхнизкое энергопотребление, включая умные дома, носимые устройства и промышленную безопасность. Хорошим примером является компания Aaroh Labs, разработавшая датчики дыма нового поколения на базе Innatera, недавно представленные на выставке SEMICON India 2025. Эти устройства не просто обнаруживают дым, а сочетают обнаружение дыма с мониторингом присутствия человека, обеспечивая более полную ситуационную осведомлённость и позволяя создавать более интеллектуальные системы безопасности для жилых, коммерческих и промышленных помещений.

Тот же нейроморфный подход может быть распространен на отслеживание активов и мониторинг окружающей среды, что будет иметь широкое применение в сфере подключенного здравоохранения и умных городов. На выставке SEMICON India компания CYRAN AI Solutions также продемонстрировала, как технология Innatera интегрируется в компактные сенсорные системы, такие как носимые устройства с электромиографией (ЭМГ) для распознавания жестов, что подчеркивает потенциал нейроморфного ИИ для обеспечения интуитивного взаимодействия человека и машины.

Эти первые развертывания — только начало, сигнализирующее о том, что нейроморфные вычисления переходят от теории к практике и быстро укореняются в реальных приложениях.

На демонстрациях мы видели примеры, такие как сверхнизкое энергопотребление распознавания жестов и обнаружения присутствия с помощью радара, потребляющего менее милливатт. Как проверить точность и надёжность в столь ограниченных условиях?

Валидация часто зависит от области применения, и, помимо точности, критически важным показателем надёжности решения являются показатели ложноположительных и ложноотрицательных срабатываний. Зачастую заказчики устанавливают конкретные ключевые показатели эффективности (KPI) и условия тестирования для валидации. Гибкость Pulsar играет ключевую роль в создании комплексных решений, позволяющих заказчикам удовлетворить все требования своего сценария использования. Сравнение проводится с традиционными микроконтроллерами и ускорителями, которые обычно потребляют в 40–100 раз больше энергии для тех же задач.

В реальных демонстрационных приложениях, таких как обнаружение присутствия с помощью радара и классификация аудиосцен, Pulsar стабильно обеспечивает точность выше 90%, оставаясь при этом в пределах бюджета мощности менее милливатт. Это обеспечивает непрерывную работу без ущерба для надежности, чего традиционным системам, работающим постоянно, приходилось делать, выходя из спящего режима, ограничивая производительность или перенаправляя данные в облако.

Вы позиционируете Pulsar как дополнение к более традиционным нейронным процессорам (NPU) и центральным процессорам (CPU). Как, по вашему мнению, нейроморфные вычисления впишутся в более широкий спектр кремниевых технологий для будущих интеллектуальных устройств?

Pulsar разработан как первый чип, с которым взаимодействуют датчики. Он обрабатывает данные локально, потребляя сверхнизкое энергопотребление, преобразуя необработанные сигналы датчиков в содержательную, полезную информацию непосредственно у источника. Нейронные процессоры (NPU) и центральные процессоры (CPU) могут быть задействованы только при необходимости более интенсивной обработки.

Это делает нейроморфные процессоры дополнительным слоем в кремниевом стеке — постоянно работающей и оснащённой основой, которая продлевает срок службы устройств, снижает энергопотребление и повышает скорость отклика. Pulsar снимает задачу обработки данных с датчиков с традиционно высокопроизводительных компонентов системы, позволяя отключать их во многих устройствах, а в некоторых случаях и вовсе исключить. Это приводит к созданию более интеллектуальных и долговечных устройств.

Какую роль играет сотрудничество с такими партнерами, как Aaroh Labs и CYRAN AI Solutions, в ускорении внедрения нейроморфного ИИ в реальном мире?

Партнёрства служат связующим звеном между прорывными технологиями и их широким внедрением. Сотрудничая с такими новаторами, как Aaroh Labs и CYRAN AI Solutions, Innatera обеспечивает валидацию Pulsar в реальных условиях и адаптацию к конкретным вертикалям. Aaroh Labs внедряет нейроморфный интеллект в критически важную инфраструктуру безопасности, а CYRAN AI Solutions демонстрирует его потенциал в области интуитивного взаимодействия человека и машины. Это сотрудничество подтверждает универсальность технологии, устраняя барьеры для других пользователей и укрепляя уверенность в масштабном развертывании нейроморфных процессоров.

Наше партнёрство с поставщиками датчиков, такими как Socionext, позволяет нам максимально эффективно интегрировать интеллектуальные технологии в сенсорный модуль, упрощая внедрение и внедрение интеллектуальных датчиков в устройства. Более того, такое сотрудничество укрепляет нашу и без того мощную и растущую экосистему и ускоряет распространение нейроморфных вычислений в отрасли.

Заглядывая в будущее, считаете ли вы, что Pulsar и его последователи будут двигаться в сторону обучения и адаптации на устройстве, а не только к выводам на периферии?

Безусловно. С Pulsar мы лишь поверхностно изучили возможности нейроморфных технологий. Нейроморфные процессоры изначально хорошо подходят для онлайн-обучения и адаптации, а Pulsar закладывает основу для устройств, способных на гораздо большее, чем просто обнаружение и реагирование.

Нейроморфные вычисления призваны создать новое поколение адаптивных и автономных периферийных устройств — систем, которые обучаются, самокалибруются и оптимизируются в режиме реального времени, работая от крошечных батареек. Эта эволюция откроет широкий спектр приложений: от носимых устройств, которые мгновенно подстраиваются под ваше поведение, до промышленных систем, которые прогнозируют и предотвращают сбои с минимальным потреблением энергии. Долгосрочная цель — создание устройств, которые столь же интеллектуальны, сколь и постоянно адаптируются и устойчивы, что переосмыслит возможности периферийных устройств.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Иннатера.