Сумит Кумар, сооснователь и генеральный директор Innatera – Серия интервью

Сумит Кумар является сооснователем и генеральным директором Innatera Nanosystems, где он руководит разработкой сверхэффективных нейроморфных процессоров для аналитики данных сенсоров в IoT, носимых и встроенных устройствах. Ранее он управлял исследовательскими проектами, финансируемыми ЕС, в TU Delft, включая проект PRYSTINE на 50 миллионов евро по технологиям автономных транспортных средств, и занимал должности в Intel (INTC ) и в академических исследованиях по продвинутым архитектурам процессоров.

Innatera – это компания по производству полупроводников, ориентированная на привнесение сверхнизкопотребляющей интеллекта в “sensor edge”. Их основная инновация заключается в спайкинг-нейронных процессорах, построенных на аналогово-смешанной сигнальной архитектуре, имитирующей событийно-ориентированную обработку мозга. Эти чипы могут распознавать закономерности в данных сенсоров на уровне потребления энергии менее милливатта и сверхнизкой задержки, что делает их идеальными для всегда-включенных, ограниченных по энергопотреблению приложений.

Вы соосновали Innatera в 2018 году с целью вывести нейроморфные процессоры из лабораторий в реальные устройства. Что лично мотивировало вас к созданию компании, и как эта цель эволюционировала за последние семь лет?

Innatera была основана с четкой миссией: привнести интеллект, подобный мозгу, непосредственно в сенсор. Признаки были ясны уже в 2018 году: устройства интегрировали все более сложные сенсоры, и потребность в всегда-включенном сенсорном управлении росла. Микроконтроллеры не имели энергоэффективных возможностей ИИ, и даже это не существенно изменило ситуацию, когда речь шла о непрерывной обработке в устройствах, работающих от небольших батарей. Было ясно, что способ обработки данных сенсоров в этих устройствах нуждается в изменении, и десятилетие исследований, проведенных нами в TUDelft по нейроморфному вычислению и энергоэффективной обработке, казалось, имело ответ на этот вызов.

Наша цель осталась неизменной – более умный, чистый и безопасный мир, работающий на основе окружающего интеллекта. Привнося интеллект в сенсоры, наши чипы позволят обрабатывать данные сенсоров непосредственно у источника, что приведет к радикальному сокращению энергопотребления современного ИИ. Мы стремимся сделать миллиард сенсоров интеллектуальными к 2030 году.

Pulsar – это первый шаг на этом пути – это первый в мире нейроморфный микроконтроллер, предназначенный для массового внедрения. Он делает интеллект, вдохновленный мозгом, практичным в носимых устройствах, умных домах и промышленных системах, среди других случаев использования, а также закладывает основу для адаптивных, автономных технологий будущего.

Pulsar основан на фундаментально новом подходе к обработке на уровне сенсора, реализованном за 7 лет упорных исследований и инженерии. То, что началось как проект с четырьмя людьми, за это время выросло в глобальную команду из 100 человек, из 15 стран, объединенных культурой, ориентированной на людей, построенной на основе устойчивости, творчества и амбиций.

Pulsar описывается как первый真正ый массовый нейроморфный микроконтроллер. Что отличает его от предыдущих нейроморфных чипов, которые в основном оставались в исследовательских лабораториях?

Фокус академических исследований часто заключается в разработке инновационных новых подходов для решения сложных проблем. В результате выгоды от решений часто измеряются в изоляции. Однако, когда эти новые технологии развертываются в производстве, они должны взаимодействовать с другими частями системы, что часто приводит к тому, что их выгоды уменьшаются. Это также относится к многим нейроморфным и традиционным технологиям ускорения ИИ – они интегрируются в системы, которые не спроектированы с учетом тех же принципов, что приводит к результату, который бледнеет по сравнению с их эффективностью. Pulsar, с другой стороны, представляет собой полноценный, самостоятельный микроконтроллер, специально разработанный для эффективной обработки данных сенсоров на краю.

Он был спроектирован с нуля для интеграции всего необходимого для обработки данных сенсоров в одном чипе: аналоговые и цифровые спайкинг-нейронные ядра, ускорители CNN и FFT, а также полная 32-битная подсистема RISC-V для управления системой и контроля сенсоров. Эта гетерогенная архитектура позволяет Pulsar преобразовывать сырые данные сенсоров в осмысленные, действенные сведения непосредственно в устройстве, при этом потребляя до 500 раз меньше энергии и работающий в 100 раз быстрее, чем традиционные процессоры ИИ.

За пределами аппаратного обеспечения Pulsar также решает давнюю проблему программного обеспечения. Его SDK Talamo, с родной интеграцией PyTorch, делает разработку нейроморфных сетей доступной для инженеров мейнстрима и позволяет компактным моделям размером менее 5 КБ работать в бюджете потребления энергии менее милливатта. Поместив все это в пакет размером 2,8 х 2,6 мм, Pulsar устраняет необходимость в громоздких многочиповых установках, что делает его первым нейроморфным процессором, готовым к真正шему массовому внедрению.

Доступность – это большая тема для Innatera. Как Talamo SDK, особенно с его интеграцией PyTorch, снижает барьер для разработчиков, которые новички в нейроморфном вычислении? 

В течение десятилетий основным барьером для внедрения нейроморфных технологий не было аппаратное обеспечение, а отсутствие инструментов, дружественных к разработчикам. Разработчики сталкивались с крутыми кривыми обучения и незнакомыми рабочими процессами, что, в свою очередь, замедляло инновации. Talamo напрямую решает эту проблему, предоставляя SDK на основе PyTorch, который позволяет инженерам проектировать, обучать и развертывать спайкинг-нейронные сети через знакомые рабочие процессы. Компактные модели можно легко интегрировать в существующие архитектуры сенсоров, что позволяет создавать всегда-включенные интеллектуальные устройства даже в самых маленьких, ограниченных по энергопотреблению устройствах. Удаляя сложность и ускоряя разработку, Talamo делает нейроморфное вычисление доступным для разработчиков мейнстрима и ускоряет путь от прототипа к продукту.

С технической точки зрения, как вы балансируете аналоговые и цифровые спайкинг-ускорители внутри Pulsar, чтобы эффективно обрабатывать разнообразные рабочие нагрузки? 

Архитектура Pulsar сочетает аналоговые и цифровые спайкинг-ядра, чтобы оптимизировать потребление энергии и гибкость. Аналоговые ядра обеспечивают сверхэффективную обработку для непрерывных, всегда-включенных рабочих нагрузок сенсоров, где каждый микроватт имеет значение. Цифровые ядра обеспечивают программирование и точность для более сложных или переменных задач, все еще в рамках эффективного энергетического конверта. Рабочие нагрузки распределяются между двумя ядрами в зависимости от потребностей приложения, гарантируя, что энергия потребляется только тогда, когда меняются данные. Этот событийно-ориентированный подход позволяет Pulsar поддерживать производительность на уровне менее милливатта, сохраняя при этом гибкость для поддержки разнообразных реальных приложений.

Можете ли вы пройти нас через типичный рабочий процесс разработчика – от обучения модели до ее развертывания на Pulsar – и где достигаются самые большие выгоды в эффективности?

Рабочий процесс начинается в PyTorch, где разработчики проектируют и обучают свои модели, как они бы делали для традиционного ИИ. Используя SDK Talamo от Innatera, модель преобразуется в спайкинг-нейронную сеть, оптимизированную для аппаратного обеспечения Pulsar. Разработчики могут затем симулировать, дорабатывать и развертывать модель непосредственно на чип, часто с размером модели менее 5 КБ. Шаг разработки модели интегрирован в более крупный поток разработки приложения, который позволяет разработчику создавать код, нацеленный на RISC-V, а также на ускоритель CNN, в унифицированном виде. Это переводится в улучшенный опыт разработки и более короткое время разработки.

Самые большие выгоды в эффективности достигаются, когда модель запущена и работает на событийно-ориентированных спайкинг-ядрах Pulsar. В отличие от традиционных микроконтроллеров, которые непрерывно потребляют энергию, Pulsar вычисляет только тогда, когда меняются входные данные. Это позволяет всегда-включенным задачам, таким как распознавание жестов или обнаружение присутствия с помощью радара, работать непрерывно на уровне менее милливатта, обеспечивая улучшения эффективности энергопотребления на несколько порядков, сохраняя при этом высокую точность и невероятно короткую задержку.

Какие сектора демонстрируют самый быстрый рост внедрения вашей технологии, и можете ли вы поделиться примерами ранних клиентов или партнеров, которые уже развертывают Pulsar в продуктах?

Внедрение Pulsar происходит быстрее всего в областях, где всегда-включенное сенсорное управление и сверхнизкое энергопотребление имеют наибольшее значение, включая умные дома, носимые устройства и промышленную безопасность. Хорошим примером этого является Aaroh Labs, которая разработала следующее поколение детекторов дыма, работающих на технологии Innatera, недавно представленной на SEMICON India 2025. Эти устройства не только обнаруживают дым, но и сочетают обнаружение дыма с мониторингом присутствия человека, создавая более богатое ситуационное осознание и позволяя создавать более умные системы безопасности для жилых, коммерческих и промышленных сред.

Тот же нейроморфный подход может быть расширен на отслеживание активов и мониторинг окружающей среды, с далеко идущими последствиями для подключенного здравоохранения и умных городов. На SEMICON India CYRAN AI Solutions также продемонстрировала, как технология Innatera интегрируется в компактные системы сенсоров, такие как носимые устройства электромиографии (ЭМГ) для распознавания жестов, подчеркивая потенциал нейроморфного ИИ для обеспечения интуитивного взаимодействия человека и машины.

Эти ранние развертывания – это только начало, сигнализирующее о том, что нейроморфное вычисление переходит от теории к практике и быстро укореняется в реальных приложениях.

В демонстрациях мы видели примеры, такие как сверхнизкопотребляющее распознавание жестов и обнаружение присутствия с помощью радара, потребляющее менее милливатта. Как вы проверяете точность и надежность в таких ограниченных средах?

Проверка часто зависит от приложения, и помимо точности, показатели обнаружения ложных положительных и ложных отрицательных результатов предоставляют важную информацию о надежности решения. Часто у клиентов есть конкретные ключевые показатели эффективности и условия тестирования для проверки. Гибкость Pulsar является ключом в обеспечении комплексных решений, которые позволяют клиентам проверить все необходимые пункты для своего случая использования. Сравнения проводятся путем сравнения с традиционными микроконтроллерами и ускорителями, которые обычно потребляют в 40-100 раз больше энергии для одних и тех же задач.

В реальных демонстрациях, таких как обнаружение присутствия с помощью радара и классификация аудиосцен, Pulsar последовательно обеспечивает точность выше 90%, при этом оставаясь в пределах бюджета менее милливатта. Это позволяет работать непрерывно без жертвования надежностью, что традиционные всегда-включенные системы обычно должны были компрометировать, пробуждаясь от сна, снижая производительность или передавая данные в облако.

Вы позиционируете Pulsar как дополнение к более традиционным НПУ и ЦП. Как вы видите нейроморфное вычисление в более широкой структуре кремния будущих умных устройств?

Pulsar предназначен как первый чип, с которым сенсоры общаются. Он обрабатывает данные локально на сверхнизком энергопотреблении, преобразуя сырые сигналы сенсоров в осмысленные, действенные сведения непосредственно у источника. НПУ и ЦП могут быть задействованы только тогда, когда требуется более тяжелая обработка.

Это делает нейроморфные процессоры дополнительным слоем в структуре кремния; всегда-осведомленной, всегда-включенной основой, которая продлевает срок службы устройств, снижает энергопотребление и улучшает отзывчивость. Pulsar берет на себя задачу обработки данных сенсоров от традиционно более энергозатратных компонентов системы, позволяя им быть выключенными в многих устройствах и в некоторых случаях даже полностью устраненными. Это приводит к более умным и долговечным устройствам.

Какую роль играют сотрудничества с партнерами, такими как Aaroh Labs и CYRAN AI Solutions, в ускорении внедрения нейроморфного ИИ в реальных приложениях?

Партнерства служат мостом между прорывными технологиями и широким внедрением. Сотрудничая с инноваторами, такими как Aaroh Labs и CYRAN AI Solutions, Innatera гарантирует, что Pulsar проверен в реальных средах и адаптирован для конкретных вертикалей. Aaroh Labs привносит нейроморфный интеллект в критическую инфраструктуру безопасности, в то время как CYRAN AI Solutions демонстрирует его потенциал в интуитивном взаимодействии человека и машины. Эти сотрудничества доказывают универсальность технологии, снижая барьеры для других принимающих и укрепляя доверие к развертыванию нейроморфных процессоров в крупном масштабе.

Наши партнерства с поставщиками сенсоров, такими как Socionext, позволяют нам тесно упаковывать интеллект в модуль сенсора, упрощая внедрение и развертывание интеллектуального сенсорного управления в устройствах. Кроме того, такие сотрудничества укрепляют наш уже сильный и растущий экосистему и ускоряют распространение нейроморфного вычисления в отрасли.

Глядя вперед, видите ли вы Pulsar и его преемников, движущихся в сторону обучения и адаптации на устройстве, а не только вывода на краю?

Абсолютно. С Pulsar мы только начали царапать поверхность того, на что способно нейроморфное вычисление. Нейроморфные процессоры по своей природе хорошо подходят для онлайн-обучения и адаптации, и Pulsar закладывает основу для устройств, которые могут делать гораздо больше, чем просто обнаруживать и реагировать.

Нейроморфное вычисление готово обеспечить новое поколение адаптивных и автономных устройств на краю; систем, которые учатся, самообучаются и оптимизируются в реальном времени, работая на крошечных батареях. Эта эволюция откроет широкий спектр приложений, от носимых устройств, которые корректируют свое поведение на лету, до промышленных систем, которые предсказывают и предотвращают отказы с минимальным энергопотреблением. Долгосрочная цель – создать устройства, которые столь же интеллектуальны, сколь и непрерывно адаптивны и устойчивы, переопределяя то, что действительно возможно на краю.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Innatera.