Возрождение нейронных процессорных единиц: улучшение настроек генеративного ИИ для скорости и устойчивости

Эволюция генеративного ИИ не только меняет нашу интеракцию и опыт работы с компьютерными устройствами, но также переопределяет саму суть вычислений. Одним из ключевых факторов, способствующих этому преобразованию, является необходимость работы генеративного ИИ на устройствах с ограниченными вычислительными ресурсами. В этой статье мы рассматриваем проблемы, которые это представляет, и то, как нейронные процессорные единицы (НПЕ) появляются для решения этих проблем. Кроме того, в статье представлены некоторые из последних процессоров НПЕ, которые ведут за собой в этой области.

Проблемы инфраструктуры генеративного ИИ на устройстве

Генеративный ИИ, который является основой синтеза изображений, генерации текста и композиции музыки, требует значительных вычислительных ресурсов. Традиционно эти требования удовлетворялись за счет использования возможностей облачных платформ. Хотя этот подход эффективен, он имеет свои собственные проблемы для генеративного ИИ на устройстве, включая зависимость от постоянного интернет-соединения и централизованной инфраструктуры. Эта зависимость вводит задержку, уязвимости безопасности и повышенное энергопотребление.

Основой облачной инфраструктуры ИИ в основном является центральный процессор (ЦП) и графический процессор (ГП) для обработки вычислительных требований генеративного ИИ. Однако, когда они применяются к генеративному ИИ на устройстве, эти процессоры сталкиваются с существенными препятствиями. ЦП предназначены для общих задач и не имеют специализированной архитектуры, необходимой для эффективной и низкопотребляющей обработки рабочих нагрузок генеративного ИИ. Их ограниченные возможности параллельной обработки приводят к снижению пропускной способности, повышению задержки и более высокому энергопотреблению, что делает их менее подходящими для ИИ на устройстве. С другой стороны, хотя ГП могут преуспеть в параллельной обработке, они в основном предназначены для задач графической обработки. Для эффективной обработки задач генеративного ИИ ГП требуют специализированных интегральных схем, которые потребляют высокую мощность и генерируют значительное тепло. Кроме того, их большой физический размер создает препятствия для их использования в компактных устройствах.

Появление нейронных процессорных единиц (НПЕ)

В ответ на вышеуказанные проблемы нейронные процессорные единицы (НПЕ) появляются как трансформирующая технология для реализации генеративного ИИ на устройствах. Архитектура НПЕ в основном вдохновлена структурой и функцией человеческого мозга, особенно тем, как нейроны и синапсы сотрудничают для обработки информации. В НПЕ искусственные нейроны действуют как основные единицы, отражая биологические нейроны, получая входные данные, обрабатывая их и производя выходные данные. Эти нейроны соединены искусственными синапсами, которые передают сигналы между нейронами с разной силой, которая регулируется во время процесса обучения. Это имитирует процесс изменений синаптических весов в мозге. НПЕ организованы в слоях; входные слои, которые получают сырые данные, скрытые слои, которые выполняют промежуточную обработку, и выходные слои, которые генерируют результаты. Эта многослойная структура отражает многоступенчатую и параллельную способность обработки информации мозга. Поскольку генеративный ИИ также построен с использованием подобной структуры искусственных нейронных сетей, НПЕ хорошо подходят для управления рабочими нагрузками генеративного ИИ. Эта структурная согласованность снижает потребность в специализированных интегральных схемах, что приводит к более компактным, энергоэффективным, быстрым и устойчивым решениям.

Решение разнообразных вычислительных потребностей генеративного ИИ

Генеративный ИИ охватывает широкий спектр задач, включая синтез изображений, генерацию текста и композицию музыки, каждая из которых имеет свои уникальные вычислительные требования. Например, синтез изображений сильно зависит от матричных операций, в то время как генерация текста включает последовательную обработку. Чтобы эффективно удовлетворить эти разнообразные вычислительные потребности, нейронные процессорные единицы (НПЕ) часто интегрируются в технологию System-on-Chip (SoC) вместе с ЦП и ГП.

Каждый из этих процессоров имеет свои собственные вычислительные сильные стороны. ЦП особенно подходят для последовательного контроля и оперативности, ГП преуспевают в параллельной обработке данных, а НПЕ идеально подходят для основных операций ИИ, связанных со скалярной, векторной и тензорной математикой. Используя гетерогенную вычислительную архитектуру, задачи можно назначать процессорам на основе их сильных сторон и требований конкретной задачи.

НПЕ, оптимизированные для рабочих нагрузок ИИ, могут эффективно снять задачи генеративного ИИ с основного ЦП. Это не только обеспечивает быструю и энергоэффективную обработку, но также ускоряет задачи вывода ИИ, позволяя моделям генеративного ИИ работать более гладко на устройстве. С НПЕ, обрабатывающими задачи, связанные с ИИ, ЦП и ГП могут выделить ресурсы для других функций, тем самым повышая общую производительность приложения и сохраняя термическую эффективность.

Реальные примеры НПЕ

Развитие НПЕ набирает обороты. Вот некоторые реальные примеры НПЕ:

• Hexagon НПЕ от Qualcomm (QCOM ) специально разработан для ускорения задач вывода ИИ на устройствах с низкой мощностью и ограниченными ресурсами. Он предназначен для обработки задач генеративного ИИ, таких как генерация текста, синтез изображений и обработка аудио. Hexagon НПЕ интегрирован в платформы Snapdragon от Qualcomm, обеспечивая эффективную обработку моделей нейронных сетей на устройствах с продуктами ИИ от Qualcomm.
• Ядро нейронной сети Apple (AAPL ) является ключевым компонентом чипов серии A и M, обеспечивая различные функции ИИ, такие как Face ID, Siri и расширенная реальность (AR). Ядро нейронной сети ускоряет задачи, такие как распознавание лиц для безопасного Face ID, обработка естественного языка (NLP) для Siri и улучшенное отслеживание объектов и понимание сцены для приложений AR. Оно значительно повышает производительность задач, связанных с ИИ, на устройствах Apple, обеспечивая бесперебойный и эффективный пользовательский опыт.
• НПЕ Samsung – это специализированный процессор, предназначенный для вычислений ИИ, способный обрабатывать тысячи вычислений одновременно. Интегрированный в последние SoC Exynos от Samsung, которые обеспечивают работу многих телефонов Samsung, эта технология НПЕ позволяет выполнять генеративный ИИ с низким энергопотреблением и высокой скоростью. Технология НПЕ Samsung также интегрирована в флагманские телевизоры, обеспечивающие инновации в области звука, управляемые ИИ, и улучшая пользовательский опыт.
• Архитектура Da Vinci от Huawei служит ядром их процессора Ascend ИИ, предназначенного для повышения вычислительной мощности ИИ. Архитектура использует высокопроизводительный 3D-кубический вычислительный движок, что делает его мощным для рабочих нагрузок ИИ.

Итог

Генеративный ИИ меняет нашу интеракцию с устройствами и переопределяет вычисления. Проблема запуска генеративного ИИ на устройствах с ограниченными вычислительными ресурсами значительна, и традиционные ЦП и ГП часто не справляются. Нейронные процессорные единицы (НПЕ) предлагают перспективное решение с их специализированной архитектурой, предназначенной для удовлетворения требований генеративного ИИ. Интегрируя НПЕ в технологию System-on-Chip (SoC) вместе с ЦП и ГП, мы можем использовать сильные стороны каждого процессора, что приводит к более быстрой, эффективной и устойчивой производительности ИИ на устройствах. По мере эволюции НПЕ они готовы повысить возможности ИИ на устройстве, делая приложения более отзывчивыми и энергоэффективными.