Развитие нейронных процессоров: улучшение генеративного искусственного интеллекта на устройстве для повышения скорости и устойчивости

Эволюция генеративный ИИ не только меняет наше взаимодействие и опыт работы с вычислительными устройствами, но и меняет определение основных вычислений. Одним из ключевых факторов трансформации является необходимость использования генеративного ИИ на устройствах с ограниченными вычислительными ресурсами. В этой статье обсуждаются проблемы, которые это представляет, и то, как нейронные процессоры (NPU) появляются для их решения. Кроме того, в статье представлены некоторые из новейших процессоров NPU, которые являются лидерами в этой области.

Проблемы генерирующей инфраструктуры искусственного интеллекта на устройствах

Генеративный искусственный интеллект, основа синтеза изображений, генерации текста и создания музыки, требует значительных вычислительных ресурсов. Традиционно эти требования удовлетворялись за счет использования огромных возможностей облачных платформ. Несмотря на свою эффективность, этот подход сопряжен с собственным набором проблем для генеративного искусственного интеллекта на устройствах, включая зависимость от постоянного подключения к Интернету и централизованной инфраструктуры. Эта зависимость приводит к задержкам, уязвимостям безопасности и повышенному энергопотреблению.

Основа облачных технологий ИИ инфраструктура во многом зависит от центральных процессоров (ЦП) и графические процессоры (GPU) для удовлетворения вычислительных потребностей генеративного ИИ. Однако применительно к генеративному искусственному интеллекту на устройстве эти процессоры сталкиваются со значительными препятствиями. Процессоры предназначены для задач общего назначения и не имеют специализированной архитектуры, необходимой для эффективного и экономичного выполнения задач генеративного ИИ. Их ограниченные возможности параллельной обработки приводят к снижению пропускной способности, увеличению задержек и более высокому энергопотреблению, что делает их менее идеальными для искусственного интеллекта на устройстве. С другой стороны, хотя графические процессоры могут превосходно выполнять параллельную обработку, они в первую очередь предназначены для задач обработки графики. Для эффективного выполнения задач генеративного ИИ графическим процессорам требуются специализированные интегральные схемы, которые потребляют большую мощность и выделяют значительное количество тепла. Более того, их большой физический размер создает препятствия для их использования в компактных приложениях на устройствах.

Появление нейронных процессоров (NPU)

В ответ на вышеперечисленные вызовы нейронные процессоры (NPU) появляются как революционная технология для реализации генеративного искусственного интеллекта на устройствах. Архитектура NPU в первую очередь вдохновлена ​​структурой и функциями человеческого мозга, в частности тем, как нейроны и синапсы взаимодействуют при обработке информации. В NPU искусственные нейроны выступают в качестве основных единиц, отражая биологические нейроны, получая входные данные, обрабатывая их и производя выходные данные. Эти нейроны связаны между собой искусственными синапсами, которые передают сигналы между нейронами различной силы, которые адаптируются в процессе обучения. Это имитирует процесс изменения синаптического веса в мозге. NPU организованы слоями; входные слои, которые получают необработанные данные, скрытые слои, выполняющие промежуточную обработку, и выходные слои, генерирующие результаты. Эта многоуровневая структура отражает способность мозга к многоступенчатой ​​и параллельной обработке информации. Поскольку генеративный ИИ также создается с использованием аналогичной структуры искусственных нейронных сетей, NPU хорошо подходят для управления рабочими нагрузками генеративного ИИ. Такое структурное согласование снижает потребность в специализированных интегральных схемах, что приводит к более компактным, энергоэффективным, быстрым и устойчивым решениям.

Удовлетворение разнообразных вычислительных потребностей генеративного искусственного интеллекта

Генеративный ИИ охватывает широкий спектр задач, включая синтез изображений, генерацию текста и композицию музыки, каждая из которых имеет свой собственный набор уникальных вычислительных требований. Например, синтез изображений в значительной степени зависит от матричных операций, а генерация текста предполагает последовательную обработку. Чтобы эффективно удовлетворить эти разнообразные вычислительные потребности, в них часто интегрируются нейронные процессоры (NPU). Система на кристалле (SoC) технологии наряду с процессорами и графическими процессорами.

Каждый из этих процессоров обладает различной вычислительной мощностью. Центральные процессоры особенно хороши в последовательном управлении и оперативности, графические процессоры превосходно справляются с потоковой передачей параллельных данных, а NPU точно настроены для основных операций искусственного интеллекта, занимающихся скалярной, векторной и тензорной математикой. Используя гетерогенную вычислительную архитектуру, задачи можно назначать процессорам в зависимости от их сильных сторон и требований конкретной задачи.

NPU, оптимизированные для рабочих нагрузок ИИ, могут эффективно разгрузить генеративные задачи ИИ от основного процессора. Такая разгрузка не только обеспечивает быстрые и энергоэффективные операции, но также ускоряет задачи вывода ИИ, позволяя генеративным моделям ИИ более плавно работать на устройстве. Поскольку NPU выполняют задачи, связанные с искусственным интеллектом, центральные и графические процессоры могут свободно распределять ресурсы для других функций, тем самым повышая общую производительность приложений при сохранении тепловой эффективности.

Реальные примеры NPU

Развитие НПУ набирает обороты. Вот несколько реальных примеров NPU:

• Шестигранные процессоры Qualcomm специально разработан для ускорения задач вывода ИИ на устройствах с низким энергопотреблением и ресурсами. Он создан для решения генеративных задач искусственного интеллекта, таких как генерация текста, синтез изображений и обработка звука. Hexagon NPU интегрирован в платформы Qualcomm Snapdragon, обеспечивая эффективное выполнение моделей нейронных сетей на устройствах с Компания Qualcomm Продукты ИИ.
• Нейронный двигатель Apple является ключевым компонентом Чипы A-серии и M-серии, обеспечивающий работу различных функций на основе искусственного интеллекта, таких как Face ID, Siri и дополненная реальность (AR). Neural Engine ускоряет такие задачи, как распознавание лиц для безопасного Face ID, обработка естественного языка (NLP) для Siri, а также улучшенное отслеживание объектов и понимание сцены для приложений AR. Он значительно повышает производительность задач, связанных с искусственным интеллектом, на устройствах Apple, обеспечивая удобство и эффективность взаимодействия с пользователем.
• NPU Samsung — это специализированный процессор, предназначенный для вычислений искусственного интеллекта, способный одновременно выполнять тысячи вычислений. Интегрировано в новейшую версию Процессоры Samsung Exynos, которые используются во многих телефонах Samsung, эта технология NPU обеспечивает маломощные и высокоскоростные генеративные вычисления искусственного интеллекта. Технология NPU от Samsung также интегрирована во флагманские телевизоры, обеспечивая инновации в области звука на основе искусственного интеллекта и повышая качество пользовательского опыта.
• Архитектура Да Винчи от Huawei служит ядром их AI-процессор Ascend, предназначенный для повышения вычислительной мощности ИИ. В этой архитектуре используется высокопроизводительный вычислительный механизм 3D-куба, что делает ее мощной для рабочих нагрузок искусственного интеллекта.

Выводы

Генеративный искусственный интеллект меняет наше взаимодействие с устройствами и переосмысливает вычисления. Задача запуска генеративного ИИ на устройствах с ограниченными вычислительными ресурсами является серьезной, и традиционные процессоры и графические процессоры часто не справляются с этой задачей. Нейронные процессоры (NPU) предлагают многообещающее решение благодаря своей специализированной архитектуре, предназначенной для удовлетворения потребностей генеративного искусственного интеллекта. Интегрируя NPU в технологию System-on-Chip (SoC) наряду с центральными и графическими процессорами, мы можем использовать сильные стороны каждого процессора, что приведет к более быстрой, эффективной и устойчивой работе искусственного интеллекта на устройствах. По мере того, как NPU продолжают развиваться, они призваны расширять возможности искусственного интеллекта на устройстве, делая приложения более отзывчивыми и энергоэффективными.