신경 처리 유닛의 부상: 온디바이스 생성형 AI의 속도와 지속 가능성 향상

생성형 AI의 진화는 단순히 컴퓨팅 장치와의 상호 작용과 경험을 재정의하는 것을 넘어서 핵심 컴퓨팅 자체도 재정의하고 있습니다. 이러한 변혁의 핵심 동인 중 하나는 제한된 계산 자원을 갖춘 장치에서 생성형 AI를 운영해야 하는 필요성입니다. 이 기사에서는 이러한 도전 과제를 обс하고 신경 처리 유닛(NPU)이 어떻게 이러한 문제를 해결하는지 обс합니다. 또한, 이 분야에서 선도적인 역할을 하는 최신 NPU 프로세서에 대해 소개합니다.

온디바이스 생성형 AI 인프라의 도전 과제

이미지 합성, 텍스트 생성, 음악 작곡을 위한 생성형 AI는 상당한 계산 자원을 요구합니다. 전통적으로, 이러한 요구는 클라우드 플랫폼의 방대한 능력을 활용하여 충족되어 왔습니다. 그러나 효과적으로 작동하는 이 접근 방식은 온디바이스 생성형 AI에 대해 일련의 도전 과제를 제기합니다. 이는 상시 인터넷 연결과 중앙 집중식 인프라에 대한 의존을 포함하며, 이는 지연, 보안 취약성, 에너지 소비의 증가를 초래합니다.

클라우드 기반 AI 인프라의 핵심은 중앙 처리 장치(CPU)와 그래픽 처리 장치(GPU)를 통해 생성형 AI의 계산 요구를 처리하는 데 크게 의존합니다. 그러나 온디바이스 생성형 AI에 적용될 때, 이러한 프로세서는 상당한 장애물에 직면합니다. CPU는 일반 목적의 작업을 위해 설계되었으며, 효율적이고 저전력으로 생성형 AI 작업을 실행하는 데 필요한 전문 아키텍처가 부족합니다. 제한된 병렬 처리 능력으로 인해 처리량이 감소하고, 지연이 증가하며, 전력 소비가 증가하여 온디바이스 AI에 적합하지 않습니다.另一方面, GPU는 병렬 처리에서 우수하지만, 주로 그래픽 처리 작업을 위해 설계되었습니다. 생성형 AI 작업을 효과적으로 수행하려면, GPU는 고전력과 많은 열을 발생시키는 전문 통합 회로가 필요합니다. 또한, 큰 물리적 크기로 인해 컴팩트한 온디바이스 애플리케이션에서 사용하기 어렵습니다.

신경 처리 유닛(NPU)의 등장

위의 도전 과제에 대응하여, 신경 처리 유닛(NPU)은 온디바이스에서 생성형 AI를 구현하기 위한 변革적인 기술로 등장하고 있습니다. NPU의 아키텍처는 주로 인간의 뇌 구조와 기능, 특히 뉴런과 시냅스가 정보를 처리하는 방법에서 영감을 얻었습니다. NPU에서 인공 뉴런은 기본 단위로 작용하며, 생물학적 뉴런과 유사하게 입력을 받고, 처리하고, 출력을 생성합니다. 이러한 뉴런은 인공 시냅스를 통해 상호 연결되며, 학습 과정 중에 강度가 조정되는 신호를 뉴런 사이에서 전달합니다. 이것은 뇌의 시냅스 가중치 변경 과정의 모방입니다. NPU는 계층으로 구성되며, 원시 데이터를 받는 입력 계층, 중간 처리를 수행하는 숨겨진 계층, 결과를 생성하는 출력 계층이 있습니다. 이 계층 구조는 뇌의 다단계 및 병렬 정보 처리 능력을 반영합니다. 생성형 AI도 유사한 구조의 인공 신경망으로 구성되므로, NPU는 생성형 AI 작업을 관리하는 데 적합합니다. 이러한 구조적 일치는 전문 통합 회로의 필요성을 줄여 더 콤팩트하고, 에너지 효율적이고, 빠르고, 지속 가능한 솔루션을 제공합니다.

생성형 AI의 다양한 계산需求에 대한 대응

생성형 AI는 이미지 합성, 텍스트 생성, 음악 작곡을 포함한 다양한 작업을 포함하며, 각 작업에는 고유한 계산 요구가 있습니다. 예를 들어, 이미지 합성은 행렬 연산에 크게 의존하며, 텍스트 생성은 순차적 처리를 포함합니다. 이러한 다양한 계산 요구에 효과적으로 대응하기 위해, 신경 처리 유닛(NPU)은 종종 시스템 온 칩(SoC) 기술과 함께 CPU와 GPU와 통합됩니다.

각각의 프로세서는 고유한 계산 강점을 제공합니다. CPU는 순차적 제어와 즉시성에 특히 적합하며, GPU는 스트리밍 병렬 데이터에 우수하며, NPU는 핵심 AI 작업, 스칼라, 벡터 및 텐서 수학에 최적화되어 있습니다. 이기종 컴퓨팅 아키텍처를 활용하여, 작업은 프로세서의 강점과 작업의 요구에 따라 할당할 수 있습니다.

NPU는 AI 작업에 최적화되어 있으므로, 생성형 AI 작업을 주 CPU에서 효율적으로 오프로드할 수 있습니다. 이 오프로드는 빠르고 에너지 효율적인 작동을 보장하며, AI 추론 작업을 가속화하여 생성형 AI 모델이 장치에서 더 원활하게 실행될 수 있습니다. NPU가 AI 관련 작업을 처리할 때, CPU와 GPU는 다른 기능에 리소스를 할당하여 전체 애플리케이션 성능을 향상시키면서 열 효율성을 유지할 수 있습니다.

실제 예: NPU

NPU의 발전은 속도를 내고 있습니다. 실제 예는 다음과 같습니다:

• Hexagon NPU by Qualcomm은 저전력 및 저자원 장치에서 AI 추론 작업을 가속화하기 위해 특별히 설계되었습니다. 텍스트 생성, 이미지 합성, 오디오 처리와 같은 생성형 AI 작업을 처리하도록 구축되었습니다. Hexagon NPU는 Qualcomm의 Snapdragon 플랫폼에 통합되어 Qualcomm AI 제품을 사용하는 장치에서 신경망 모델의 효율적인 실행을 제공합니다.
• Apple의 Neural Engine은 Aシリーズ 및 Mシリーズ 칩의 핵심 구성 요소로, Face ID, Siri, 증강 현실(AR)과 같은 다양한 AI 기반 기능을 구동합니다. Neural Engine은 보안 Face ID를 위한 얼굴 인식, Siri를 위한 자연어 처리(NLP), AR 애플리케이션을 위한 개선된 객체 추적 및 장면 이해와 같은 작업을 가속화합니다. 이는 Apple 장치에서 AI 관련 작업의 성능을 크게 향상시키며, 원활하고 효율적인 사용자 경험을 제공합니다.
• 삼성의 NPU는 AI 계산을 위한 전문 프로세서로, 동시에 수천 개의 계산을 처리할 수 있습니다. 최신 삼성 Exynos SoC에 통합되어 많은 삼성폰을 구동하는 이 NPU 기술은 저전력, 고속의 생성형 AI 계산을 가능하게 합니다. 삼성의 NPU 기술은 또한 플래그십 TV에 통합되어 AI 기반 사운드 혁신을 가능하게 하며 사용자 경험을 향상시킵니다.
• 화웨이의 다빈치 아키텍처는 их Ascend AI 프로세서의 핵심으로, AI 컴퓨팅 성능을 향상시키기 위해 설계되었습니다. 이 아키텍처는 고성능 3D 큐브 컴퓨팅 엔진을 활용하여 AI 작업에 강력합니다.

결론

생성형 AI는 장치와의 상호 작용을 변革시키고 컴퓨팅을 재정의하고 있습니다. 제한된 계산 자원을 갖춘 장치에서 생성형 AI를 실행하는 도전 과제는 상당하며, 전통적인 CPU와 GPU는 종종 부족합니다. 신경 처리 유닛(NPU)은 전문 아키텍처로 생성형 AI의 요구를 충족하는 약속된 솔루션을 제공합니다. NPU를 SoC 기술과 함께 CPU와 GPU와 통합하여, 각 프로세서의 강점을 활용하여, 작업을 프로세서의 강점과 작업의 요구에 따라 할당할 수 있습니다. 이는 장치에서 더 빠르고, 효율적이고, 지속 가능한 AI 성능을 제공합니다. NPU가 계속 진화함에 따라, 온디바이스 AI 능력을 향상시키고, 애플리케이션을 더 반응적이고 에너지 효율적으로 만듭니다.