tinyML이 에지에서 컴퓨터 비전을 가능하게 하는 역할 – 사상가들

작성자: 데이비스 소이어, Deeplite의 공동 창립자 및 최고 제품 책임자, Deeplite

컴퓨터 비전은 우리의 일상 생활을 개선하는巨大한 잠재력을 가지고 있으며, 이를 위한 많은 응용 프로그램과 사용법이 있습니다. 몇 가지 예를 들어 설명하면,

• 스마트 도어벨은 홈 보안을 도와 포치 파이럿과 침입을 방지합니다. I.H.S. Markit의 연구에 따르면(SecurityInfoWatch에 발표됨) 2021년에 전 세계 감시 카메라의 수는 10억 개에 이를 것으로 예상되었습니다. 미국だけで 카메라의 수는 8,500만 개에 이를 것으로 예상되었습니다.
• 주차장에서 AI를 사용한 카메라는 빈 주차 공간과 차량이 있는 주차 공간을 자동으로 추적하여 소비자에게 빈 공간을 알려줍니다.
• 대시보드 카메라는 트럭에 장착되어 속도 제한 표지를 읽고 트럭의 속도를 동적으로 줄여 안전성을 향상시킵니다.
• 또한 연결된 카메라를搭載한 드론은 원격 및難 접근 지역을 모니터링하며, 이미지를 처리하고 실시간으로 결정합니다.

이 모든 응용 프로그램은 지능형 비디오 분석을 사용하여 비디오를 감시하고, 지능을 사용하여 결정하고, 이후 행동을 취합니다.

컴퓨터 비전은 에지에서 더 많은 리소스가 필요합니다

그러나 많은 AI 기반 응용 프로그램과 마찬가지로, 컴퓨터 비전은 복잡한 분석과 결정에 필요한 컴퓨팅 파워, 메모리 및 에너지의 폭발을 필요로 합니다. 이것은 많은 컴퓨팅 파워를 가진 데이터 센터에서 괜찮지만, 에지로의 AI 이동을 방해할 수 있습니다. 특히, 기업 데이터 센터에서 멀리 떨어져 있는 작은 장치와 작은 배터리로 작동하는 장치에는 전통적인 접근 방식보다 더 작고, 빠르며 “가벼운” 새로운 AI가 필요합니다. 또한 기존 장치에는 새로운 AI + ML(컴퓨터 비전) 기능이 추가되어야 하며, 이는 경쟁력을 유지하기 위해 필수적입니다.

신규 기술이 딥 뉴럴 네트워크를 강화합니다

오늘날, AI의 새로운 기술은 딥 뉴럴 네트워크(DNN)를 더 빠르고, 더 작고, 더 에너지 효율적으로 만들며, 이는 클라우드와 데이터 센터에서 에지 장치와 배터리 구동 센서로의 AI 이동을 도와줍니다. AI 모델 훈련에 대한 엄청난 탄소足跡은 문서화되고 논의되었습니다(예: 한 개의 AI 언어 모델 훈련은 5개의 자동차의 수명 동안 배출하는 CO2와 동일합니다). 그러나 우리는 AI 모델 추론의 환경적 영향과 이를 줄이는 방법을 이해해야 합니다. 이것은 모델 최적화가 경제적 및 환경적 비용을 줄이는 데 큰 이점을 제공할 수 있는 영역입니다.

TinyML이 에지의 AI를 가능하게 합니다

이러한 기술 중 하나는 tinyML입니다. 이는 작은, 배터리 구동 장치에서 고급 ML을 사용하여 컴퓨터 비전 및 기타 인식 작업을 가능하게 하는 강력한 새로운 트렌드입니다. 이는 클라우드의 에지에서 작은, 자원 제한된 장치에서 ML 추론을 가능하게 하며, 사용자 근처의 에지 응용 프로그램을 가능하게 합니다.

예를 들어, NVIDIA A100과 같은 서버 GPU에는 40GB 이상의 사용 가능한 메모리가 있으며, 이는 컴퓨터 비전 및 자연어 처리와 같은 복잡한 AI를 실행하기에 적합합니다. 그러나 에지 장치와 tinyML을 논의할 때, 일반적인 마이크로 컨트롤러(MCU)는 256KB의 온칩 메모리만 가지고 있으며, 이는 클라우드보다 100,000배 더 적은 메모리입니다! 또한 데이터 센터와 클라우드와 달리, 에지 장치 하드웨어는 필드에서 쉽게 업데이트할 수 없습니다. 이는 개발자가 몇 개월에서 몇 년까지의 시도와 오류를 통해 우리의 AI를 사용 가능한 하드웨어에 “적합”하게 해야 한다는 것을 의미합니다. 이것은 tinyML, 특히 자동화된 기계 학습(AutoML)이 실제 세계에서 AI를 채택하는 장벽을 깨는 데 주요 역할을 할 수 있는 영역입니다.

tinyML의 영향은 증가하고 있습니다. 10,000명 이상의 회원을 가진 tinyML 재단은 에지에서 超低 전력 기계 학습 솔루션의 개발과 배포를 지원하는 생태계를 성장시키고 있습니다. 재단은 하드웨어, 소프트웨어, 기계 학습, 데이터 과학자, 시스템 엔지니어, 디자이너, 제품, 비즈니스 전문가를 포함한 세계적인 커뮤니티를 결합합니다.

기회의 세계

전체적으로, 컴퓨터 비전을 개선할 수 있는 수십억 개의 작은 연결된 장치가 있습니다. 그러나 이러한 장치에는 매우 제한된 리소스가 있습니다. 어떻게 이러한 장치에 지능을 추가할 수 있을까요? tinyML은 에지의 작은 장치에서 컴퓨터 비전 기반의 실제 세계 응용 프로그램에 AI와 ML을 더 많이 제공하는 데 주요 역할을 할 수 있습니다. 이것은 사람과 회사, 제품, 서비스 및 산업에 걸쳐 새로운 AI의 전방을 열어주는巨大한 이점을 제공할 수 있습니다.