사상가
생성 AI의 새로운 지평 — 클라우드와는 거리가 멀다
태초에 인터넷은 우리의 삶, 즉 의사소통, 쇼핑, 비즈니스 수행 방식을 영원히 바꿔 놓았습니다. 그리고 지연 시간, 개인 정보 보호 및 비용 효율성으로 인해 인터넷이 네트워크 에지로 이동하여 "사물 인터넷"이 탄생했습니다.
이제 우리가 인터넷에서 하는 모든 일을 더 쉽게, 더 개인화하고, 더 지능적으로 만드는 인공 지능이 있습니다. 하지만 이를 사용하려면 대규모 서버가 필요하고, 높은 컴퓨팅 용량이 필요하므로 클라우드에만 국한됩니다. 그러나 대기 시간, 개인 정보 보호, 비용 효율성이라는 동일한 동기로 인해 Hailo와 같은 회사는 엣지에서 AI를 활성화하는 기술을 개발하게 되었습니다.
의심할 여지 없이 다음으로 중요한 것은 생성 적 AI. 생성적 AI는 산업 전반에 걸쳐 엄청난 잠재력을 제시합니다. 변호사, 콘텐츠 작가, 그래픽 디자이너, 음악가 등 다양한 제작자의 작업을 간소화하고 효율성을 높이는 데 사용할 수 있습니다. 이는 새로운 치료 약물을 발견하거나 의료 절차에 도움을 줄 수 있습니다. 생성적 AI는 비디오, 오디오, 이미지 등의 자동 합성을 통해 산업 자동화를 개선하고, 새로운 소프트웨어 코드를 개발하며, 교통 보안을 강화할 수 있습니다.
그러나 현재 존재하는 생성 AI는 이를 가능하게 하는 기술에 의해 제한됩니다. 이는 생성 AI가 클라우드에서 발생하기 때문입니다. 비용이 많이 들고 에너지를 소비하는 컴퓨터 프로세서로 구성된 대규모 데이터 센터는 실제 사용자와 멀리 떨어져 있습니다. 누군가 ChatGPT와 같은 생성 AI 도구나 일부 새로운 AI 기반 화상 회의 솔루션에 프롬프트를 표시하면 요청은 인터넷을 통해 클라우드로 전송되며, 클라우드에서 결과가 네트워크를 통해 반환되기 전에 서버에서 처리됩니다.
기업이 생성적 AI를 위한 새로운 애플리케이션을 개발하고 이를 비디오 카메라, 보안 시스템, 산업용 및 개인용 로봇, 노트북, 심지어 자동차 등 다양한 유형의 장치에 배포함에 따라 클라우드는 대역폭, 비용, 연결성 측면에서 병목 현상을 일으키게 됩니다.
운전자 지원, 개인용 컴퓨터 소프트웨어, 화상 회의 및 보안과 같은 애플리케이션의 경우 네트워크를 통해 지속적으로 데이터를 이동하는 것은 개인 정보 보호 위험이 될 수 있습니다.
해결책은 이러한 장치가 생성적 AI를 처리할 수 있도록 하는 것입니다. 가장자리. 실제로 엣지 기반 생성 AI는 많은 새로운 애플리케이션에 이점을 제공합니다.
증가하는 생성 AI
XNUMX월에 생각해 보세요. 메르세데스-벤츠가 말했다 ChatGPT를 자동차에 도입할 예정입니다. 예를 들어, ChatGPT가 강화된 Mercedes에서 운전자는 집에 이미 가지고 있는 재료를 바탕으로 저녁 식사 레시피를 핸즈프리로 자동차에 요청할 수 있습니다. 즉, 자동차가 인터넷에 연결되어 있는 경우입니다. 주차장이나 원격지에서는 모든 베팅이 취소됩니다.
지난 몇 년 동안 화상회의는 우리 대부분에게 제XNUMX의 천성이 되었습니다. 이미 소프트웨어 회사들은 AI 형태를 화상 회의 솔루션에 통합하고 있습니다. 아마도 즉석에서 오디오 및 비디오 품질을 최적화하거나 동일한 가상 공간에 사람들을 "배치"하는 것일 수도 있습니다. 이제 생성적 AI 기반 화상 회의를 통해 자동으로 회의록을 생성하거나 다양한 주제가 논의되는 동안 실시간으로 회사 소스로부터 관련 정보를 가져올 수 있습니다.
그러나 스마트 자동차, 화상 회의 시스템 또는 기타 엣지 장치가 클라우드에 다시 연결할 수 없다면 생성적 AI 경험은 이루어질 수 없습니다. 하지만 그럴 필요가 없었다면 어떨까요? 클라우드 AI의 엄청난 처리량을 고려하면 벅찬 일처럼 들리지만, 이제 가능해지고 있다.
엣지에서의 생성적 AI
예를 들어, 풍부하고 매력적인 PowerPoint 프레젠테이션을 자동으로 만들 수 있는 생성적 AI 도구가 이미 있습니다. 그러나 사용자는 인터넷 연결 없이도 어디서나 작업할 수 있는 시스템이 필요합니다.
마찬가지로, 우리는 보고서 작성이나 데이터 시각화와 같은 많은 일상적인 작업을 자동화하여 컴퓨팅 장치와 상호 작용하는 방식을 근본적으로 변화시킬 새로운 종류의 생성 AI 기반 "부조종사" 보조 장치를 이미 보고 있습니다. 노트북을 열면 노트북이 카메라를 통해 사용자를 인식하고 Outlook, Teams, Slack, Trello 등과 같이 가장 많이 사용하는 도구를 기반으로 일/주/월에 대한 작업 과정을 자동으로 생성한다고 상상해 보세요. 하지만 데이터를 유지하려면 개인 정보 보호와 우수한 사용자 경험을 위해서는 생성 AI를 로컬에서 실행할 수 있는 옵션이 있어야 합니다.
불안정한 연결 및 데이터 개인 정보 보호 문제를 해결하는 것 외에도 엣지 AI는 대역폭 요구를 줄이고 애플리케이션 성능을 향상시키는 데 도움이 될 수 있습니다. 예를 들어, 생성 AI 애플리케이션이 클라우드를 통해 가상 회의 공간과 같은 데이터가 풍부한 콘텐츠를 생성하는 경우 사용 가능한(그리고 비용이 많이 드는) 대역폭에 따라 프로세스가 지연될 수 있습니다. 그리고 보안, 로봇 공학, 의료 등 특정 유형의 생성 AI 애플리케이션에는 클라우드 연결이 처리할 수 없는 고성능, 짧은 지연 시간의 응답이 필요합니다.
비디오 보안에서 사람들이 여러 카메라(네트워크가 연결할 수 없는 곳에 배치됨) 사이를 이동할 때 사람들을 재식별하려면 실제 카메라에서 데이터 모델과 AI 처리가 필요합니다. 이 경우 “빨간 티셔츠와 야구 모자를 쓴 8살 아이를 찾아주세요”와 같은 간단한 쿼리를 통해 카메라가 보는 것을 자동으로 설명하는 데 생성 AI를 적용할 수 있습니다.
그건 엣지의 생성 AI.
Edge AI의 발전
새로운 종류의 AI 프로세서를 채택하고 더 얇고 효율적이면서도 강력한 생성 AI 데이터 모델을 개발함으로써 엣지 장치는 클라우드 연결이 불가능하거나 바람직하지 않은 곳에서 지능적으로 작동하도록 설계될 수 있습니다.
물론 클라우드 처리는 생성 AI의 중요한 구성 요소로 남을 것입니다. 예를 들어 AI 모델 교육은 클라우드에 유지됩니다. 그러나 추론이라고 하는 이러한 모델에 사용자 입력을 적용하는 작업은 엣지에서 발생할 수 있으며 많은 경우에 발생해야 합니다.
업계에서는 이미 엣지 장치에 로드할 수 있는 더 얇고, 더 작고, 더 효율적인 AI 모델을 개발하고 있습니다. 같은 회사 헤일로 신경망 처리를 수행하도록 특별히 설계된 AI 프로세서를 제조합니다. 이러한 신경망 프로세서는 AI 모델을 놀라울 정도로 빠르게 처리할 뿐만 아니라 더 적은 전력으로도 처리하므로 에너지 효율성이 뛰어나고 스마트폰부터 카메라까지 다양한 엣지 장치에 적합합니다.
엣지에서 생성 AI를 처리하면 증가하는 워크로드의 로드 밸런싱을 효과적으로 수행하고, 애플리케이션을 보다 안정적으로 확장할 수 있으며, 클라우드 데이터 센터의 비용이 많이 드는 처리 부담을 덜어주고, 탄소 배출량을 줄이는 데 도움이 됩니다.
생성적 AI(Generative AI)는 컴퓨팅을 다시 변화시킬 준비가 되어 있습니다. 앞으로는 노트북의 LLM이 현재 OS와 동일한 방식으로 자동 업데이트되고 거의 동일한 방식으로 작동할 수 있습니다. 하지만 거기에 도달하려면 네트워크 에지에서 생성적 AI 처리를 활성화해야 합니다. 그 결과 더 나은 성능, 에너지 효율성, 개인 정보 보호 및 보안이 보장됩니다. 이 모든 것이 생성 AI만큼이나 세상을 변화시키는 AI 애플리케이션으로 이어집니다.
