인피네온 테크놀로지스와 d-메트릭스, 저지연 AI 인프라에 대한 협력

인피네온 테크놀로지스는 공식적으로 d-메트릭스와의 협력을 발표했습니다. 이 협력은 현대 데이터 센터에서 사용되는 AI 추론 시스템의 성능과 에너지 효율성을 개선하는 데 중점을 두었습니다. 이 협력은 d-메트릭스의 코르세어 AI 추론 가속기 플랫폼과 인피네온의 OptiMOS 듀얼 위상 전력 모듈을 중심으로 진행됩니다. 이 두 기술은 대화형 AI 워크로드를 위한 고밀도 컴퓨팅 환경을 지원하도록 설계되었습니다.

이 발표는 AI 하드웨어 산업에서 빠르게 성장하고 있는 추세를 강조합니다. 최근 몇 년 동안의 인프라 붐은 점점 더 큰 AI 모델을 훈련하는 데 중점을 두었습니다. 그러나 산업은現在 추론, 즉 실제 응용 프로그램에서 모델을 실행하는 과정으로 빠르게 확장하고 있습니다. 이러한 워크로드는 하드웨어에 대해 다른 요구를 가합니다. 특히 지연 시간, 응답성, 전력 소비 등이 중요합니다.

AI 추론이 주요 하드웨어 전장이 되는 이유

AI 추론은 대화형 AI 시스템이 밀리초 단위의 응답 시간을 요구하기 때문에 AI 인프라 시장에서 가장 빠르게 성장하는 부문 중 하나가 되었습니다. d-메트릭스는 코르세어를 이러한 워크로드에 특화하여 초저지연과 에너지 효율적인 추론을 강조했습니다.

d-메트릭스에 따르면, 코르세어는 디지털 인-메모리 컴퓨팅 아키텍처를 중심으로 설계되었습니다. 이는 생성형 AI 추론에서 자주 발생하는 메모리 병목 현상을 줄이기 위한 것입니다. 이 회사는 이 플랫폼이 전통적인 GPU 중심의 추론 시스템보다 대화형 응용 프로그램에서 대기 시간을 크게 줄이고 처리량을 개선할 수 있다고 주장합니다.

인피네온과의 협력은 또 다른 중요한 도전을 해결합니다. 즉, 전력 공급입니다.

AI 서버가 밀도 높아짐에 따라, 가속기에게 전력을 효율적으로 공급하는 것이 인프라 확장의 제한 요소가 되었습니다. 인피네온의 OptiMOS TDM2254xx 모듈은 전기 손실을 줄이고 컴팩트한 서버 시스템 내에서 전력 밀도를 개선하는 데 도움이 되는 수직 전력 공급 아키텍처를 위한 것입니다.

실시간 AI 시스템으로의 전환

이 두 회사는 협력을 “대화형 AI”의 부상과 관련시켰습니다. 여기서 추론 시스템은 극저지연으로 지속적으로 출력을 생성해야 합니다. 이는 대화형 AI, AI 에이전트, 실시간 추론 시스템, 대형 언어 모델에서 빠른 토큰 생성이 필요한 응용 프로그램을 포함합니다.

d-메트릭스 창립자이자 CEO인 시드 셰스는 코르세어의 아키텍처가 2 밀리초 미만의 토큰 지연 시간을 위해 특별히 설계되었다고 말했다. 이는 기업들이 AI 시스템을 실험에서 고객 맞춤 환경으로 이동함에 따라 점점 더 중요한 지표가 되었습니다.

더 넓은 AI 산업은 또한 추론 인프라가 훈련 인프라와 다르게 발전할 수 있다는 것을 인식하기 시작했습니다. 생성형 AI 확장의 첫 번째 단계에서 GPU 클러스터가 지배적이었지만, 추론은 원시 컴퓨팅 능력만큼 메모리 대역폭, 지연 시간, 네트워킹, 에너지 효율성을 최적화한 아키텍처를 보상합니다.

전력 효율성이 AI 확장의 핵심이 되다

하이퍼스케일러와 AI 클라우드 제공업체가 직면하는 가장 큰 제약 중 하나는 전기 수요입니다. AI 추론 워크로드는 하루에 수백만 개의 요청을 처리할 수 있으므로 운영 효율성이 배포 비용에 결정적입니다.

인피네온은 실리콘, 실리콘 카바이드(SiC), 갈륨 질화물(GaN) 기반의 반도체 기술을 통해 AI 인프라 내에서 지위를 확대해 왔습니다. 이 회사는 점점 더 AI 가속기와 서버 인프라 아래의 전력 공급 계층을 공급하는 데 중점을 두었습니다.

d-메트릭스와의 협력은 반도체 회사들이 AI 가속기 스타트업과 더緊密하게 통합되는 산업의 한 예입니다. 이 산업은 기존의 GPU 중심 아키텍처에 대한 대안을 찾고 있습니다.

AI 인프라가 전통적인 GPU를 넘어 확장

이 협력은 AI 하드웨어에서 더广泛한 실험의 물결과 함께 발생했습니다. 점점 더 많은 스타트업이 추론, 메모리 중심 컴퓨팅, 또는 AI 네트워킹을 위한 전문 가속기를 개발하고 있습니다.

d-메트릭스는 컴퓨팅-인-메모리 기술과 저지연 추론 시스템을 강조하며 생성형 AI를 위한 특별한 솔루션을 제공하고 있습니다. 이 회사는 또한 가속기 칩뿐만 아니라 네트워킹, 구성 가능한 인프라, 추론 클러스터를 위한 전체 시스템 최적화를 강조했습니다.

AI 응용 프로그램이 점점 더 대화형이고 상호작용적인 추세가 되면서, 인프라 제공업체는 원시 처리 능력만큼 지연 시간을 줄이고 에너지 소비를 낮추고 전체 데이터 센터 스택에서 시스템 수준의 효율성을 개선하는 데 더 많은 중점을 두게 될 것입니다.