NeuReality의 모세 타나흐 CEO 및 공동 창립자 인터뷰 시리즈

모세 타나흐는 NeuReality의 CEO이자 공동 창립자입니다. NeuReality를 설립하기 전에 모세는 Marvell과 Intel에서 엔지니어링 디렉터로 재직하며 복잡한 무선 및 네트워킹 제품을 개발하여 대량 생산에 참여했습니다. 그는 또한 DesignArt Networks(QUALCOMM에 인수됨)의 R&D 부문장으로서 4G 기지국 제품 개발에 기여했습니다.

NeuReality의 미션은 AI를 더 쉽게 사용할 수 있도록 만드는 것입니다. 시스템 수준에서 AI에 접근하여 NeuReality의 산업 전문가 팀은 AI 추론을 전체적으로 제공하며 병목 현상을 식별하고 목적에 맞는 실리콘에서 소프트웨어까지의 AI 추론 솔루션을 제공하여 AI를 더 저렴하고 접근하기 쉽게 만듭니다.

Marvell, Intel (INTC ), DesignArt-Networks에서 엔지니어링 프로젝트를 이끌어온 경험을 바탕으로 NeuReality를 공동 설립하게 된 계기는 무엇이며, 이전 역할이 회사의 비전과 방향에 미친 영향은 무엇인가?

NeuReality는 미래의 비용, 복잡성, 기후 문제를 해결하기 위해 설계되었습니다. AI 추론은 훈련된 AI 모델과 소프트웨어를 생산 수준의 AI 데이터 센터에 배포하는 것입니다. AI 훈련은 AI를 생성하는 것이고, AI 추론은 AI를 사용하고 수십억 개의 기기와 장치와 상호 작용하는 것입니다.

우리는 시스템 엔지니어 팀이므로 AI 추론의 모든 측면을 고려합니다. 2015년부터 AI 추론이 2020년까지 상당한 벽에 부딪힐 것이라는 것을 알게 되었습니다. 시스템 제한으로 인해 AI 가속기가 더 빠르고 효율적이지만 기본 인프라는 따라가지 못했습니다.

따라서 우리는 큰 기업의 관료주의를 깨고 산업을 혁신적인 AI 아키텍처로 바꾸기로 결정했습니다. NR1 서버 온 칩이 호스트 CPU와 NIC를 대체하여 GPU와 AI 가속기를 최적화하고 시스템 수준의 효율성을 향상시킵니다. 이 새로운 AI 컴퓨팅과 네트워크 인프라는 시장의 장벽을 제거하고 에너지 소비, AI 데이터 센터의 공간 문제, 운영 비용을 줄입니다.

이번은 AI 시스템 아키텍처를 혁신적으로 바꾸는 기회입니다. 30년간 배운 것과 실천한 것을 바탕으로 새로운 AI 혁신자를 위한 문을 열어주고 CPU 병목 현상, 복잡성, 탄소 발자국을 제거합니다.

NeuReality의 미션은 AI를 민주화하는 것입니다. “AI for All”이 무엇을 의미하는지와 NeuReality가 이 비전을 달성하기 위해 어떻게 계획하는지 설명해 주시겠습니까?

우리의 미션은 모든 조직이 AI를 더 쉽게 사용할 수 있도록 만드는 것입니다. GPU 또는 AI 가속기를 최대한 활용하여 투자로부터 더 많은 것을 얻을 수 있도록 합니다. NR1 AI 추론 솔루션을 통해 이 비전을 달성하고자 합니다. 이는 데이터 센터 시스템 아키텍처를 AI 시대에 맞게 설계하여 높은 볼륨, 높은 다양성의 AI 데이터 파이프라인을 효율적으로 실행할 수 있습니다.

AI를 모두에게 더 쉽게 사용할 수 있도록 만드는 또 다른 방법은 사용하기 쉽게 만드는 것입니다. NeuReality에서는 AI 인프라 배포, 관리, 확장성을 간소화하고 비즈니스 프로세스와 수익성을 향상시키며 공중 보건, 안전, 법 집행, 고객 서비스 등 다양한 분야를 발전시킵니다.

현재 우리의 첫 번째 상업용 NR1-S AI 추론 어플라이언스는 Qualcomm (QCOM ) Cloud AI 100 Ultra 가속기와 함께 Cirrascale, 클라우드 서비스 제공업체를 통해 제공됩니다.

NR1 AI 추론 솔루션은 AI 시대에 맞게 설계된 첫 번째 데이터 센터 시스템 아키텍처입니다. NR1의 개발에 기여한 주요 혁신과 돌파구는 무엇입니까?

NR1은 우리가 설계하고 제공한 실리콘에서 소프트웨어까지의 전체 시스템 아키텍처입니다. NR1은 모든 AI 가속기와 GPU를 보완하는 열린 및 완전히 호환되는 AI 컴퓨팅 및 네트워킹 인프라입니다. NR1의 개발에 기여한 주요 혁신을 설명드리겠습니다.

• 최적화된 AI 컴퓨팅 그래프: 우리 팀은 컴퓨팅 그래프를 처리하기 위한 프로그래머블 그래프 실행 가속기를 설계했습니다. 컴퓨팅 그래프는 AI와 다양한 워크로드에 중요합니다. 이 혁신은 NR1을 AI 추론을 넘어선 분야에서 혁신적인 솔루션으로 만듭니다.
• NR1 NAPU(네트워크 주소 지정 처리 단위): 우리의 AI 추론 아키텍처는 NR1 NAPU에 의해 구동됩니다. NR1 NAPU는 7nm 서버 온 칩으로 AI 전처리 및 후처리를 위한 직접 네트워크 접근을 허용합니다. 우리는 일반적인 호스트 CPU보다 6.5배 더 강력한 NR1 칩을 제공합니다. 전통적으로 전처리 및 후처리 작업은 CPU에 의해 처리됩니다. NR1 NAPU로 이러한 작업을 오프로드함으로써 우리는 CPU와 NIC를 대체하여 병목 현상을 줄이고 처리 속도를 향상시킵니다.
• NR1 AI-하이퍼바이저 기술: NR1의 특허된 하드웨어 기반 AI-하이퍼바이저는 AI 작업 오케스트레이션과 리소스 활용을 최적화하여 효율성을 향상시키고 병목 현상을 줄입니다.
• NR1 AI-오버-파브릭 네트워크 엔진: NR1에는 유니크한 AI-오버-파브릭 네트워크 엔진이 포함되어 있습니다. 이는 NR1 칩과 AI 가속기 간의 원활한 네트워크 연결과 효율적인 확장을 허용합니다.

NeuReality의 최근 성능 데이터는 상당한 비용 및 에너지 절감을 강조합니다. NR1이 전통적인 시스템보다 비용을 90%, 에너지 효율성을 15배 향상시키는 방법에 대해 자세히 설명해 주시겠습니까?

NeuReality의 NR1은 AI 추론의 비용과 에너지 소비를 90%, 15배 각각 줄입니다. 이는 다음과 같은 방법으로 달성됩니다.

• 특수한 실리콘: 우리의 목적에 맞는 AI 추론 인프라는 NR1 NAPU 서버 온 칩에 의해 구동됩니다. NR1은 CPU와 NIC의 기능을 하나로 통합하여 CPU의 필요성을 제거합니다. 궁극적으로 NR1은 AI 가속기의 출력을 가장 효율적인 방법으로 최대화합니다.
• 최적화된 아키텍처: 우리는 AI 데이터 흐름을 최적화하고 NR1 NAPU 내에서 AI 전처리 및 후처리를 통합하여 CPU를 오프로드하고 대체합니다. 이는 대기 시간을 줄이고 선형적으로 확장할 수 있으며 비용을 절감합니다.
• 유연한 배포: NR1을 두 가지 방법으로 구매할 수 있습니다. 1) NR1-M 모듈 내에서 NR1 NAPU가 포함된 PCIe 카드로 설계되었습니다. 2) NR1-S 어플라이언스 내에서 NR1 NAPU와 AI 가속기가 함께 제공됩니다.

수퍼컴퓨팅 2024에서 우리는 NR1-S 어플라이언스와 4개의 NR1 칩 및 16개의 Qualcomm Cloud AI 100 Ultra 가속기를 함께 демон스트레이션할 것입니다. 우리는 Nvidia (NVDA ) AI 추론 칩과 함께 테스트했습니다. NeuReality는 열린 및 목적에 맞는 아키텍처로 AI 추론을 혁신하고 있습니다.

NR1-S AI 추론 어플라이언스가 Qualcomm Cloud AI 100 가속기와 함께 전통적인 CPU 중심의 추론 서버와 비교하여 Nvidia H100 또는 L40S GPU와의 차이를 설명해 주시겠습니까?

NR1은 Qualcomm Cloud AI 100 또는 NVIDIA H100, L40S GPU와 함께 실제 AI 응용 프로그램에서 상당한 성능 향상을 제공합니다. NR1은 AI 추론 시스템의 성능, 시스템 비용, 에너지 효율성, 응답 시간을 최적화합니다.

결과는 무엇입니까? NR1과 함께 고객은 더 비싼 GPU 투자로부터 더 많은 것을 얻을 수 있습니다. NR1은 GPU 사용率를 최대화하고 예외적인 효율성을 제공하여 50-90%의 가격 대비 성능을 제공하며 에너지 효율성을 13-15배 향상시킵니다. 이는 상당한 비용 절감과 환경적 영향 감소를 의미합니다.

NR1-S는 성능 저하 없이 선형적으로 확장합니다. 이러한 원활한 확장을 가능하게 하는 기술적 측면을 설명해 주시겠습니까?

NR1-S 어플라이언스는 NR1 칩과 AI 가속기를 결합하여 AI 인프라를 재정의합니다. 우리는 CPU 중심의 제한을 넘어 새로운 성능과 효율성을 달성했습니다.

전통적인 NIC-CPU-가속기 병목 현상을 대신하여 NR1-S는 네트워크 접근, AI 전처리, 후처리를 NR1 NAPU 내에서 통합합니다. 10개의 NAPU가 각기 비전, 오디오, DSP 처리를 처리하며 AI-하이퍼바이저가 워크로드를 오케스트레이션합니다. 이는 스트림라이닝된 AI 데이터 흐름을 제공합니다. 이는 선형적으로 확장할 수 있으며 AI 가속기 사용率이 100%로 일관되게 유지됩니다.

결과는 무엇입니까? NR1-S는 AI 추론에 대한 매력적인 대안을 제공합니다. AI 추론需求이 확장함에 따라 NR1-S는 성능과 효율성을 제공합니다.

NeuReality는 광범위한 AI 채택의 장벽을 해결하려고 합니다. 비즈니스들이 AI를 채택할 때 직면하는 가장 중요한 도전은 무엇이며, NeuReality의 기술이 어떻게 이러한 도전을 극복하는지 설명해 주시겠습니까?

잘못 구현된 AI 소프트웨어와 솔루션은 문제가 될 수 있습니다. 많은 비즈니스가 AI를 채택하지 못하는 이유는 AI 시스템을 구축하고 확장하는 비용과 복잡성 때문입니다. 오늘날의 AI 솔루션은 추론을 최적화하지 않으며, 훈련 포드의 효율성이 낮고 추론 서버의 병목 현상이 높습니다. 이러한 도전을 해결하고 AI를 더 접근하기 쉽게 만들기 위해 우리는 첫 번째 완전한 AI 추론 솔루션을 개발했습니다. 이는 컴퓨팅 및 네트워킹 인프라를 제공하여 AI 가속기와 함께 작동하며 시장의 장벽을 줄입니다.

우리의 시스템 수준 접근 방식은 AI 추론을 위해 설계된 최초의 실리콘에서 소프트웨어까지의 아키텍처를 제공합니다. 우리는 AI 추론 시스템의 약점을 체계적으로 해결하고 AI 워크로드를 예측하여 최초의 목적에 맞는 CPU-프리 AI 추론 아키텍처를 제공했습니다. 또한 우리는 Python, Kubernetes와 결합된 NeuReality Toolchain, Provisioning, Inference API를 개발하여 통합된 소프트웨어 툴을 제공합니다.

경쟁적인 AI 시장에서 NeuReality를 다른 AI 추론 솔루션 제공업체와 구별하는 것은 무엇입니까?

우리는 열려 있고 가속기-에이전시입니다. 우리의 NR1 추론 인프라는 모든 AI 가속기를 최적화합니다. AI 가속기는 초기에 CPU를 지원하기 위해 도입되었지만 이제 AI 가속기가 너무 강력해져서 CPU에 의해 제한됩니다.

우리의 솔루션은 NR1입니다. 이는 완전히 재창조된 AI 추론 아키텍처입니다. 우리의 비밀 무기는 NR1 NAPU를 AI 가속기와 함께 작동하도록 설계하여 추가 전력을 소비하지 않고 비용을 절감합니다. 우리는 열린 생태계를 구축하여 모든 AI 추론 칩과 인기 있는 소프트웨어 프레임워크와 함께 작동합니다.

NeuReality의 열린 접근 방식은 우리가 AI 풍경과 경쟁하지 않고 보완한다는 것을 의미합니다. 우리는 AI 추론 아키텍처를 제공하여 AI를 더 접근하기 쉽게 만듭니다. NR1은 AI 가속기의 전체 잠재력을 해방시키고 비용을 절감하며 환경적 영향을 줄입니다.

NeuReality의 열린 아키텍처는 AI를 더 접근하기 쉽게 만듭니다. 다양한 산업에서 NR1의 이점을 경험하기를 바랍니다. 전통적인 CPU-바운드 시스템과 현대적인 NR1 인프라를 비교하여 차이를 확인하십시오. 현재 35%의 비즈니스와 정부가 AI를 채택했지만, 이는 매우 낮은 자격 기준에 기반합니다. 내년 이 시간까지 50% 이상의 기업 고객이 AI를 채택할 수 있도록 하겠습니다.

앞으로 NeuReality의 장기적인 비전은 사회에서 AI의 역할에 대해 무엇이며, 회사가 이 미래에 기여하는 방법은 무엇입니까?

저는 모든 사람이 혜택을 받는 미래를 상상합니다. 우리는 기술을 구축하고 있습니다. 우리는 더 나은 미래의 기초를 구축하고 있습니다.

우리의 NR1은 이 비전의 핵심입니다. 이는 비용과 복잡성의 장벽을 깨뜨리며 대량의 비즈니스에서 AI를 채택할 수 있도록 합니다. 우리는 인프라와 아키텍처를 재창조하여革命적인 시스템을 제공하고 있습니다. 이는 모든 GPU와 AI 가속기의 출력을 최대화하며, 운영 비용과 에너지 소비를 증가시키지 않습니다.

비즈니스 모델은 규모와 실제 선택을 제공하기 위해 중요합니다. 우리는 다른 실리콘과 함께 작동하는 열린 생태계를 구축하고 있습니다. 우리는 NR1을 모든 AI 가속기와 함께 작동하도록 설계했습니다. 우리는 파트너와 함께 기술을 검증하고 클라우드 서비스 제공업체, 하이퍼 스케일러, 그리고 동반자 칩 제조업체를 통해 “추론-서비스”와 “LLM-서비스”를 제공하고자 합니다.

우리는 AI 추론 성능, 에너지 효율성, 접근성을 향상시키는 가능성을 상상해 보십시오. 우리는 강력하고 AI-활성화된 사회를 만들고자 합니다. 우리는 모두 AI를 구현할 때 비즈니스 영향과 ROI를 입증하는 어려운 작업을 수행해야 합니다. 혁신적인 AI 구현에 집중합시다.

이것이 우리가 모든 사람이 혜택을 받는 미래에 기여하는 방법입니다. 이는 이익 마진, 사람, 그리고 지구를 위한 승리입니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 NeuReality를 방문하십시오.