루마이의 CEO 및 공동 설립자인 Dr. Xianxin Guo – 인터뷰 시리즈

Dr. Xianxin Guo, 루마이의 CEO 및 공동 설립자는 광학 컴퓨팅 및 AI 하드웨어를 전문으로 하는 물리학자이자 딥테크 기업가입니다. 그는 홍콩 과학기술 대학에서 양자 물리학 및 비선형 광학 박사 학위를 취득했습니다. 그는 이전에 캘거리 대학의 연구원 및 옥스포드 대학의 1851 연구 펠로십을 맡았으며, 광자학 및 AI 가속에 대한 연구에 기여했습니다. 루마이에서 연구 책임자에서 CEO로 승진한 그는 회사 핵심 기술의 주요 발명가이며 물리학, 기계 학습, 고급 컴퓨팅 시스템의 교차점에서 10년 이상의 경험을 가지고 있습니다.

루마이는 옥스포드 대학의 스핀아웃 회사로 3D 광학 컴퓨팅을 기반으로 하는 차세대 AI 프로세서를 개발하고 있습니다. 전기 대신 빛을 사용하여 주요 AI 계산을 수행합니다. 이 기술은 현대적인 AI 모델을 지원하는 행렬 연산을 가속화하도록 설계되어 전통적인 실리콘 기반 GPU보다 훨씬 더 빠른 처리 속도와 에너지 소비를 줄입니다. 기존 데이터 센터 환경에 광학 계산을 통합함으로써 루마이는 더 확장 가능하고 비용 효율적인 AI 배포를 가능하게 하여 대규모 AI 시스템에서 컴퓨팅 파워와 에너지 사용에 대한 증가하는 제한을 해결합니다.

당신은 양자 물리학 및 비선형 광학에서 경력을 시작했으며, 이후 옥스포드 대학에서 1851 연구 펠로십을 맡았으며, 연구를 기반으로 루마이를 공동 설립했습니다. 광학 컴퓨팅이 학술 이론에서 상업적으로 жиз능한 회사로 전환할 수 있는 결정적인 순간은 언제였나요?

옥스포드 대학에서 우리는 자유 공간에서 빛의 특성을 사용하여 기계 학습을 지원하는 행렬 연산을 해결하는 방법을 탐구했습니다. 그 시기에 AI에 대한 전통적인 하드웨어의 제한이 더 중요해졌습니다. 이러한 도전을 해결하고 실제 문제를 해결할 수 있는 우리의 연구와 더 효율적인 컴퓨팅을 필요로 하는 요구의 hội는 우리에게 우리의 아이디어를 실제 문제를 해결하는 회사로 발전시킬 수 있는 자신감을 주었습니다.

우리는 초기 연구에서 오래 왔습니다. 루마이에서 우리는 현재 세계 최초의 광학 컴퓨팅 시스템을 구축했으며, 실시간으로 10억 매개변수 LLM을 실행할 수 있습니다.

루마이는 현재 AI에서 가장 큰 병목 현상 중 하나인 실리콘 기반 컴퓨팅의 에너지 및 확장성 제한을 해결하고 있습니다. 전통적인 아키텍처의 특정 제한은 광을 사용하는 근본적으로 다른 접근법으로 bạn를 이끌었나요?

우리를 밀어붙인 것은 실리콘 솔루션의 제한된 궤도였습니다. 실리콘에서는 점진적인 개선이 있지만, 이는 비례하지 않는 전력 및 복잡성의 증가를 초래합니다. 실리콘 스케일링의 제한은 주로 물리학에 의해 결정되며, 주파수는 증가하지 않으며, 스위치할 수 있는 트랜지스터의 수는 열에 의해 제한됩니다. 누설 전류는 계속해서 문제입니다. 실리콘은 연간 25%의 성능 향상을 기여합니다.

그 시점에서, 다른 물리적 매체가 자연스럽게 이러한 작업을 처리할 수 있는지 묻는 것이 합리적입니다.

당신의 연구는 광학 컴퓨팅 및 기계 학습에 중점을 두고 있습니다. 광자를 사용하는 것이 전자와 어떻게 다르게 컴퓨팅을 변경하는지 설명하세요.

전자에서는 계산이 본질적으로 순차적이고 손실적입니다. 트랜지스터를 스위치하고, 전하를 이동시키고, 열을 발생시킵니다. 모든 연산에는 열 비용이 있으며, 이는 누적됩니다.

광자는 매우 다르게 행동합니다. 빛은 같은 저항 손실 없이 이동하며, 중요하게는, 광의 특성을 사용하여 엄청난 수의 행렬 연산을 단순히 광선이 물리적 매체를 통해 상호 작용하는 방식을 구조화함으로써 병렬로 실행할 수 있습니다. 계산은 광 자체의 전파에서 발생하며, 수십억 개의 게이트를 스위치하는 것이 아닙니다.

루마이의 기술은 3D 광학 처리 및 대규모 공간 병렬성을 활용합니다. 이 아키텍처가 GPU보다 처리량과 효율성을 크게 개선하는 방법을 설명하세요.

목표는 가능한 한 효율적이고 빠르게 단일 사이클에서 행렬 곱셈을 수행하는 것입니다. 루마이의 접근 방식은 3D 볼륨에서 빛을 사용하여 정확히이를 수행합니다. 동시에 수백만 개의 연산을 수행합니다.

2D 구조에서는 이러한 수준의 병렬성을 달성할 수 없습니다. 여기서 연산은 수백 개의 코어에서 처리되며, 이는 상수 데이터 이동을 필요로 합니다. 이는 광 도메인에서 연산을 수행할 때 전력을 소모하지 않는다는 사실과 결합하여 처리량 개선과 토큰당 에너지 소비의 급격한 감소를駆動합니다.

많은 AI 인프라 회사들은 여전히 교육에 중점을 두고 있지만, 루마이는 추론에 중점을 두고 있습니다. 추론이 이 다음 AI 단계의 정의적인 도전이라고 생각하는 이유는 무엇인가요?

추론은 실제로 무언가를 수행하는 곳입니다. 모든 질의에 대한 응답, 모든 에이전트 작업, 모든 문서 생성. 우리는 이제 추론 시대에 들어섰으며, 교육을 중점으로 하는 하드웨어는 이러한 수요를 흡수하기 위해 설계되지 않았습니다.

경제학도 다릅니다. 추론은 연속적으로 실행되며, 수백만 명의 사용자에게. 토큰당 비용이 정의하는 메트릭이며, 이는 에너지 벽이 가장 강력하게 удар하는 곳입니다.

추론에 특히 적합한 광학 컴퓨팅은 전처리 단계가 계산에 바인딩되어 있다는 것입니다. 분리된 추론의 전처리 단계에서는 응답을 생성하기 전에 전체 컨텍스트가 처리됩니다. 이는 거의 완벽하게 우리의 광학 엔진에 매핑되며, 우리는 여기서 먼저 초점을 맞췄습니다.

광학 컴퓨팅에서 오랜 시간 동안의 도전은 안정성 및 확장성입니다. 루마이가 이러한 장벽을 극복할 수 있었던 주요 기술적 돌파구는 무엇인가요?

도전은 광학이 계산을 수행할 수 있다는 것을 보여주는 것이 아니었습니다. 연구자들은 이미 몇 년 동안 원칙적으로 이를 보여주었습니다. 도전은 이를 규모에서 작동하게 만드는 것이었습니다.

두 가지 사항이 가장 중요했습니다. 첫째, 우리는 현재 데이터 센터에서 통신 및 네트워킹을 위해 사용되는 동일한 구성 요소를 사용합니다. 특이한 재료가 없습니다. 공급망에 대한 추측도 없습니다. 둘째, 우리는 광학 텐서 엔진과 시스템 제어 및 소프트웨어를 위한 디지털 처리를 결합하는 하이브리드 설계를 사용하기로 의도적으로 선택했습니다.

당신의 시스템은 광학 및 디지털 구성 요소를 결합하는 하이브리드 접근 방식을 사용합니다. 광학 컴퓨팅을 실제 데이터 센터 배포에서 실용적으로 만드는 이 균형의 중요성은 무엇인가요?

それは基本的です. 광학 컴퓨팅은 모든 것을 광으로 대체하는 것을 의미하지 않습니다. 디지털 시스템은 제어, 시퀀싱 및 소프트웨어 생태계와의 인터페이스에 매우 좋습니다. 우리의 광학 엔진은 추론 컴퓨팅을 지배하는 핵심 수학적 연산에 탁월합니다. 하이브리드 아키텍처는 각 구성 요소가 최선을 다할 수 있도록 합니다.

배포 관점에서 이는 엄청난 차이를 만듭니다. 루마이 아이리스는 기존 데이터 센터 인프라에 통합되며, 표준 인터페이스를 사용하며, 실제 모델을 포함하여 Llama 8B 및 70B를 오늘날 실행합니다.

루마이 아이리스 제품군, 특히 아이리스 노바 서버의 발표와 관련하여, 10억 매개변수 모델에서 실시간 추론을 달성하는 것은 AI 인프라의 미래를 위해 무엇을 의미합니까?

이는 광학 컴퓨팅이 연구에서 현실로 넘어온 것을 의미합니다. 10억 매개변수 모델에서 실시간 추론을 실행하는 것은 산업이 필요로 하는 증명 포인트입니다. 루마이 아이리스 서버 제품군에는 세 가지 서버가 있습니다. 노바, 오라, 테트라. 루마이 아이리스 노바, 제품군의 첫 번째 서버는 현재 평가를 위해 사용할 수 있으며, 실제 추론 워크로드에 대해 이를 사용하고 싶은 파트너와 이미 협력하고 있습니다.

보다 넓은 의미에서, 이는 AI 인프라의 궤도가 곧 변경될 것을 의미합니다. 추론을 확장하는 것은 더 많은 GPU를 구매하고, 더 많은 전력을 소모하고, 더 큰 데이터 센터를 구축하는 것을 의미한다고 가정해 왔습니다. 루마이 아이리스 노바는 다른 경로를 보여줍니다. 이는 Dramatically 더 높은 성능을 제공하며, 토큰당 근본적으로 다른 비용 구조를 제공합니다. 루마이 아이리스 서버 제품군이 개발됨에 따라, 하이퍼스케일러 및 기업이 컴퓨팅 자원을 조달하는 방식에 대한 의미는重大할 것입니다.

보도 자료는 전통적인 시스템과 비교하여 최대 90%의 에너지 소비 감소를 강조합니다. 글로벌 데이터 센터에서 증가하는 에너지 제약의 맥락에서 이러한 돌파구는 얼마나 중요한가요?

에너지 제약은 AI 시대의 정의적인 인프라 도전입니다. 전력 용량은 이미 배포 계획의 제한 요소이며, 우리는 이미 전력 벽에 도달했습니다.

이 배경에서 90%의 에너지 소비 감소는 경제와 실용성에 대한 근본적인 변화를 의미합니다. 단일 루마이 시스템은 수십 개의 전력 소모가 큰 GPU를 대체할 수 있으며, 이는 주어진 전력 범위 내에서 달성할 수 있는 것에 대한重大한 변화를 의미합니다.

또한 비용 차원이 있습니다. 데이터 센터 구축 비용은 전력 용량을 반영하므로, 전력 소모가 낮은 데이터 센터는 구축 비용이 낮습니다. 에너지 소비를 직접 줄임으로써 토큰당 비용을 줄일 수 있습니다. 이는 궁극적으로 AI를 대규모로 경제적으로 жиз능할 수 있게 만듭니다.

앞으로, 산업이 포스트 실리콘 시대에 대해 이야기하기 시작할 때, 향후 10년 동안 광학 컴퓨팅이 어떻게 발전할 것으로 생각하시나요? 그리고 루마이는 이 전환을 형성하는 데 어떤 역할을 할 것인가요?

포스트 실리콘 시대는 이미 시작되었습니다. 이는 추론 시대와 더 낮은 토큰당 비용으로 더 높은 성능을 요구하는 AI의 요구와 함께 발생합니다. 실리콘은 여전히 역할을 할 것입니다. 그러나, 컴퓨팅의 모든 개선이 실리콘 노드의 발전에서 오는 것은 더 이상 신뢰할 수 없습니다. 우리는 광학 컴퓨팅이 병렬 및 고처리량 처리가 필요한 스택의 주요 부분에서 사용될 것으로 봅니다.

루마이를 위해, 로드맵은 광학 컴퓨팅의 밀도, 효율성, 능력을 계속해서 개선하고 데이터 센터에 이를 배포하는 것입니다. 비전은 에너지 비용이 떨어지고, 메가와트 규모의 데이터 센터가 기가와트 규모의 시설과 동일한 토큰 볼륨을 생성할 수 있는 세계입니다.

그 미래는 머지않은 추측이 아닙니다. 우리는 이미 광학 컴퓨팅이 규모에서 작동한다는 것을 증명하는 첫 번째 시스템을 구축했습니다. 여기서부터 모든 것은 엔지니어링입니다.

멋진 인터뷰에 감사합니다. 더 많은 정보를 배우고 싶은 독자는 루마이를 방문할 수 있습니다.