ARIA, 랙 단위 AI 추론 테스트에 Lumai 광학 서버 선정

Lumai가 광학 AI 하드웨어를 새로운 평가 환경에 도입한다. 영국 첨단연구발명청(Advanced Research and Invention Agency, ARIA)의 지원을 받는 추론 확장 연구소가 그 무대다. 연구소는 첫 광학 컴퓨팅 플랫폼으로 Lumai Iris 추론 서버를 도입할 계획이며, 이를 통해 연구진은 상업용 데이터센터 환경에서 랙 단위로 이 아키텍처를 테스트할 수 있다.

CommonAI CIC가 운영하는 이 연구소는 신흥 AI 하드웨어가 마주한 까다로운 간극을 좁히기 위해 마련됐다. 새로운 프로세서의 성능을 입증하는 것과 실제 모델을 구동하면서 일반적인 전력·냉각·랙 요건을 갖춘 통합 시스템의 일부로 작동하게 하는 것은 별개의 문제다.

이번 발표는 4월 Iris Nova 출시에 이은 후속 조치다. 이번에 새롭게 추진되는 것은 공공 지원 테스트베드에서 여러 노드를 평가하는 것으로, Lumai가 내세운 효율성 주장을 입증하는 완성된 독립 벤치마크를 공개하는 것은 아니다.

빛으로 행렬 연산 수행하기

2021년에 설립된 옥스퍼드대학교 스핀아웃 기업 Lumai는 광학과 디지털을 결합한 하이브리드 아키텍처를 개발한다. 광학 엔진은 AI 추론에 사용되는 고밀도 수학 연산을 처리하며, 주변 시스템 기능은 계속 전자 부품이 담당한다.

회사가 공개한 기술 설명에 따르면, 정보는 빛의 빔에 인코딩된 뒤 3차원 공간의 광학 부품을 거쳐 처리된다. 트랜지스터를 전환해 모든 연산을 수행하는 대신, 빛의 전파를 통해 많은 수학 연산을 병렬로 실행하는 것이 목표다.

그렇다고 서버 전체가 수동적으로 작동하거나 전력을 전혀 쓰지 않는 것은 아니다. 전체 시스템에는 여전히 광원, 데이터 변환, 메모리, 디지털 처리 및 제어 기능이 필요하다. 실제로 유용한 모델을 구동할 때 광학 엔진의 효율성이 이러한 주변 비용을 감안한 뒤에도 얼마나 유지되는지가 핵심적인 엔지니어링 과제다.

Lumai는 대규모 작업 전반에 변환 오버헤드를 분산하도록 설계한 광폭 데이터 인터페이스, 모델의 키-값 캐시를 위한 3계층 메모리 설계, 하드웨어 인식 양자화 기술을 소개한다. 이는 아키텍처를 구성하는 실용적인 요소다. 데이터를 이동하고, 사용할 수 있는 수치 정밀도를 유지하며, 가속기에 작업을 지속해서 공급하는 능력은 모두 실험실 시연을 넘어선 성능에 영향을 미친다.

Lumai가 프리필을 겨냥하는 이유

대규모 언어 모델 추론은 서로 다른 두 단계로 이뤄진다. 프리필 단계에서는 시스템이 입력을 처리하고 응답 생성에 필요한 내부 상태를 구축한다. 디코드 단계에서는 모델 가중치와 캐시된 문맥에 반복해서 접근하면서 토큰을 하나씩 출력한다.

프리필은 대규모 행렬 연산이 성능을 좌우하는 경우가 많은 반면, 디코딩은 특히 배치 크기가 작을 때 메모리 대역폭의 제약을 받을 수 있다. 모델 크기, 프롬프트 길이, 배치 처리 방식, 서빙 구성에 따라 두 단계의 성능 균형은 달라진다. Lumai는 하나의 프로세서 유형으로 전체 파이프라인을 최적화하는 대신, 연산량이 많은 단계에 특화하는 방식을 택했다.

Iris 제품 문서에서는 광학 가속기를 이종 컴퓨팅 시스템의 일부로 제시하며, 디코드에 최적화된 하드웨어와 함께 프리필 프로세서로 사용하는 방안도 소개한다. Lumai에 따르면 Iris Nova는 80억 개 및 700억 개 매개변수를 가진 Llama 모델을 지원하며, 데이터센터 평가용으로 이용할 수 있다. 이 제품군은 표준 랙 인프라와 공랭식 냉각에 맞게 설계됐다.

Lumai의 공동 창업자 겸 CEO인 시안신 궈(Xianxin Guo)는 “상업용 데이터센터에서 다중 노드 시스템을 구동하는 과정에서 새로운 컴퓨팅 아키텍처가 실제 배포에 적합한지 입증된다”고 말했다. ARIA의 이번 사업은 다음 단계에서 이러한 통합 과제를 핵심에 둔다.

완전한 시스템을 위한 테스트베드

ARIA는 사회에 이익을 가져올 잠재력이 있는 야심 찬 기술에 자금을 지원하는 영국의 공공 연구개발 지원 기관이다. ARIA의 컴퓨팅 확장 프로그램은 새로운 계산 기본 요소와 네트워킹, 시스템 설계를 비롯해 기존 컴퓨팅 방식의 대안을 모색한다.

추론 확장 연구소는 ARIA로부터 5천만 파운드의 지원을 받는다. ARIA는 이 연구소를 일련의 체계적인 랙 단위 파일럿 프로젝트로 설명한다. 각 프로젝트는 아직 검증되지 않은 기술을 최종 사용자가 모델을 구동할 수 있는 배포형 시스템에 통합한다. 목표는 전체 시스템 성능을 상용 대안과 비교하고 신속하게 개선을 반복하는 것이며, 6개월마다 새 랙을 추가할 계획이다.

연구소를 운영하는 케임브리지 기반 비영리 회원 조직 CommonAI는 협력 엔지니어링을 위해 기업, 공공기관 및 학계 참여자들을 한데 모은다. CommonAI의 프로그램 개요에는 랙 단위 시스템을 5개 넘게 구축한다는 계획이 담겨 있으며, 신흥 하드웨어가 실제 운영 성능을 입증하도록 돕는 독립적인 검증을 강조한다.

이러한 구조가 중요한 이유는 가속기가 개별 연산에서는 우수한 성능을 내더라도 데이터 이동, 작업 스케줄링, 소프트웨어 지원 및 서빙 파이프라인의 나머지 요소까지 포함하면 이점이 줄어들 수 있기 때문이다. 공동 테스트 환경은 장점과 병목 현상을 모두 드러내는 데 도움이 될 수 있다.

효율성 주장이 보여 주는 것과 보여 주지 않는 것

Lumai는 이 아키텍처가 데이터센터의 전력 소비를 최대 90% 줄이고 총소유비용을 기존 GPU 아키텍처의 약 10분의 1 수준으로 낮출 잠재력이 있다고 밝혔습니다. 웹사이트에는 성능을 50배 높이는 것을 목표로 한 로드맵이 소개돼 있습니다. 보도자료는 광학 프리필을 실리콘 기반 디코드와 결합할 경우 추론당 에너지 효율이 최소 16배 향상된다고 별도로 보고했습니다.

이 수치들은 서로 다른 비교를 나타내므로 같은 척도로 취급해서는 안 되며, ARIA가 이미 독립적으로 검증한 결과로 간주해서도 안 됩니다. 발표 자료에는 상업적 워크로드 전반에서 이러한 성능 향상을 입증할 수 있는 공통 벤치마크 구성, 모델 품질 비교, 공개된 랙 단위 결과 데이터가 제시되지 않았습니다.

따라서 실질적인 진전은 연구소의 평가입니다. 유용한 측정 항목으로는 요청을 완료하는 데 드는 에너지, 첫 토큰이 생성될 때까지 걸리는 시간, 지속적인 출력 처리량, 모델 정확도, 전체 시스템 운영 비용 등이 있습니다. 의미 있는 비교를 위해서는 동일한 모델과 컨텍스트 길이, 배치 처리 가정, 서비스 요구사항을 적용해야 합니다.

제한된 전력 예산 안에서 국내 AI 연산 역량을 확대하려는 영국의 목표에 비추어 볼 때, 광학 시스템이 성공적으로 작동한다면 또 하나의 컴퓨팅 선택지가 될 수 있습니다. Lumai의 도입은 상업적 조건에서 이러한 가능성을 시험하기 위한 진전입니다. 이 기술의 이점이 대규모 운영 시 서빙 비용 절감으로 이어질지는 평가를 통해 확보되는 시스템 전체의 근거에 달려 있습니다.