Cornelis, CN6000 공개: 800G 네트워킹은 AI와 슈퍼컴퓨터에 어떤 의미인가

Cornelis가 데이터가 도착하기를 기다리는 AI 가속기와 슈퍼컴퓨터의 시간을 줄이도록 설계된 800기가비트 네트워킹 제품군 CN6000을 선보였다. 특히 Omni-Path SuperNIC에서 초당 최대 16억 개의 메시지를 처리한다는 점이 눈길을 끈다. 그러나 이 수치의 의미를 이해하려면 네트워크 성능을 나타내는 세 가지 지표, 즉 대역폭, 메시지 처리율, 지연 시간을 구분해야 한다.

11월 12일 발표에서는 Omni-Path 및 이더넷 어댑터와 Omni-Path 스위치가 함께 공개됐다. Cornelis에 따르면 하드웨어는 평가 및 초기 도입용으로 제공되고 있으며, 파트너 시스템은 2027년 1분기에 출시될 예정이다.

상업적 목표는 명확하다. 네트워크가 비싼 프로세서의 처리 속도를 따라가면 프로세서는 더 많은 유용한 작업을 수행할 수 있다. 분산 작업 중 다른 컴퓨터가 결과를 보내기를 기다리는 상황에서는 GPU가 더 빨라져도 작업 시간이 크게 줄어들지 않는다.

800G와 16억 개 메시지의 실제 의미

AI 클러스터는 서로 연결된 컴퓨터들이 함께 작업하는 시스템이다. 네트워크는 대량의 모델 데이터부터 소규모 조정 메시지까지 모든 정보를 전달한다. 네트워크 성능은 다음과 같은 여러 측면으로 평가된다.

800G는 초당 800기가비트를 뜻한다. 이를 8로 나누면 프로토콜 오버헤드와 그 밖의 현실적인 한계를 고려하기 전 기준으로 초당 100기가바이트가 된다. 이 수치는 데이터를 전송할 수 있는 용량을 나타내며, 챗봇이 단어를 생성하는 속도를 뜻하지는 않는다.

메시지 처리율은 또 다른 병목을 측정한다. 작은 정보를 많이 보내려면 각 정보가 링크의 대역폭을 모두 채우지 않더라도 어댑터가 여러 개의 개별 작업을 처리해야 한다. Cornelis의 Omni-Path 제품 설명서에는 초당 16억 개라는 메시지 처리율이 양방향 기준으로 명시돼 있다. 이는 여러 방향의 처리량을 합산한 성능이며, 단일 애플리케이션이 매초 그만큼의 순차 요청을 완료한다는 뜻은 아니다.

다음 계산이 메시지를 기다려야 하는 상황에서는 지연 시간이 중요하다. Cornelis의 내부 8바이트 Intel MPI 핑퐁 테스트에서 측정된 지연 시간은 CN6000이 0.95마이크로초, 800G에서 NVIDIA InfiniBand XDR이 1.2마이크로초로, CN6000의 지연 시간이 약 21% 더 짧았다. MPI(Message Passing Interface)는 병렬 과학 프로그램이 통신하는 데 사용하는 표준 방식이다.

이 테스트는 특정한 소규모 메시지 교환을 측정한다. 이 결과만으로 학습 작업, 시뮬레이션 또는 추론 서비스가 21% 더 빨리 완료된다고 볼 수는 없다. 결과는 애플리케이션의 통신 빈도, 전송 데이터의 크기, 네트워크 혼잡도 및 시스템의 나머지 구성 요소에 따라 달라진다.

SuperNIC, 스위치, 패브릭의 의미

네트워크 인터페이스 카드(NIC)는 서버를 네트워크에 연결한다. “SuperNIC”는 Cornelis가 특수한 고성능 어댑터를 가리키는 데 사용하는 제품 용어다. 스위치는 서버 연결을 이어 주고 그 사이에서 데이터를 전달한다. 어댑터, 스위치, 링크, 통신 소프트웨어를 모두 포함한 전체 구성을 일반적으로 패브릭이라고 부른다.

클러스터를 구매할 때는 이 차이를 이해하는 것이 중요하다. 성능이 뛰어난 어댑터를 설치한다고 해서 데이터가 통과하는 모든 스위치, 케이블 또는 소프트웨어 경로까지 자동으로 업그레이드되는 것은 아니다.

CN6000은 두 가지 패브릭 옵션을 제공한다. Omni-Path는 병렬 컴퓨팅을 위해 Cornelis가 개발한 전용 인터커넥트다. 이더넷은 데이터 센터 운영자에게 익숙한, 널리 사용되는 네트워킹 기반 기술이다. 이더넷 어댑터는 기존 이더넷 스위칭 인프라와의 호환성을 유지하면서 고성능 통신을 원하는 고객을 대상으로 한다. 벤치마크 비교에 사용된 기술인 InfiniBand도 컴퓨팅 전용 패브릭이며, 해당 스위치는 Omni-Path 스위치와 서로 호환되지 않는다.

CN6000 플랫폼은 따라서 네트워크 장비를 어떤 조합으로 구성하더라도 동일한 결과를 보장하는 단일 제품이 아니라, 여러 구성 요소와 도입 옵션으로 이루어진 제품군이다.

RoCE가 프로세서 부담을 줄이며 데이터를 전송하는 방식

이더넷 SuperNIC은 RoCEv2(Remote Direct Memory Access over Converged Ethernet, 버전 2)를 구현한다. 기반 기술인 RDMA(원격 직접 메모리 액세스)를 사용하면 네트워크 하드웨어가 일반적인 네트워킹 경로를 통해 호스트 CPU가 모든 데이터를 복사하지 않아도 서로 다른 컴퓨터의 권한이 부여된 메모리 영역 사이에서 데이터를 이동시킬 수 있다.

중개자가 내용을 계속 받아 복사하게 하는 대신, 승인된 두 위치 사이에 직접 전달 경로를 마련하는 것으로 생각하면 된다. 통신을 설정하고 관리하는 과정에는 여전히 CPU의 작업이 필요하지만, 데이터 이동 자체에 CPU가 관여하는 정도를 줄일 수 있다는 것이 이 방식의 장점이다.

NVIDIA의 RoCE 문서에 따르면 버전 2는 IP 및 UDP 헤더를 사용해 RDMA 트래픽을 전송하므로 라우팅된 IP 네트워크를 통과할 수 있습니다. 효율적인 구축은 이더넷 커넥터의 유무만으로 결정되지 않으며, 네트워크 구성과 혼잡 처리 방식에도 달려 있습니다.

Cornelis의 이더넷 제품 개요서는 하드웨어 오프로딩, 다수의 작업을 동시에 처리하는 기능, 우선순위 흐름 제어(Priority Flow Control)를 설명합니다. 이 흐름 제어 메커니즘은 패킷 손실을 방지하는 데 도움이 되도록 특정 트래픽 클래스를 일시 중지할 수 있습니다. 발표 내용에 따르면 Ultra Ethernet 지원은 소프트웨어 업데이트를 통해 제공될 예정입니다. 구매자는 이 계획된 기능과 초기 RoCEv2 제품을 구분해야 합니다.

AI 추론에서 작업 메모리를 옮겨야 하는 이유

AI 추론은 학습된 모델을 사용해 답을 생성하는 과정입니다. 언어 모델의 경우, 프롬프트를 처리하는 프리필과 한 번에 토큰 하나씩 응답을 생성하는 디코드 단계가 포함됩니다.

일부 서빙 시스템은 각 프로세서 그룹을 해당 작업에 맞게 구성할 수 있도록 이 단계를 서로 다른 프로세서 그룹에서 실행합니다. 이를 분리형 추론이라고 합니다. 단계가 분리되면 한쪽에서 다른 쪽으로 정보를 전달해야 합니다. 즉, 프롬프트를 읽으면서 계산한 정보를 답변을 생성하는 프로세서로 보내야 합니다.

여기에는 키-값 캐시(보통 KV 캐시라고 줄여 부름)가 포함됩니다. 이 캐시는 중간 어텐션 데이터를 저장해 모델이 이전 작업을 재사용할 수 있도록 합니다. 모델의 전체 가중치도 아니고, 단순히 저장된 텍스트 기록도 아닙니다.

NVIDIA의 Dynamo 문서는 프롬프트를 처리하고, 해당 프롬프트의 KV 캐시를 전송한 다음, 디코드 워커에서 토큰을 생성하는 순서를 설명합니다. 전송 속도가 빨라지면 이러한 분리 방식을 더 실용적으로 적용할 수 있습니다. 그러나 캐시를 옮기는 작업 자체에도 추가 비용이 들기 때문에, 스케줄링과 하드웨어의 이점이 전달 비용보다 클 때 분리형 구성이 유용합니다.

네트워크 링크가 혼잡할 때도 트래픽을 원활하게 흐르게 하기

Omni-Path에서 CN6000은 크레딧 기반 흐름 제어를 사용합니다. 송신 측은 수신 측에서 사용할 수 있는 용량에 맞춰 데이터를 전송합니다. 적응형 라우팅은 사용 가능한 경로로 트래픽을 분산할 수 있으며, 여러 네트워크 평면은 패브릭을 통과하는 별도의 경로를 제공합니다.

Omni-Path 개요서에 따르면 서로 독립적인 400G 데이터 경로 두 개가 총 800G의 대역폭을 제공합니다. 한 평면에 정비가 필요한 경우 다른 평면은 계속 사용할 수 있지만, 네트워크 일부가 손실되면 기존의 전체 용량이 유지되는 것은 아닙니다.

이 플랫폼에는 하드웨어 신뢰 루트, 보안 부팅, 장치 증명 기능도 포함됩니다. 이러한 기능은 펌웨어와 장치의 신원이 신뢰할 수 있는지 확인하는 데 도움이 됩니다. 양자 내성 디지털 서명은 인증과 무결성에 관한 것이며, 모든 네트워크 페이로드가 암호화된다는 포괄적인 주장으로 해석해서는 안 됩니다.

배포 시 고려할 점은 최고 속도만이 아니다

CN6000은 과학 컴퓨팅 분야에서 확대된 AMD와의 협력을 비롯해 Cornelis가 이전부터 진행해 온 스케일아웃 네트워킹 작업의 연장선에 있습니다. 고성능 인터커넥트와 더 폭넓은 프로세서 및 네트워크 환경 선택지를 결합한 점이 장점입니다.

구매자가 비교해야 할 것은 자체 워크로드를 완료하는 데 필요한 시간과 비용입니다. 작은 업데이트를 반복해서 주고받는 시뮬레이션은 지연 시간이 짧고 메시지 처리율이 높을수록 이점을 얻을 수 있습니다. 대용량 캐시를 이동하는 서비스는 지속적인 전송 속도와 혼잡에 더 큰 관심을 둘 수 있습니다. 두 경우 모두 적합한 패브릭, 제대로 작동하는 소프트웨어 지원, 검증된 서버 구성이 필요합니다.

CN6000의 발표로 이러한 시스템을 구축할 수 있는 선택지가 하나 더해졌습니다. 최고 성능 수치는 테스트해 볼 만한 기능을 보여 줍니다. 실제 애플리케이션을 실행할 때 더 많은 컴퓨팅 자원을 유효하게 활용할 수 있어야 실질적인 이점을 얻을 수 있습니다.