세레브라스, 세계에서 가장 빠른 AI 추론 솔루션 출시: 20배 빠른 속도와 비용의 한계

세레브라스 시스템즈, 고성능 AI 컴퓨팅의 선구자, 혁신적인 솔루션을 출시하여 AI 추론을革命화할 예정입니다. 2024년 8월 27일, 회사에서는 세레브라스 추론, 세계에서 가장 빠른 AI 추론 서비스를 출시했습니다. 전통적인 GPU 기반 시스템보다 훨씬 뛰어난 성능 지표를 갖춘 세레브라스 추론은 20배 빠른 속도와 비용의 한계를 제공하며, AI 컴퓨팅의 새로운 표준을 설정합니다.

전례 없는 속도와 비용 효율성

세레브라스 추론은 다양한 AI 모델, 특히 빠르게 발전하는 대규모 언어 모델(LLM)에서 예외적인 성능을 제공하도록 설계되었습니다. 예를 들어, llama 3.1 8B 모델에서는 1,800개의 토큰을 1초당 처리하며, llama 3.1 70B 모델에서는 450개의 토큰을 1초당 처리합니다. 이 성능은 NVIDIA GPU 기반 솔루션보다 20배 빠르며, 비용도 크게 낮습니다. 세레브라스는 이 서비스를 시작하여 10센트당 1만 토큰을 제공하며, llama 3.1 8B 모델과 60센트당 1만 토큰을 제공하며, 기존 GPU 기반 솔루션보다 100배 개선된 가격-성능比를 제공합니다.

속도와 정확성의 균형

세레브라스 추론의 가장 인상적인 측면은 속도와 정확성의 균형을 유지하는 능력입니다. 다른 접근 방식이 정확성을 희생하여 속도를 높이는 반면, 세레브라스의 솔루션은 추론 실행 전체에서 16비트 도메인을 유지합니다. 이는 성능 향상이 AI 모델 출력의 품질을 손상시키지 않는다는 것을 보장합니다. 이는 정밀성을 중시하는 개발자에게 중요한 요소입니다.
마이카 힐-스미스, 인공 지능 분석의 공동 창립자이자 CEO는 이 성과의 중요성을 강조했습니다. “세레브라스는 메타의 llama 3.1 8B 및 70B AI 모델에서 GPU 기반 솔루션보다 10배 빠른 속도를 제공합니다. 우리는 llama 3.1 8B에서 1,800개 이상의 출력 토큰을 1초당 처리하며, llama 3.1 70B에서 446개 이상의 출력 토큰을 1초당 처리하는 새로운 기록을 측정했습니다.”

AI 추론의 중요성

AI 추론은 AI 컴퓨팅에서 가장 빠르게 성장하는 세그먼트로, 전체 AI 하드웨어 시장의 약 40%를 차지합니다. 세레브라스와 같은 고속 AI 추론의 등장은 브로드밴드 인터넷의 도입과 유사하여, 새로운 기회를 열어주고 AI 애플리케이션의 새로운 시대를 알립니다. 세레브라스 추론을 통해 개발자는 복잡한 실시간 성능이 필요한 차세대 AI 애플리케이션을 구축할 수 있습니다.

앤드류 응, DeepLearning.AI의 창립자는 AI 개발에서 속도의 중요성을 강조했습니다. “DeepLearning.AI에는 반복적으로 LLM을 프롬프트하여 결과를 얻는 여러 에이전트 워크플ロー가 있습니다. 세레브라스는 매우 빠른 추론 기능을 구축했으며, 이러한 워크플로우에 매우 유용할 것입니다.”

산업 전반의 지지와 전략적 제휴

세레브라스는 산업 선두자들로부터 강한 지지를 받았으며, AI 애플리케이션 개발을 가속화하기 위한 전략적 제휴를 체결했습니다. 글락소스미스클라인의 김 브랜슨, AI/ML의 부사장은 이 기술의 변革적 가능성을 강조했습니다. “속도와 규모는 모든 것을 변경합니다.”
라이브킷, 퍼플렉시티, 미터와 같은 다른 회사들은 세레브라스 추론이 их 운영에 미치는 영향에 대한热情을 표현했습니다. 이러한 회사는 세레브라스의 컴퓨팅 능력을 활용하여 더 반응성이 뛰어난 인간 같은 AI 경험을 생성하고, 검색 엔진의 사용자 상호작용을 개선하며, 네트워크 관리 시스템을 강화합니다.

세레브라스 추론: 계층과 접근성

세레브라스 추론은 세 가지 경쟁력 있는 계층으로 제공됩니다: 무료, 개발자, 기업. 무료 계층은 관대한 사용량 제한으로 인해 광범위한 사용자에게 접근성이 뛰어납니다. 개발자 계층은 유연한 서버리스 배포 옵션을 제공하며, llama 3.1 모델은 10센트당 1만 토큰과 60센트당 1만 토큰으로 제공됩니다. 기업 계층은 지속적인 워크로드를 가진 조직을 위해 맞춤형 모델, 사용자 정의 서비스 수준 계약, 및専用 지원을 제공하며, 가격은 요청에 따라 제공됩니다.

세레브라스 추론의 핵심: 웨이퍼 스케일 엔진 3(WSE-3)

세레브라스 추론의 핵심은 세레브라스 CS-3 시스템이며, 이는 업계 최고의 웨이퍼 스케일 엔진 3(WSE-3)으로 구동됩니다. 이 AI 프로세서는 크기와 속도에서 无匹敵이며, NVIDIA의 H100보다 7,000배 더 많은 메모리 대역폭을 제공합니다. WSE-3의 거대한 규모는 많은 동시 사용자를 처리할 수 있으며, 속도에 영향을 미치지 않는 뛰어난 성능을 제공합니다. 이 아키텍처는 세레브라스가 일반적으로 GPU 기반 시스템에서 발생하는 트레이드오프를 피할 수 있도록 합니다.

나란한 통합과 개발자 친화적 API

세레브라스 추론은 개발자를 위해 설계되었습니다. 이는 OpenAI Chat Completions API와 완전히 호환되는 API를 제공하며, 최소한의 코드 변경으로 쉽게 마이그레이션할 수 있습니다. 이 개발자 친화적 접근 방식은 세레브라스 추론을 기존 워크플로에 통합하는 것이 가능한 한 원활하게 보장합니다.

세레브라스 시스템즈: 산업 전반의 혁신을 주도

세레브라스 시스템즈는 고성능 AI 컴퓨팅의 선두주자일 뿐만 아니라, 의료, 에너지, 정부, 과학 컴퓨팅, 금융 서비스를 포함한 다양한 산업에서 핵심적인 역할을 합니다. 회사의 솔루션은 국립 연구소, 알레프 알파, 메이오 클리닉, 글락소스미스클라인과 같은 기관에서 혁신을 주도하는 데 중요한 역할을 했습니다.
세레브라스는 속도, 확장성, 정확성을 제공함으로써, 이러한 분야의 조직이 AI와 그 이상의 가장 어려운 문제를 해결할 수 있도록 지원합니다. 의료 분야에서 약물 발견을 가속화하는 것부터 과학 연구에서 계산 능력을 향상시키는 것까지, 세레브라스는 혁신을 주도하는 선두주자입니다.

결론: AI 추론의 새로운 시대

세레브라스 시스템즈는 세레브라스 추론을 출시하여 AI 추론의 새로운 표준을 설정했습니다. 전통적인 GPU 기반 시스템보다 20배 빠른 속도와 비용의 한계를 제공함으로써, 세레브라스는 AI를 더 접근성이 뛰어나고, 다음 세대의 AI 애플리케이션을 위한 길을 열어줍니다. 최첨단 기술, 전략적 제휴, 혁신에 대한 헌신으로, 세레브라스는 AI 산업을 전례 없는 성능과 확장성의 새로운 시대로 이끌어갈 준비가 되었습니다.

세레브라스 시스템즈와 세레브라스 추론에 대한 자세한 정보는 www.cerebras.ai를 방문하십시오.