인공 지능의 계산 능력 성배

인상적인 발전에도 불구하고, 인공 지능의 능력은 현실 세계의 기대와 비교할 때 여전히 제한적입니다. 우리는 복잡한 모델을 구축하고, 신경망을 실행하고, 알고리즘을 테스트하지만, 때때로 예상치 못한 곳에서 발전이停滞합니다.

문제는 종종 알고리즘이나 데이터가 아닌 계산 능력, 즉 모델이 필요한 규모에서 학습하고 작동할 수 있는 자원에 있습니다. 그러면 이 장벽 뒤에 무엇이 있을까요? 가장 중요한 자원을 가지고 있는 인공 지능 프로젝트는 실험실을 벗어나지 못하는 이유를 살펴ボう 하겠습니다.

계산 능력 부족과 그 hậu果

이 주제를 이해하기 위해, 모바일 통신의 역사부터 시작하겠습니다. 3G와 4G 네트워크가 등장했을 때, 이미 인터넷은 거의 전 세계적으로 普及되어 있었습니다. 그리고 5G가 소개되었을 때, 많은 사람들이 합리적인 질문을 했습니다: “인터넷이 더 빠르면 – 하지만 그게 무슨 의미인가?”

실제로, 인터넷 속도의 증가가 사용자 편의성에 관한 것이 아닙니다. 그것은 전체 기술 풍경을 변환시킵니다. 이전에 불가능했던 사용 사례가 나타납니다. 5G는 4G보다 훨씬 빠르며, 이 도약은 1G에서 2G로의 점진적인 도약과는 달리, 지수적이었습니다. 결과적으로, 새로운 응용 프로그램, 장치 및 기술의 전체 클래스가 나타납니다.

교통 신호 카메라, 실시간 교통 분석 시스템 및 자동 교통 규제 메커니즘 – 모두 새로운 통신 기술 덕분에 가능합니다. 경찰은 데이터를 교환하는 새로운 방법을 얻습니다. 우주에서, 망원경과 위성은大量의 정보를 지구로 전송할 수 있습니다. 기초 기술의 질적 도약은 전체 생태계의 발전을 추동합니다.

同じ 원리가 계산 능력에도 적용됩니다. 가상의 단위로 인간의 총 컴퓨팅 능력을 상상해 보십시오. 오늘날, 우리는 10개의这样的 단위를 가질 수 있습니다. 이들을 통해, 우리는 이미 이미지와 비디오를 생성하고, 텍스트를 작성하고, 마케팅 자료를 생성할 수 있습니다… 이것은 이미 상당한 것입니다. 그러나 응용 프로그램의 범위는 주로 제한적입니다.

이제, 10개가 아닌 1,000개의 이러한 단위를 가졌다고 상상해 보십시오. 갑자기, 이전에 너무 비싼 기술이 실현 가능해지고, 높은 계산 비용으로 인해 포기된 스타트업이 경제적으로 의미 있게 됩니다.

로보택시를 예로 들어 보십시오. 오늘날, 로보택시는 주로 차량에 설치된 상대적으로 약한 로컬 컴퓨터에 의존합니다. 그러나, 비디오 피드를 클라우드에 전송하여巨大的 계산 자원을 사용할 수 있다면, 데이터를 실시간으로 처리하고 반환할 수 있습니다. 그리고 이것은 중요합니다: 100 km/h로 이동하는 차는 몇 분의 1초 안에 결정을 내야 합니다 – 직진, 회전, 브레이크, 또는 브레이크하지 않습니다.

그것이 완전히 작동하는 로보택시 산업이 가능해지는 때입니다. 현재 우리는 고립된 솔루션만 볼 수 있습니다. 차량에 설치된 로컬 컴퓨터는 본질적으로 제한적입니다. 연결된 시스템은 그렇지 않습니다. 우리는 더 빠르게 확장할수록, 세계는 더 빠르게 변할 것입니다.

칩에 대한 접근과 인공 지능의 “골든 티켓”

계산 능력의 contexto에서, 다음과 같은 질문이 발생합니다: 최신 칩에 대한 접근은 인공 지능 시장에 진입하는 “골든 티켓”이 되고 있습니까? 대형 기업이 칩 제조사와 계약을 체결하거나 자체적으로 생산하는 경우, 주요 기업과 다른 모든 기업 사이에 격차가 생기고 있습니까?

이러한 격차는 하나의 경우에만 발생합니다: 비즈니스 모델이 대형 클라이언트에게만 칩을 판매하는 경우에만입니다. 실제로, NVIDIA와 같은 제조업체는 모든 사람에게 클라우드 솔루션을 제공하려고 합니다. 그들의 최적화된 칩은 클라우드에서 OpenAI와 독립 개발자에게 모두 사용할 수 있습니다.

Google, Anthropic, Microsoft, OpenAI, Amazon 및 NVIDIA와 같은 회사의 전략적 제휴는 주로 자원 공유를 위한 파트너십입니다. 이 모델은 계산 능력의 효율적인 할당을 가능하게 하여 기술 발전을 가속화합니다.

계산 자원의 사용 체인을 추적해 보면, 그것은 최종 사용자에서 시작합니다. 예를 들어, WhatsApp를 사용하여 비디오 통화와 메시지를 보낼 때, 회사는 서비스가 작동하는 것을 보장해야 합니다: 데이터를 저장하고 처리하고, 비디오 정리 및 효과 추가를 위한 모델을 실행하고, 이미지 품질을 개선합니다.

전용 서버를 유지하는 것은 비용이 많이 들며, 그것들은 구식이 되고, 끊임없이 관리가 필요합니다. 그래서 “클라우드” 솔루션이 등장했습니다. 이 시장은 Google Cloud, AWS 및 Microsoft Azure가 지배하고 있습니다. 다른 회사는 이러한 수준에서 경쟁할 수 없습니다: 인프라의 규모가 너무 큽니다.

클라우드 서비스는 대규모 데이터 센터로, 냉각, 전원 공급 및 24시간 유지 보수가 필요합니다. NVIDIA, AMD 및 기타 제조업체의 서버와 전문 칩이 포함되어 있으며, 대규모 계산 프로세스를 가능하게 합니다.

여기서 제가 이전 칼럼에서 논의한 데이터 센터에 대한 주요 병목 현상을 다시 질문합니다: 이것은 전기 부족 때문입니까, 또는 기후가 특히 어려운 지역에서 데이터 센터를 냉각시키는 어려움 때문입니까? 실제로, 비밀은 칩 자체에 있습니다…

성배

NVIDIA는 현재 약 5조 달러의 가치가 있으며, 세계에서 가장 성공적인 상장 회사 중 하나로 간주됩니다. 이유는 간단합니다: NVIDIA는 인공 지능 모델을 훈련하고 실행하는 칩을 생산합니다.

이러한 칩 각각은大量의 전기를 소비하며, 큰 모델을 훈련하거나 데이터를 처리할 때, 효율적으로 에너지를 사용합니까? 이것은 전문 칩이 중요한 역할을 하는 곳입니다. 일반-purpose GPU보다 특정 작업을 훨씬 더 효율적으로 처리합니다.

인공 지능 모델은 다릅니다. OpenAI는 하나의 모델 패밀리를 가지고, Anthropic은 다른 모델 패밀리를 가지고 있습니다. 개념은 유사할 수 있지만, 수학적 구조와 계산 프로세스는 다릅니다. 일반-purpose 칩은 OpenAI 모델(예: ChatGPT)과 Anthropic 모델(예: Claude)을 훈련할 때, “하나만으로 모든 것을 해결하는 도구”로 작동하며, 한 모델에 대해 100,000시간의 계산을 소비하고, 다른 모델에 대해 150,000시간의 계산을 소비합니다. 효율성은 상당히 다르며, 거의 최적화되지 않습니다.

회사는 이 문제를 해결하기 위해 전문 칩을 생산합니다. 예를 들어, 하나의 칩은 ChatGPT 아키텍처에 최적화되어 20분 안에 훈련을 완료할 수 있으며, Anthropic의 아키텍처에 최적화된 다른 칩도 20분 안에 훈련을 완료할 수 있습니다. 에너지 소비와 훈련 시간은 일반-purpose 칩보다 여러 배로 줄어듭니다.

이러한 칩이 대형 회사에 판매될 때, 예를 들어 Google, Amazon, Microsoft 또는 Azure, 사용자는 특정 작업에 최적화된 칩을 선택할 수 있습니다. 예를 들어, YOLO 모델에 최적화된 칩 또는 Xen 아키텍처에 최적화된 더 прост고 저렴한 칩을 선택할 수 있습니다. 이렇게 하면 회사는 자신의 작업에 맞게 계산 자원을 얻을 수 있으며, 일반-purpose GPU를 구매할 필요가 없습니다. 사용자가 10개의 다른 기능을 가지고 있다면, 10개의 다른 전문 칩을 사용할 수 있습니다.

추세는 명확합니다: 전문 칩이 일반-purpose 칩을 대체하고 있습니다. 많은 스타트업이 ASIC(응용 프로그램별 집적 회로)와 함께 작업하고 있습니다. 이는 특정 계산 작업을 위한 칩입니다. 최초의 ASIC은 비트코인 마이닝을 위해 나타났습니다: 처음에는 비트코인이 NVIDIA GPU에서 마이닝되었으며, 이후 비트코인 전용 칩이 만들어졌으며, 다른 작업을 수행할 수 없었습니다.

저는 실제로 이것을 보았습니다: 동일한 하드웨어 구성이 작업에 따라 완전히 다른 결과를 생산할 수 있습니다. 저의 스타트업 Introspector에서, 우리는 이러한 프로세스를 실제 프로젝트에서 연구하고 있으며, Keymakr의 전략적 고문으로서, 클라이언트가 전문 칩에서 효율성을 얻는 것을 관찰하며, 이전에 훈련 또는 추론 중에 중단된 프로젝트가 이러한 접근 방식으로 안정적인 결과를 달성합니다.

그러나 狭い 전문성이 위험을 수반합니다. Anthropic의 아키텍처에 최적화된 칩은 OpenAI 모델을 훈련하는 데 사용할 수 없으며, 그 반대도 마찬가지입니다. 각 새로운 아키텍처는 새로운 하드웨어 세대를 필요로 하며,大量의 “폐기” 위험을 만들 수 있습니다. Anthropic이 내일 새로운 아키텍처를 출시하면, 이전 세대의 모든 칩이 비효율적이거나 쓸모없게 됩니다. 새로운 칩을 생산하는 것은 수십억 달러의 비용이 들며, 수년이 걸릴 수 있습니다.

이것은 딜레마를 만듭니다: 우리는 좁은 시나리오에서 완벽하게 작동하는 전문 칩을 만들應니까, 아니면 모든 작업을 중간 정도로 잘 해결하는 일반-purpose 칩을 계속 생산해야 합니까?

이 contexto에서 효율성은 세 가지 주요 매개변수에 의해 측정됩니다: 실행 시간, 전기 소비 및 열 발생. 이러한 매개변수는 직접적으로 관련되어 있습니다: 시스템이 더 오래 실행될수록, 더 많은 에너지를 소비하며, 더 많은 열을 발생시킵니다. 한 매개변수를 줄이면 다른 두 매개변수를 자동으로 개선할 수 있습니다.

여기에는 인공 지능 성능의 “성배”가 있습니다: 만약 하나의 기본적인 효율성 매개변수를 최적화할 수 있다면, 다른 매개변수는 거의 자동으로 개선됩니다.

지속 가능한 프로세스

전문 칩의 사용이 증가함에 따라,過剰 生産의 위험이 급증하고 있습니다. 현재 기기過剰은 이미 상당하며, 회사들은 다양한 지속 가능한 방법으로 이 문제를 해결하고 있습니다. 기존 자원의 재사용을 포함하여…

장비 재활용은 고기술 산업에서 지속 가능한 개발의 핵심 요소가 되었습니다. 칩에는 귀중하고 기초 금속, 금, 구리, 알루미늄, 팔라듐 및 희토류 물질이 포함되어 있으며, 마이크로 칩과 트랜지스터에 사용되는 물질이 포함되어 있습니다. 기기가 구식이 되면, 이러한 귀중한 자원을 생산으로 돌아가게 하여 새로운 구성 요소의 비용을 낮추고, 동시에 산업의 환경적 영향을 줄일 수 있습니다.

일부 전문 공장과 회사들은 구식 구성 요소에서 귀중한 금속을 추출하고 재활용하는 데 중점을 두고 있습니다. 예를 들어, 일부 시설은 금과 구리를 높은 순도로 추출하기 위해 수력 금속 공정과 고급 화학 방법을 사용합니다. 이렇게 하면 이러한 물질을 새로운 칩에 재사용할 수 있습니다.

또한, 회사들은 폐쇄 루프 모델을 구현하고 있습니다. 여기서 구식 기기는 새로운 솔루션에 업그레이드되거나 통합되어, 원자재 추출의 필요성을 줄입니다. 이러한 접근 방식은 폐기를 최소화하는 데 도움이 되며, 전통적인 채굴과 금속 처리가大量의 에너지를 필요로 하기 때문에, 생산의탄소 발자국을 낮추는 데도 도움이 됩니다.

칩과 기기의 수명 주기 관리가 산업 표준이 될 수 있으며, 기술 발전이 환경 책임과 일치할 수 있습니다.