제이 다와니는 레무리안 랩스의 공동 창립자이자 최고 경영자입니다 – 인터뷰 시리즈

제이 다와니는 레무리안 랩스의 공동 창립자이자 최고 경영자입니다. 레무리안 랩스는 저렴하고 접근성이 용이하며 효율적인 인공지능 컴퓨터를 제공하는 것을 목표로 하며, 인공지능은 특권이 아닌 모든 사람이 사용할 수 있는 도구여야 한다는 믿음을 가지고 있습니다. 레무리안 랩스의 창립 팀은 인공지능, 컴파일러, 수치 알고리즘, 컴퓨터 아키텍처에 대한 전문 지식을 결합하여 가속화된 컴퓨팅을 재구상하는 단일 목표를 가지고 있습니다.

당신의 배경과 인공지능에 관심을 가지게 된 경위를 설명해 주시겠습니까?

물론입니다.私は 12살 때 프로그래밍을 시작했고, 게임과 같은 것을 만들었지만, 실제로私は 15살 때 인공지능에 관심을 가지게 되었습니다.私の 아버지의 친구가 컴퓨터에 관심이 있었고, 나는 책을 읽게 되었습니다. 예를 들어, Von Neumann의 ‘The Computer and The Brain’, Minsky의 ‘Perceptrons’, Russel과 Norvig의 ‘AI A Modern Approach’와 같은 책이었습니다. 이러한 책들은私の 생각에 큰 영향을 미쳤습니다.그 때私は 인공지능이 변革적일 것이라는 것을 알았고,私は 이 분야에 참여해야 한다고 생각했습니다.

대학에 들어가서私は 인공지능을 공부하고 싶었습니다. 그러나 대학에서 인공지능을 공부하는 과정이 없었습니다. 그래서私は 응용 수학을 전공하기로 결정했습니다.大学에서 조금 있다가私は AlexNet의 ImageNet 결과를 듣게 되었습니다.그 때私は 매우 흥奮했습니다.그 때私は 지금 또는 결코 없는 기회라고 생각했습니다.私は 모든 관련된 논문과 책을 읽기 시작했습니다.私は 이 분야의 리더들을 만나서 배우기 시작했습니다. 새로운 산업의 탄생과 그 산업의 선구자로부터 배우는 기회는 얼마나 souvent하게 되는지 모릅니다.

私は 매우 빠르게 연구를Enjoy하지 않는다는 것을 알았습니다. 그러나私は 문제를 해결하고 인공지능을 사용한 제품을 만들기를Enjoy합니다. 그것은 자율 주행 자동차와 로봇, 물질 발견을 위한 인공지능, 다중 물리 시뮬레이션을 위한 생성 모델, 전문 레이스 자동차 운전자 훈련을 위한 인공지능 기반 시뮬레이터, 우주 로봇, 알고리즘 트레이딩 등과 같은 많은 프로젝트에 참여하게 되었습니다.

이제,私は 모든 것을 해보았고,私は 인공지능 훈련과 배포의 비용을 낮추는 것을 시도하고 있습니다. 그것은 우리가 모든 사람이 인공지능을 사용할 수 있는 세계를 만드는 데 직면하는 가장 큰 장벽일 것입니다.

가속화된 컴퓨팅에 종사하는 많은 회사들이 반도체와 인프라에 경력을 쌓은 창립자를 가지고 있습니다. 당신의 과거 경험은 어떻게 시장과 효과적으로 경쟁하는 능력을影响합니다?

私は 실제로 산업에 속하지 않은 것이 나를 도와주는 것이라고 생각합니다.私は 종종 산업의 규범이나 전통적인 지혜가 자유롭게 탐색하고 더 깊이 들어가도록 허용한다는 것을 발견했습니다.私は 산업에 속하지 않은 것이 나를 더 자유롭게 합니다.

私は 많은 경우에 사람들이 매우 독단적인 생각을 가지고 있다는 것을 발견했습니다. 그러나 그들은 그 생각의 근거를 설명하지 못합니다.私は 그것이 매우 의아하다고 생각합니다.私は 왜 특정 선택이 그렇게 되었는지, 어떤 가정이나 조건이 있었는지, 그리고 그것이 여전히 유효한지 물어보는 것을 좋아합니다.

私は 인공지능 배경을 가지고 있기 때문에私は 소프트웨어 관점에서 볼 수 있습니다.私は 현재 작업량과 미래의 모든 가능한 변경 사항을 모델링하여 병목 현상을 파악하고, 그곳에서 가치를 제공할 수 있는 기회를 찾습니다.私は 수학적 배경을 가지고 있기 때문에私は 진실에 가까운 모델을 만들기 위해 노력합니다.예를 들어, 우리는 시스템 성능을 계산하기 위한 모델을 구축했습니다. 우리는 고객에게 소프트웨어와 하드웨어를 통해 제공할 수 있는 이점을 측정할 수 있습니다. 우리는 제약 조건과 다양한 노브를 이해하기 위해 모델을 사용합니다.

인공지능의 진행은 주로 스케일링으로 인한 것으로 보입니다. 그것은 지수적으로 더 많은 컴퓨팅 파워와 에너지를 필요로 합니다. 그것은 모든 회사가 가장 큰 모델을 구축하려고 하는 무한 경쟁입니다. 끝이 보이지 않습니다. 탈출구는 있습니까?

항상 탈출구는 있습니다. 스케일링은 매우 유용한 것으로 증명되었습니다.私は 아직 끝을 보지 못했습니다. 우리는 곧 10억 달러의 비용으로 모델을 훈련하는 것을 볼 것입니다. 만약 당신이 생성적 인공지능의 리더가 되고 싶다면, 당신은 최소한 10억 달러의 비용으로 컴퓨팅 파워를 사용해야 합니다.

스케일링의 자연적인 한계가 있습니다. 예를 들어, 모델 크기에 맞는 충분한 데이터셋을 구축하는 것이 있습니다. 또한, 필요한 전문 지식과 컴퓨팅 파워에 접근하는 것이 있습니다.그러나 우리는 다른 방법으로 개선할 수 있습니다. 예를 들어, 더 나은 데이터셋, 새로운 모델 아키텍처, 새로운 훈련 방법, 더 나은 컴파일러, 알고리즘 개선, 컴퓨터 아키텍처 개선 등이 있습니다. 만약 우리는 모두 그렇게 한다면, 우리는 약 3つの 정도의 개선을 찾을 수 있습니다. 그것이 가장好的 탈출구입니다.

당신은 첫 번째 원칙思考을 믿는 사람입니다. 레무리안 랩스를 운영하는 데 그것이 어떻게 영향을 미칩니까?

우리는 레무리안에서 많은 첫 번째 원칙思考을 사용합니다.私は 전통적인 지혜가 오래된 지혜라는 것을 발견했습니다. 그것은 특정 시점에 형성되었으며, 특정 가정에 기반한 지혜입니다. 그러나 모든 것이 항상 변경됩니다.우리는 첫 번째 원칙思考을 사용하여 가정을 재검토하고, 새로운 아이디어를 탐색할 수 있습니다.

私は 종종 다음과 같은 질문을합니다. “이것은 좋은 아이디어처럼 보입니다. 그러나 왜 이것이 작동하지 않을까요?” 또는 “이것이 작동하기 위해 무엇이 필요할까요?” 또는 “우리는 무엇을 알고 있으며, 무엇을 가정하고 있으며, 왜 vậy일까요?” 또는 “우리는 왜 특정 접근 방식을 사용하고 있나요?”우리의 목표는 아이디어를 빠르고 저렴하게 검증하는 것입니다.우리는 문제를 해결하는 데 집착하고, 기술에 너무 집착하지 않습니다. 많은 사람들이 기술에 너무 집착합니다.그러나 고객의 문제를 이해하지 못하고, 산업의 전환을 놓치게 됩니다.

첫 번째 원칙思考만으로는 충분하지 않습니다.우리는 역방향 계획을 사용하여 이상적인 미래 결과를 상상하고, 그것을 실현하기 위한 단계를逆으로 계획합니다.이것은 우리가 의미 있는 솔루션에 도달하도록 도와줍니다.그 솔루션은 혁신적이면서도 현실에 기반한 것입니다.

당신은 레무리안 랩스를 공동 창립한 경위를 설명해 주시겠습니까?

그 이야기는 2018년 초에 시작되었습니다.私は 일반적인 자율성의 기초 모델을 훈련시키고, 다중 물리 시뮬레이션을 위한 생성 모델을 만들고, 다른 응용 프로그램을 위한 에이전트를 훈련시키는 등 다양한 프로젝트를 진행하고 있었습니다.그러나私は 곧 컴퓨팅 파워가 부족해졌습니다.私は 20,000개의 V100 GPU가 필요하다고 계산했습니다.私は 그 정도의 컴퓨팅 파워를 얻으려고 시도했지만, 시장은 아직 준비가 되지 않았습니다.

2년 후, 2020년,私は Vassil, 나의 공동 창립자와 만나서 이야기를 나누었습니다.私は 내가 직면한 도전과 내가 해결하려고 한 문제에 대해 이야기했습니다.그는 나에게 추론 칩을 만들어서 기초 모델을 실행할 수 있는 칩을 만들자고 제안했습니다.그는 또한 숫자 형식과 더 나은 표현이 필요하다고 생각했습니다.

그는 나에게半導體 회사를 설립하는 것이 좋다고 했습니다.私は 그것이 내 전문 분야가 아니라는 것을 알았습니다.그러나私は 그것을 배우기로 결정했습니다.私は 몇 개월 동안 컴퓨터 아키텍처, 명령어 집합, 런타임, 컴파일러, 프로그래밍 모델 등에 대해 공부했습니다.결국, 나는 半導體 회사를 설립하는 것이 의미가 있다고 생각했습니다.그리고, 우리는 레무리안 랩스를 시작했습니다.

당신은 소프트웨어를 먼저 해결해야 한다고 생각합니다. 그것은 어떻게 하드웨어 문제를 해결하는 데 영향을 미칩니까?

많은 사람들이 半導體의 소프트웨어 측면이 하드웨어보다 더 어렵다는 것을 모릅니다.유용한 컴퓨터 아키텍처를 만들기 위해서는 전체 스택 문제를 해결해야 합니다.만약 당신이 그것을 이해하지 못한다면, 당신은 아름다운 아키텍처를 만들 수 있지만, 개발자가 사용할 수 없는 아키텍처가 될 것입니다.

소프트웨어 먼저 접근법에는 다른 이점도 있습니다.예를 들어, 시장에 더 빠르게 출시할 수 있습니다.현재 빠르게 변화하는 세계에서, 아키텍처나 기능에 너무 자신감을 가지고 있다면, 당신은 시장에 늦게 출시할 수 있습니다.

소프트웨어 먼저 접근법을 사용하지 않으면, 중요한 것을 미리 확인하지 못할 수 있습니다.또한, 시장의 변화를 대응하지 못할 수 있습니다.그리고 하드웨어가 제대로 사용되지 않을 수 있습니다.그것은 좋지 않은 결과입니다.우리는 소프트웨어 중심 접근법을 중요하게 생각합니다.우리는 半導體 회사가 소프트웨어 회사가 되어야 한다고 생각합니다.

당신의 즉각적인 소프트웨어 스택 목표는 무엇입니까?

우리는 아키텍처를 설계하고, 미래의 로드맵을 생각했을 때, 소프트웨어 측면에서 많은 문제가 발생할 것이라는 것을 알았습니다.우리는 데이터 센터 규모에서 이터러진 아키텍처를 프로그래밍할 수 있어야 합니다.그것은 우리가 전에遭遇하지 않은 도전입니다.

우리는 주요한 전환을 겪은 적이 있습니다.예를 들어, 싱글 코어에서 멀티 코어로의 전환입니다.그 때, 소프트웨어를 작동시키고, 사람들이 사용하도록 하는데 10년이 걸렸습니다.우리는 10년을 기다릴 수 없습니다.우리는 지금 해결해야 합니다.우리는 문제를 이해하고, 소프트웨어 스택이 존재하기 위해 무엇이 필요한지에 대해 작업했습니다.

우리는 주요한 半導體 회사와 클라우드 서비스 제공업체와 협력하고 있습니다.우리는 다음 12개월 내에 소프트웨어 스택을 출시할 계획입니다.그것은統一된 프로그래밍 모델이며, 컴파일러와 런타임이 포함되어 있으며, 다양한 아키텍처를 대상으로 할 수 있으며, 클러스터를 구성하여 최고의 성능을 낼 수 있습니다.

감사합니다. 더 많은 정보를 원하는 독자는 레무리안 랩스를 방문할 수 있습니다.