SF Tensor의 창립자 및 CEO인 Ben Koska – 인터뷰 시리즈

Ben Koska, SF Tensor의 창립자 및 CEO는 고성능 컴퓨팅, 커널 최적화 및 효율적인 모델 훈련에 대한 연구로 알려진 인공지능 연구자이자 시스템 엔지니어입니다. 그의 배경은 저수준 인공지능 인프라 개발, 훈련 처리량 개선 및 고급 모델 개발을 위한 도구 설계를 포함합니다. 그는 속도, 이식성 및 신뢰성의 한계를 넓히는 시스템을 구축하는 데 중점을 두고 있습니다.

SF Tensor는 그가 이 철학을 실제 플랫폼으로 구현하기 위해 이끄는 회사입니다. 그것은 통일된 프로그래밍 모델, 커널 최적화기 및 크로스 클라우드 오케스트레이션 레이어를 도입하여 분산 인공지능 워크로드의 복잡성을 제거합니다. 플랫폼은 엔지니어가 깨끗한 하드웨어 독립적 환경에서 코드를 한 번 작성하여 어디서나 배포하고 자동으로 높은 성능을 달성할 수 있도록 설계되었습니다. SF Tensor의 목표는 인공지능 컴퓨팅을 극적으로 더 빠르고 쉽게 관리하며 벤더 잠금에서 자유롭게 만드는 것입니다.

19세의 나이에 여러 스타트업에서 엔지니어링을 이끌었던 경험을 바탕으로 SF Tensor를 창립했습니다. 인공지능 인프라를 재창조하는 도전을 इतन 早期에 맡게 된 이유는 무엇입니까?

우리가 해결하고 있는 문제는 제가 깊이 관심을 둔 문제입니다. 그것은 제가 직접 겪은 문제입니다. SF Tensor의 핵심 스택을 개발할 때, 우리는 상업적 프로젝트가 아니었습니다. 그것은 학술적 노력이었으며, 우리는 일부 interessant한 연구를 수행하기 위한 보조금을 받았습니다. 그러나 우리는 대부분의 시간을 인프라와 최적화를 다루는 데 보냈습니다. 우리는 사람들이 우리의 인프라 기술에 관심을 보였으며, 우리의 연구 프로젝트에는 관심이 없다는 것을 발견했습니다.

SF Tensor는 인공지능에서 가장 어려운 문제 중 하나인 NVIDIA의 CUDA 지배를 깨는 것을 해결하고 있습니다. 하드웨어 이식성을 유지하면서 성능을 저하하지 않는 시스템을 설계하는 방법은 무엇입니까?

궁극적으로, 모든 인공지능은 단순한 수학으로 귀결됩니다. 모든 모델은 본质적으로 계산 결과를 얻기 위한 수학 연산의 집합입니다. 그것을 주로 수학 문제로 다루고 컴퓨터 과학 문제로 다루지 않음으로써, 우리는 계산의 가장 작은 제약 집합을 식별하고, 수십억 개의 다른 방법으로 계산을 기계 코드로 변환하여 가장 빠른 것을 찾을 수 있습니다. 그러나 그것은 쉽지 않습니다. 우리는 실제로 수십억 개의 다른 프로그램을 실행하여 가장 빠른 것을 찾을 수 없습니다. 따라서 검색 공간을 자르기 위해, 우리는 하드웨어에 대한 프로그램의 속도를 정확하게 추정하는 수학적 모델을 개발해야 했습니다. 그것은 오늘날 우리가 하는 일을 가능하게 하는 핵심 혁신 중 하나입니다.

회사 블로그는 컴파일러 최적화와 크로스 클라우드 오케스트레이션에 대한 혁신을 강조합니다. SF Tensor의 접근법은 PyTorch 또는 JAX와 같은 기존 프레임워크와 어떻게 다른가요?

우리는 아직 기술 블로그를 작성하지 않았지만, 우리는 PyTorch와 JAX와 같은 프레임워크를 지원하여 코드를 최적화할 수 있습니다. JAX와 PyTorch는 우리의 스택과 다른 몇 가지 설계 결정이 있습니다. 가장 중요한 것은 bahwa 우리는 전체 모델을 단일 계산으로 다루며, 개별 모듈을 개별적으로 최적화하는 대신에 전체 모델을 최적화합니다. 따라서 우리는 전통적인 컴파일러 최적화 기술을 적용하지 않고, 대신에 수십억 개의 커널을 생성하여 가장 빠른 것을 찾습니다.

많은 스타트업은 훈련 효율성에 중점을 두고 있습니다. 그러나您는 “인프라 세금” — 연구자들이 혁신 대신 컴퓨팅을 관리하는 데 소요하는 시간 — 을 강조했습니다. SF Tensor는 이 불균형을 어떻게 해결합니까?

우리는 두 가지 문제가 모두 해결되어야 한다고 믿습니다. 많은 우리의 작업이 훈련 효율성을 해결하는 데 집중되어 있습니다. 그러나 우리는 이미 해결한 인프라 세금 문제를 해결할 수 있습니다. 그것은 우리가 이미 해결한 문제입니다.

훈련 비용을 최대 80%까지 줄일 수 있는 최적화 또는 아키텍처 혁신은 무엇입니까?

우리의 소프트웨어 스택은 검색 기반 컴파일러가 항상 인간이 만든 규칙을 이길 수 있다는 아이디어에 기반합니다. 그러나 이러한 컴파일러의 가장 큰 제약은 수십억 개의 커널을 벤치마크하고 순위를 매길 수 없다는 것입니다. 따라서 우리는 하드웨어에 대한 계산의 시간을 정확하게 추정하는 수학적 모델을 개발해야 했습니다. 이를 통해 우리는 검색 공간을 확장하고 줄일 수 있습니다.

Emma 프로그래밍 언어를 구축한 경험은 SF Tensor의 아키텍처와 성능 및 추상화에 대한 철학에 어떻게 영향을 미쳤습니까?

저는 여전히 컴파일러 엔지니어입니다. 저는 항상 조금 더 빠르게 만드는 방법을 찾는 데 관심이 있습니다. Emma를 개발할 때, 우리는 컴파일러를 4번이나 5번 다시 작성해야 했습니다. 우리는 최적화를 구현할 수 있도록 시스템을 재설계해야 했습니다. 이러한 경험과 결과 아키텍처는 저희가 더 빠르게 반복하고 최적화할 수 있는 시스템을 개발할 수 있도록 했습니다.

4,000개 이상의 GPU에서 대규모 훈련을 수행한 경험에서 가장 큰 교훈은 무엇입니까?

하드웨어 故障은 더 흔하고 더 심각한 문제입니다. 전통적인 프로그램과 컴파일러에서 작업할 때, 컴퓨터는 거의 항상 명령을 따르며, 오류가 발생하면 거의 항상 코드를 작성한 사람의 잘못입니다. 그러나 GPU의 경우 하드웨어 故障은 더 흔하고, 특히 대규모 클러스터에서 분산 훈련을 수행할 때 더 심각한 문제입니다.

Y Combinator는 기술에서 가장 혁신적인 인프라 회사 중 일부를 지원했습니다. 이러한 경험은 SF Tensor의 제품과 비전을 확장하는您的 접근법에 어떻게 영향을 미쳤습니까?

Y Combinator에 참여하기 전에 저희의 목표는 이미 야심적이라고 생각했습니다. 그러나 몇 주 후, 저희의 야심은 더 크게 바뀌었습니다. 또한, 저는 거의 모든 회사나 사람에게 전화나 이메일을 통해 조언을 받을 수 있는 커뮤니티와 학습의感觉을 얻었습니다.

앞으로,您는 비-LLM 모델, 로봇공학 및 합성 데이터에 대한 관심을 표현했습니다. 이러한 분야는 회사의 장기적인 비전에 어떻게 적합합니까?

LLM은 매우 interessant한 기술이며, 미래에는 중요한 역할을 할 것입니다. 그러나 LLM이 다른 인공지능 분야보다 더 발전한 이유는 많은 투자가 되어 있고, 많은 사람들이 협력하고 있기 때문입니다. 저희가 진입 장벽을 낮추고, 연구자들이 최소한의 자원과 최적화를 거의 모르는 상태에서 연구를 수행할 수 있도록 해준다면, 저희는 새로운 모델이 등장할 것이라고 생각합니다. 이러한 모델은 언어로 표현할 수 없는 문제나 물리적 세계와 상호작용하는 문제를 해결할 수 있을 것입니다.

5년 후에 인공지능 인프라 스택은 어떻게 될까요? SF Tensor는 어떻게 될까요?

5년 후, 저희는 더 많은 회사들이 특화된 칩을 개발하고 출시할 것으로 기대합니다. 또한, 연구자들이 이러한 칩을 사용하여 코드를 작성하지 않아도,甚至 존재하지도 않는다는 사실을 모르는 채로 활용할 수 있을 것입니다. 그것이 저희가 향해 가는 미래이며, 저희는 그 미래를 형성하는 데 중요한 역할을 할 것입니다.

인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 SF Tensor를 방문하십시오.