Etan Ginsberg, Martian의 공동 창립자 – 인터뷰 시리즈

Etan Ginsberg는 Martian의 공동 창립자입니다. Martian은 동적으로 모든 프롬프트를 가장 좋은 LLM으로 라우팅하는 플랫폼입니다. 라우팅을 통해 Martian은 GPT-4를 포함한 모든 개별 제공자보다 더 높은 성능과 더 낮은 비용을 달성합니다. 이 시스템은 회사만의 고유한 Model Mapping 기술을 기반으로 구축되어 있습니다. 이 기술은 복잡한 블랙박스에서 LLM을 더 해석 가능한 아키텍처로 풀어냅니다. 이는 기계적 해석가능성의 첫 번째 상업적 적용입니다.

Etan은 중학교 시절부터 클라이언트를 위해 코딩, 웹사이트 디자인, 이커머스 사업을 구축해 왔습니다. 다재다능한 Etan은 세계 메모리 챔피언십 경쟁자이며 중국 深圳에서 열린 세계 속독 챔피언십에서 2위를 차지했습니다.

그는 비디오 해커톤 경쟁자입니다. 과거 수상 내역에는 Tech Crunch SZ에서 3위, Princeton Hackathon에서 최종 7위, Yale Hackathon에서 3개의 산업상을 수상했습니다.

이전 두 번의 스타트업 창립자로서, 이러한 회사들은 무엇이었으며, 이러한 경험에서 무엇을 배웠나요?

제 첫 번째 회사는 미국 닌자 워리어 스포츠를 홍보하고 발전시키는 첫 번째 플랫폼이었습니다. 2012년에, 저는 미국 닌자 워리어를 지하 스포츠(90년대의 MMA와 유사)로 보았고, 사람들이 블루프린트를 구입하고, 장애물을 주문하고, 훈련할 수 있는 짐을 찾을 수 있는 첫 번째 플랫폼을 만들었습니다. 저는 짐을 시작하려는 회사들을 위해 컨설팅했으며, 미국 특수부대를 위한 훈련 코스를 도와주고, 3개월 만에 30만 달러의 수익을 올리는 시설을 스케치에서 스케일업하는 것을 도왔습니다. 저는 고등학교에 다니고 있었지만, 20명 이상의 근로자를 관리하는 첫 번째 경험을 했으며, 효과적인 관리와 대인 관계에 대해 배웠습니다.

제 두 번째 회사는 2017년 크립토 ICO 이전에 저가 공동 창립한 대체 자산 관리 회사였습니다. 이것은 저의 첫 번째 NLP 노출이었으며, 우리는 사회 미디어 데이터의 감정 분석을 투자 전략으로 사용했습니다.

스타트업을 운영하는 데 필요한 하드 스킬과 소프트 스킬을 많이 배웠습니다. 동시에, 저는 저 자신에 대해, 그리고 무엇에 대해 일하고 싶은지에 대해 많이 배웠습니다. 저는 가장 성공적인 회사는 더广泛한 비전이나 목표를 가진 창립자에 의해 시작된다고 믿습니다. 저는 2017년에 크립토를 떠나 NLP에 집중했습니다. 왜냐하면 인간의 지능을 증강하고 이해하는 것이 저를 정말로駆り立て는 것이기 때문입니다. 저는 그것을 발견해서 기뻤습니다.

펜실베니아 대학교에 다니면서, 당신은 어떤 AI 연구를 했나요?

우리의 연구는最初에 LLM의 응용 프로그램을 구축하는 데 중점을 두었습니다. 특히, 우리는 LLM의 교육 응용 프로그램에 대해 일했으며, 첫 번째 LLM 기반 인지 튜터를 구축했습니다. 결과는 khá 좋았습니다. 우리는 초기 실험에서 학생 결과에서 0.3 표준 편차의 개선을 보았으며, 우리의 시스템은 펜실베니아 대학교에서 부탄 대학교까지 사용되었습니다.

이 연구는 어떻게 Martian의 공동 창립으로 이어졌나요?

우리가 LLM 위에 응용 프로그램을 구축하는 첫 번째 사람 중 하나였기 때문에, 우리는 LLM 위에 응용 프로그램을 구축할 때 사람들이 직면하는 문제를 처음遇한 사람 중 하나였습니다. 그것은 우리의 연구를 인프라 계층으로導向했습니다. 예를 들어, 우리는 초기에 GPT-3와 같은 더 큰 모델의 출력에 작은 모델을 미세 조정했으며, 프로그래밍 및 수학 문제 해결과 같은 작업을 위한 전문 데이터 소스에 모델을 미세 조정했습니다. 그것은 결국 모델 동작과 모델 라우팅에 대한 문제로 우리를導向했습니다.

Martian의 이름과 지능과의 관계는 또한 interessant합니다. 이름이 어떻게 선택되었는지에 대한 이야기를 공유할 수 있나요?

우리의 회사 이름은 20세기에 살았던 헝가리-미국 과학자 그룹인 “Martian”에서 유래했습니다. 이 그룹은 가장 지능적인 사람 중 일부로 구성되어 있습니다:

• 가장 유명한 사람은 John Von Neumann입니다. 그는 게임 이론, 현대 컴퓨터 아키텍처, 자동 이론, 그리고 수십 가지 다른 분야에서 근본적인 기여를 했습니다.
• Paul Erdos는 모든 시간에 가장 많은 수학 논문을 발표한 수학자입니다. 그는 1500개 이상의 논문을 발표했습니다.
• Theodore Von Karman은 공기 역학의 기본 이론을 확립하고 미국 우주 프로그램을 도왔습니다. 인간이 정의한 지구와 외계 공간의 경계는 그의 업적을 인정받아 “카르만 라인”이라고命名되었습니다.
• Leo Szilard는 원자 폭탄, 방사선 치료, 입자 가속기를 발명했습니다.

이 과학자들과 14명의 다른 사람들은(수소 폭탄의 발명가, 현대 물리학에 그룹 이론을 도입한 사람, 조합론, 수론, 수치 분석, 확률 이론과 같은 분야에 기여한 사람들)remarkable한 유사성을 공유했습니다. 그들은 모두 부다페스트의 같은 지역에서 태어났습니다. 그것은 사람들이 다음과 같은 질문을하게 만들었습니다: 이렇게 많은 지능의 근원은 무엇일까요?

Szilard는 “Martians는 이미 여기 있으며, 그들은 스스로를 헝가리인이라고 부릅니다!”라고 농담했습니다. 실제로는… 아무도 모릅니다.

인간은 현재 새로운 집단의 잠재적으로 초지능적인 마음, 즉 인공 지능과 비슷한 위치에 있습니다. 사람들은 모델이 매우 지능적일 수 있다는 것을 알고 있지만, 그것들이 어떻게 작동하는지에 대해 아무도 모릅니다.

우리의 임무는 그 질문에 답하는 것입니다. 즉, 현대의 超지능을 이해하고 활용하는 것입니다.

당신은 기념력적인 기억 능력의 역사를 가지고 있습니다. 어떻게 이러한 기억挑戰에 참여하게 되었으며, 이 지식은 Martian의 개념에 어떻게 도움이 되었나요?

대부분의 스포츠에서 전문 운동 선수는 평균 사람보다 약 2-3배 더 잘할 수 있습니다(평균人が 필드 골을 얼마나 멀리 차는지 또는 얼마나 빠르게 투구하는지와 비교하여). 기억 스포츠는 흥미롭습니다. 왜냐하면 최고의 선수는 평균 사람보다 100배 또는 1000배 더 많은 것을 기억할 수 있으며, 대부분의 스포츠보다 훈련 시간이 적기 때문입니다. 또한, 이러한 사람들은 평균적인 자연적인 기억을 가지고 있으며, 그들의 성과를 특정 기술에 기인한다고 주장합니다. 저는 인간의 지식을 최대화하고 싶습니다. 그래서 저는 세계記憶選手権을 인간의 지능을 극대화하는 방법에 대한 간과된 통찰력으로 보았습니다.

저는 기억 기술을 교육 시스템 전반에 배포하고 싶었습니다. 그래서 저는 NLP와 LLM이 가장 효과적인 교육 방법을 사용하는 데 필요한 설정 비용을 줄이는 데 어떻게 도움이 될 수 있는지 탐구하기 시작했습니다. Yash와 저는 첫 번째 LLM 기반 인지 튜터를 만들었습니다. 그리고 그것은 우리가 오늘날 해결하는 LLM 배포 문제를 발견하게 되었습니다.

Martian은 본질적으로 개발자가 사용할 LLM을 결정하는 것을 추상화합니다. 현재 이것은 개발자에게 왜 så 큰 고통의 원인이 되는가요?

언어 모델을 생성하는 것이越来越 쉬워지고 있습니다. 컴퓨팅 비용이 낮아지고, 알고리즘이 더 효율적이 되고, 이러한 모델을 생성하는 데 사용할 수 있는 더 많은 오픈 소스 도구가 있습니다. 결과적으로, 더 많은 회사와 개발자가 사용자 정의 데이터에 대한 사용자 정의 모델을 생성하고 있습니다. 이러한 모델은 서로 다른 비용과 능력을 가지고 있으므로, 여러 모델을 사용하여 더好的 성능을 얻을 수 있습니다. 그러나 모든 모델을 테스트하고 사용할 적절한 모델을 찾는 것이 어렵습니다. 우리는 개발자를 위해 그것을 처리합니다.

시스템은 어떻게 특정 작업에 가장 적합한 LLM을 이해합니까?

잘 라우팅하는 것은 본질적으로 모델을 이해하는 문제입니다. 모델 사이에서 효과적으로 라우팅하려면, 모델이 실패하거나 성공하는 이유를 이해할 수 있어야 합니다. 모델 매핑을 통해 이러한 특성을 이해할 수 있으므로, 모델을 실행하지 않고도 요청에 대해 모델이 얼마나 잘 수행할 수 있는지 결정할 수 있습니다. 따라서, 우리는 요청을 가장好的 결과를 생성할 모델로 보낼 수 있습니다.

LLM을 최적화하여 사용할 때 볼 수 있는 비용 절감 유형은 무엇인가요?

우리는 사용자가 비용과 성능을 어떻게 거래할 수 있는지 지정할 수 있도록 합니다. 만약 당신이 성능만 신경 쓰면, 우리는 openai/evals에서 GPT-4를超越할 수 있습니다. 만약 당신이 유닛 경제학을 작동하게 하는 특정 비용을 찾고 있다면, 우리는 사용자가 요청을 완료하는 데 사용할 모델을 찾을 수 있도록 합니다. 그리고 만약 당신이 더 동적인 것을 원한다면, 우리는 사용자가 더好的 답변을 얻기 위해 얼마를 지불할 의지가 있는지 지정할 수 있도록 합니다. 그렇게 하면, 두 모델이 유사한 성능을 가지고 있지만 비용에 큰 차이가 있다면, 우리는 사용자가 더 저렴한 모델을 사용할 수 있도록 할 수 있습니다. 일부 고객은 최대 12배의 비용 감소를 보았습니다.

Martian의 미래에 대한 ваш 비전은 무엇인가요?

우리가 모델에 대한 우리의 기본적인 이해를 향상시킬 때마다, 그것은 AI에 대한 패러다임 시프트를 가져옵니다. Fine-tuning은 출력을 이해하는 것을 기반으로 하는 패러다임입니다. Prompting은 입력을 이해하는 것을 기반으로 하는 패러다임입니다. 모델에 대한 우리의 이해의 이러한 차이는 전통적인 ML(“회귀 분석기를 훈련시킵니다”)과 현대적인 생성 AI(“아기 AGI를 프롬프트합니다”)를 구분하는 데 많은 부분을 차지합니다.

우리의 목표는 일관되게 해석 가능성의 돌파구를 제공하는 것입니다. 즉, AI가 완전히 이해되고, 우리는 논리 또는 미적분에 대한 우리의 이론만큼 강력한 지능 이론을 갖는 것입니다.

우리에겐 그것은 구축한다는 것을 의미합니다. 그것은 놀라운 AI 툴링을 생성하고 사람들의 손에 넣는 것을 의미합니다. 그것은 이전에 아무도 하지 않은 것을 의미합니다. 그리고 무엇보다도, 그것은 interessant하고 유용한 것입니다.

프란시스 베이컨의 말에 따르면, “지식은 권력입니다”. 따라서, AI를 이해하는 가장好的 방법은 강력한 도구를发布하는 것입니다. 우리의 의견에 따르면, 모델 라우터는那种 도구입니다. 우리는 그것을 구축하고, 성장시키고, 사람들의 손에 넣는 것을 기대합니다.

이것은 향후 몇 개월 동안 출시할 많은 도구 중 하나입니다. 인공 지능의 아름다운 이론을 발견하고, 완전히 새로운 유형의 AI 인프라를 가능하게 하며, 인간과 기계 모두를 위한 더 밝은 미래를 구축하는 데 도움이 되는 도구를 공유하기 위해 기다릴 수 없습니다.

잘한 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Martian을 방문할 수 있습니다.