로브 메이, 뉴로메트릭의 CEO 및 공동 창립자 – 인터뷰 시리즈

로브 메이, 뉴로메트릭의 CEO 및 공동 창립자는 클라우드 컴퓨팅, AI 스타트업, 벤처 캐피탈에 걸친 오랜 경력을 가진 시즌드 엔트레프레너이자 투자자입니다. 그는 현재 뉴로메트릭 AI를 이끌면서 하프코트 벤처스의 매니징 디렉터로도 활동하며, 100개 이상의 기술 회사에 투자했습니다. 운영 및 투자 역할과 함께, 그는 AI 혁신자 커뮤니티를 공동 설립했으며, 백업파이와 같은 회사들을 설립하고 매각했습니다. 이는 여러 기술 사이클에 걸친 심오한 경험을 반영합니다. 그는 또한 10년 전부터 AI 트렌드, 투자 전략, 시장 변화를 분석하기 위해 시작한 Investing in AI 뉴스레터로 널리 알려져 있습니다. 이 뉴스레터는 이후 빠르게 진화하는 AI 랜드스케이프에 대한 더 깊은 통찰력을 제공하는 플랫폼으로 발전했습니다.

뉴로메트릭 AI는 현재 인공 지능에서 가장 중요한 도전 중 하나인 대규모 추론의 비용과 효율성을 해결하는 데 중점을 두고 있습니다. 이 플랫폼은 동적으로 AI 워크로드를 평가하고 최적화 전략을 적용하여 성능을 향상시키면서 비용을 크게 줄입니다. 이는 기업이 AI 배포에서 더好的 ROI를 달성할 수 있도록 합니다. 워크로드를 조직하고 모델 사용을 특정 작업에 맞추는 것을 통해, 뉴로메트릭은 AI 시스템을 훨씬 빠르고 더 저렴하게 만들고자 합니다. 이는 AI 인프라, 효율성, 실제 확장성의 교차점에서 자리 잡고 있습니다.

여러 AI 회사들을 설립하고 이끌었으며, 하프코트 벤처스를 통해 100개 이상의 스타트업에 투자했으며, 이전에 백업파이를 설립하고 매각했습니다. 이러한 경험은 현재 AI에서 지속 가능한 가치가 생성되는 곳에 대한您的 관점을 어떻게 형성했나요?

私は 대부분의 투자자와 기업가들이 단기적인 수익을 추구하는 것처럼 보입니다. 그러나 AI는 비즈니스 운영을 확률적 결정의 연속으로 변화시키고 있습니다. 투자하거나 구축해야 하는 회사들은 이러한 확률에 대한 최상의 추정을 가진 회사입니다. 때로는 수직적 통합에서, 때로는 수평적 규모에서 비롯됩니다.

투자자에게 보내는 AI 뉴스레터에서, 모델이 점점 더 교체 가능해지고 실제 방어 가능성이 시스템 레이어로 이동한다고 주장했습니다. 실제 “시스템 방어”는 어떻게 생겼나요?

진짜 시스템 방어는 세 가지 속성을 가지고 있습니다. 사용량에 따라 증가하고, 고객에게 특정하며, 모델을 교체하여 복제할 수 없습니다.

방어 가능성은 “컨텍스트 시스템”이라고 부르는 통합 아키텍처에 존재합니다. 이는 기초 모델을 회사에 고유한 모든 것과 연결합니다: 데이터, 워크플로우, 도메인 지식, 의사 결정 기록. 시스템은 모든 상호 작용에서 신호를 캡처하고 이를 자신을 개선하는 데 사용합니다.

중요한 통찰은 이것이 곱셈적인 플라이휠을 생성한다는 것입니다. 과거의 결정 로그를 축적하는 것이 아닙니다. 특수화된 모델을 생성하여 라우팅을 개선하고, 더 가치 있는 데이터를 캡처하는 훈련 신호를 생성합니다. 방어 가능성은 모든 추론과 함께 넓어집니다.

실제로, 시스템 방어는 워크플로우 통합의 깊은 수준에서 나타납니다. 여기서 전환 비용은 API에 관한 것이 아니라 비즈니스 논리에 관한 것입니다. 이는 경쟁자가 복제할 수 없는 고유한 컨텍스트를 생성하는 것입니다. 또한 시스템이 특정 기업 고객에게 의미 있게 개선되는 연속적인 전문화 루프를 생성합니다.

모델 시대는 원시적인 능력을 제공했습니다. 시스템 시대는 그 능력이 실제 가치가 되는 곳입니다.

기업은 단일 최첨단 모델에 의존하는 대신 다중 모델 전략, 라우팅 로직, 에스컬레이션 경로, 연속적인 평가를 어떻게 생각해야 합니까?

기업은 “최선의 모델을 사용한다”는 전략이 장기적으로 실패한다는 것을 내면화해야 합니다. 이는 모든 쿼리를 가장 선임 엔지니어에게 전달하는 것과 같습니다. 비용이 많이 들고, 느리고, 종종 최상의 결과를 생산하지 못합니다.

이것은 추론의 자그드 프론티어에 관한 것입니다. 모델 성능은 작업별이며 예측할 수 없습니다. 최첨단 모델은 특정 작업에서 작은 특수화된 모델에 패배합니다. 우리는 72.7%의 정확도를 가진 CRM 작업에서 컴포지트 다중 모델 시스템을 보았습니다. 여기서 최첨단 모델은 58%의 정확도를 달성했습니다. 성능 표면은 매개 변수 수와 정렬되지 않습니다. 따라서 실제 질문은 “어떤 모델이 가장 좋습니까?”가 아니라 “이 특정 하위 작업에 가장 적합한 모델은 무엇입니까?”입니다.

이 재구성은 실제 다중 모델 전략의 기초입니다. 여기서 기업들에게 그것에 대해 어떻게 생각해야 하는지 세 가지 계층으로 설명하겠습니다.

라우팅 로직은 추론 풍경을 매핑하는 것으로 시작합니다. 시스템에서 LLM 호출이 이루어지는 모든 지점을 카탈로그화하고, 각 작업 유형, 입력/출력 복잡성, 지연 요구 사항, 정확도 임계값, 호출 볼륨을 문서화합니다. 이것은 열지도를 제공합니다. 대부분의 볼륨이 고주파, 狭い 범위의 작업 – 분류, 엔티티 추출, 의도 라우팅, 템플릿 생성 – 에서 발생하는 것을 빠르게 발견할 것입니다. 여기서 미세 조정된 작은 모델이 최첨단 모델을 따라가거나凌駕하며, 비용의 한 조각에 불과합니다. 비싼 최첨단 호출은真正로 복잡한 추론을 요구하는 작업에 예약되어야 합니다. 50개의 호출을하는 에이전트는 모든 50개에 대해 GPT-4를 필요로하지 않습니다.

에스컬레이션 경로는 지능형 폴백을 구축하는 것입니다. 시스템은 낮은 신뢰도 결과를 반환하는 작은 모델을 인식하고 더 능력있는 모델로 에스컬레이션하거나 다른 모델-전략 조합으로 전환해야 합니다. 여기서 테스트 시간 컴퓨팅 전략이 등장합니다. 때로는 더好的 모델이 아니라, 체인-오브-사고, 빔 검색, 또는 베스트-오브-N 샘플링과 같은 동일한 모델을 사용하는 것입니다. 최적의 구성은 모델뿐만 아니라 모델과 페어링되는思考 알고리즘에 따라 달라집니다.

연속적인 평가는 대부분의 기업이 완전히 놓치는 부분입니다. 여기서真正로 방어 가능성이 나타납니다. 모델 선택은一度적인 결정이 아닙니다. 연속적인 최적화 문제입니다. 새로운 모델이不断하게 출시되고, 사용 사례가 진화하며, 성능은 조용히 저하됩니다. 특정 쿼리 유형에 대해 고객 서비스 봇이 40% 더 나쁜 답변을 제공했다는 것을 알 수 없습니다. 단지 3개월 후에 고객 이탈을 볼 뿐입니다. 실제 성능 데이터에 따라 라우팅을 조정하는 인프라가 필요합니다.

대부분의 회사들이 이 전환을 하지 못하는 이유는 다중 모델 아키텍처를 실행하는 데 필요한 오케스트레이션 인프라가 대부분의 회사에서 존재하지 않기 때문입니다. 그들은 로컬 최적에서 갇혀 있습니다. 여기서 다중 모델의 전환 비용과 불확실성이 지속적인 최첨단 추론의 초과 지출보다 더 높은 것으로 느껴집니다.

AI 파일럿에서 생산급 시스템으로 이동할 때 기업이 가장 큰 실수를 무엇이라고 생각합니까?

그들은 자신의 선택이 정적이고 오래 지속할 수 있다고 가정합니다. 실제로, AI 기술 스택의 모든 계층은 빠르게 변화하고 있습니다. 기업은 유연성과 옵션을 제공하는 결정을 내릴 필요가 있습니다.

작은, 작업별 모델이 대형 최첨단 모델을 능가하는 워크플로우 유형은 무엇입니까? 그리고 왜 그것이 전략적으로 중요합니까?

우리는 거의 모든 일반적인 일상 작업에서 그것을 보았습니다 – 기본적인 회계, 텍스트 요약, 다양한 문서에서 엔티티 추출 등. 우리는 수백 개의 작업에 대해 작은 모델을 탐색했으며, 구조화된 문제의 경우 거의 항상 승리합니다.

AI를 새로운 사용 사례에 배포하는 마진 비용의 하락에 대해 어떻게 생각합니까? 그리고 그것은 기업의 AI 채택의 장기적인 경제학을 어떻게 변화시킵니까?

버블 내러티브는 AI 수익이 새로운 모델에 대한 비례하는 R&D 투자를 필요로 한다고 가정합니다. 그러나 실제로 모델은 이미 구축되었습니다. 인프라는 존재합니다. 추가 사용 사례는 프롬프트, 데이터 연결, 가벼운 미세 조정 – 아니면 또 다른 1억 달러의 훈련 런이 아닙니다. 마진 비용 곡선은 플랫폼이 성숙함에 따라 아래로 굽습니다.

이것은 철도 또는 전신과 반대입니다. 여기서 새로운 트랙이나 전신 매일이 비용이 많이 듭니다. AI에서는 엔진을 구축하는 것이 비용이 많이 듭니다. 엔진에 연결하는 것은廉价하며, 더廉價해지고 있습니다 – 추론 비용은 2년 만에 약 1,000배 감소했습니다. 기업의 질문은 AI가 수익성을 창출하는지에 관한 것이 아닙니다. 그것은 동일한 인프라에 얼마나 많은 사용 사례를 쌓을 수 있는지에 관한 것입니다.

모델을 전환, 미세 조정, 또는 작은 작업 모델을 구축할 때 기술 팀이 사용해야 하는 신호는 무엇입니까?

신호는 기술적인 것이 아닙니다. 그것은 성능 또는 경제적으로 주도됩니다. 예를 들어, 모델을 전환하거나 미세 조정하거나 사용자 정의 SLM을 구축하는 모든 것이 작동할 수 있습니다. 결정은 지연 또는 비용을 최적화하는지, 작업이 얼마나 자주 실행되는지, 각 솔루션을 구축하고 배포하는 데 얼마나 오래 걸리는지에 따라 달라집니다.

사용량과 함께 확장하는 가드레일, 모니터링, 거버넌스를 어떻게 설계합니까?

대부분의 기업이犯하는 실수는 거버넌스를 체크포인트로 취급하는 것입니다. 즉, AI 워크플로우 위에 수동 검토 계층이 부착됩니다. 이것은 확장할 수 없습니다. 사용량이 증가하는 순간 병목 현상이 됩니다.

거버넌스는 오케스트레이션 레이어 자체에 내장되어야 합니다. 추론 호출을 평가하는 라우팅 인프라가 이미 있는 경우, 가드레일을 추가하는 것은 주변 비용이 아니라 새로운 시스템입니다. 쿼리를 처리하는 모델을 결정하는 동일한 레이어가 정책을 적용할 수 있습니다. 호출 전 PII 필터링, 호출 후 출력 검증, 자동으로 캡처된 감사 트레일, 비용 할당 등입니다.

중요한 통찰은 기업이 AI 시스템 내에서 실패하지 않는다는 것입니다. 그들은 시스템 사이에서 실패합니다 – 핸드오프, 에스컬레이션, 예외에서. 확장 가능한 거버넌스는 안전한, 감사 가능하며, 실행의副産物으로 반복 가능한 모든 AI 동작을 만드는 제어 평면으로 보입니다.

현재의 AI 풍경을 메인프레임에서 PC로의 전환과 비교합니다. 이것은 시스템 레이어에서 구축하는 스타트업에 어떤 의미가 있습니까?

우리는 현재 AI의 메인프레임 단계에 있습니다. 오픈AI, 앤트로픽, 구글의 대형 중앙 집중식 최첨단 모델은 노력을 집중시키고 AI가 할 수 있는 것을 보여주는 데 필요했습니다. 그 단계는 작동했습니다. 능력은 잘 이해됩니다. 그러나 컴퓨팅이 중앙 집중식으로 남아 있지 않은 것처럼, AI도 중앙 집중식으로 남아 있지 않을 것입니다. 우리는 PC 시대 – 분산된 생태계로 들어가고 있습니다. 여기서 작은, 특수화된 모델이 작업에 더 가깝게 실행됩니다.

지출 데이터는 이미 이를 반영합니다. 기업의 AI 투자는 거의 절반씩 인프라와 애플리케이션 사이에 분할되며, 애플리케이션의 비중은 더 빠르게 증가하고 있습니다. 확장은 수평적으로 – 인사, 법률, 마케팅, 운영, 재무 – 아니라 垂直적으로 더 큰 모델로 진행됩니다.

시스템 레이어에서 구축하는 스타트업에게 이것은 한 세대의 기회입니다. 중앙 집중식 세계에서 모델 제공업체가 대부분의 가치를 캡처합니다. 분산된 세계에서 가치는 오케스트레이션, 라우팅, 평가, 전문화를 해결하는 회사로 이동합니다 – 대규모 이질적인 모델 생태계를 배포하는 운영적인 도전입니다.

내 예측은 약 25%의 AI 추론이 최첨단 모델을 필요로 할 것입니다. 그 회사들은 괜찮을 것입니다. 그것은 수조 달러의 시장입니다. 그러나 75%는 오픈 소스와 작은 특수 작업 모델에서 실행될 것입니다. 우리는 4억 매개 변수 모델을 훈련시켜 특정 CRM 작업에서 최첨단 모델을凌駕하는 것을 보았습니다. 그것은 거의 무료로 실행됩니다. 그것이 미래입니다 – 그리고 그것은 완전히 새로운 시스템 레이어를 관리하기 위해 필요합니다.

아나로지는 끝까지 유지됩니다. 메인프레임 벤더들은 괜찮았지만, 실제 부는 PC 생태계에서 창출되었습니다. 동일한 것이 AI에서 일어나게 될 것입니다.

5년 후, 최첨단 모델 제공업체가 대부분의 가치를 캡처할 것이라고 생각합니까, 아니면 오케스트레이션, 최적화, 적용된 시스템이 대부분의 경제적 영향을 미칠 것이라고 생각합니까?

私は AI 추론 시장은 세계 역사상 가장 큰 시장 중 하나가 될 것이라고 생각합니다. 그것은 최첨단 모델 연구소가 매우 잘할 것이라는 것을 의미합니다. 그러나 여전히 그들 주변에서 구축하는 회사들에게 엄청난 기회가 있을 것입니다. 수조 달러의 시장에서는 그 시장의 작은 에지 케이스를 해결하는 것이 10억 달러의 회사로 변할 수 있습니다.

감사합니다. 더 많은 것을 배우고 싶은 독자는 뉴로메트릭 AI를 방문하거나 Investing in AI 뉴스레터를 구독할 수 있습니다.