제이슨 나이트는 OctoAI의 공동 창립자이자 머신 러닝 부사장입니다 – 인터뷰 시리즈

제이슨 나이트는 OctoAI의 공동 창립자이자 머신 러닝 부사장입니다. OctoAI는 앱 빌더가 클라우드 또는 온프레미스에서 자신의 AI 애플리케이션을 실행, 튜닝, 확장할 수 있는 완전한 스택을 제공하는 플랫폼입니다.

OctoAI는 원래 Apache TVM의 창시자에 의해 워싱턴 대학교에서 설립되었습니다. Apache TVM은 머신 러닝 이식성과 성능을 위한 오픈 소스 스택입니다. TVM은 ML 모델이 任意 하드웨어 백엔드에서 효율적으로 실행될 수 있도록 해주며, 빠르게 인기 있는 소비자 기기인 Amazon Alexa의 아키텍처의 핵심 부분이 되었습니다.

OctoAI를 설립한 영감과 핵심적으로 해결하려고 한 문제에 대해 공유할 수 있습니까?

AI는 전통적으로 수학과 고성능 컴퓨팅에 익숙한 사람들에게만 접근할 수 있는 복잡한 분야였습니다. 그러나 AI는 텍스트, 음성, 이미지 등으로 프로그래밍된 컴퓨팅 인터페이스를解锁하며, 컴퓨팅의 전력을 모든 사람에게 제공합니다. AI 이전에는 프로그래머만이 컴퓨터를 원하는 대로 작동시키기 위해 고급 프로그래밍 언어 텍스트를 작성할 수 있었습니다.

OctoAI는 이 현실을 가속화하기 위해 만들어졌습니다. 그래서 더 많은 사람들이 AI를 사용하고 이점을 얻을 수 있습니다. 그리고 사람들은 AI를 사용하여 과학, 의학, 예술 등 더 많은 이점을 창조할 수 있습니다.

인텔에서 경험한 내용을 반영해 보면서, 이전 역할이 OctoAI의 공동 창립자 및 개발 리더로서의 역할을 준비하는 데 어떻게 도움이 되었습니까?

인텔과 이전의 AI 하드웨어 및 바이오 테크 스타트업은 AI가 حتی 가장 정교한 기술 회사들에게도 얼마나 어려운지, 그러나 그것을 사용하는 사람들에게 얼마나 가치 있는지 보여주었습니다. 그리고 AI를 사용하는 사람들과 그렇지 않은 사람들 사이의 격차는 주로 인프라, 컴퓨팅, 최선의 관행의 문제이지, 마법의 문제가 아니라는 것을 알게 되었습니다.

시장에서 현재 이용 가능한 다른 AI 배포 솔루션과 비교하여 OctoStack이 어떻게 다른가요?

OctoStack은 생성적 AI 모델을 어디서나 제공하기 위한 최초의 완전한 기술 스택입니다. 그것은高度 최적화된 추론, 모델 사용자 지정, 자산 관리를 제공하는 터키식 생산 플랫폼입니다.

OctoStack은 조직이 자신의 환경에서任意 모델을 실행하고 데이터, 모델, 하드웨어에 대한 완전한 제어를 제공함으로써 AI 자율성을 달성할 수 있습니다. 또한 GPT-4와 같은 다른 솔루션에 비해 최대 12배의 비용 절감과 성능을 제공합니다.

OctoStack을 사용하여 사설 환경에서 AI 모델을 배포하는 장점에 대해 설명할 수 있습니까?

현재 모델은 повсюду 있지만, 이러한 모델을 실행하고 자신의 데이터로 적용하여 비즈니스 가치를 창출하는 인프라를 조립하는 것이真正의 비즈니스 가치 창출의 시작입니다. 이러한 모델을 자신의 가장 민감한 데이터로 사용하고, 이를 통찰력으로 바꾸고, 더好的 프롬프트 엔지니어링, RAG 파이프라인, 그리고 세부 튜닝을 통해 생성적 AI에서 가장 많은 가치를 얻을 수 있습니다. 그러나 이것은 아직도 대부분의 회사들에게 어려운 일입니다. 따라서 터키식 솔루션인 OctoStack이 이러한 문제를 해결하고, 최고의 관행을 한 곳에 모아주는 데 도움이 될 수 있습니다.

OctoStack을 사용하여 사설 환경에서 AI 모델을 배포하면 보안과 데이터 및 모델에 대한 제어가 강화되는 장점이 있습니다. 고객은 자신의 VPC 또는 온프레미스에서 생성적 AI 애플리케이션을 실행할 수 있으며, 이는 데이터가 안전하고 선택한 환경에 남아 있음을 보장합니다. 또한 비즈니스들은任意 모델을 실행하고, 비용 절감과 성능 개선을 누릴 수 있습니다.

OctoStack을 다양한 하드웨어를 지원하도록 최적화하는 데 직면한 도전에 대해 설명할 수 있습니까? 이러한 도전은 어떻게 극복되었습니까?

OctoStack을 다양한 하드웨어를 지원하도록 최적화하는 것은 다양한 기기에서 호환성과 성능을 보장하는 것을 의미합니다. OctoAI는 이러한 도전을 극복하기 위해 자신의 深い AI 시스템 전문 지식을 활용하여, 지속적으로 업데이트되고 추가적인 하드웨어 유형, GenAI 사용 사례, 및 최고의 관행을 지원하는 플랫폼을 만들었습니다.

또한, 생성적 AI의 최신 기능을 내부 개발자에게 제공하여, AI 적용을 가속화할 수 있습니다.

Apache TVM을 활용한 OctoAI의 역사에 대해 설명할 수 있습니까? 이 프레임워크는 플랫폼의 기능에 어떻게 영향을 미쳤습니까?

우리는 Apache TVM을 만들어서 정교한 개발자가 효율적인 AI 라이브러리를 더 쉽게 작성할 수 있도록 했습니다. 우리는 이것을 इसलिए 했，因为 우리는 GPU와 가속기 하드웨어에서 최고의 성능을 얻는 것이 중요하다는 것을 알았습니다.

우리는 같은 마인드셋과 전문 지식을 전체 Gen AI 서빙 스택에 적용하여, 더广い 개발자에게 자동화를 제공했습니다.

OctoStack이 제공하는 주요 성능 개선 사항, 예를 들어 대규모 배포에서 10배의 성능 향상에 대해 설명할 수 있습니까?

OctoStack은 최대 12배의 비용 절감과 GPT-4와 같은 다른 모델에 비해 성능을 제공합니다. 또한 4배 더好的 GPU 활용率와 50%의 운영 비용 감소를 제공하여, 조직이 대규모 배포를 효율적으로 실행할 수 있습니다.

OctoStack을 사용하여 AI 배포를 크게 개선한 주요 사용 사례에 대해 설명할 수 있습니까?

주목할만한 사용 사례는 Apate.ai입니다. Apate.ai는 생성적 대화 AI를 사용하여 전화를 통해 사기를 막는 글로벌 서비스입니다. Apate.ai는 OctoStack을 사용하여 여러 지리적 지역에서 언어 모델을 효율적으로 실행하고, 유연성, 확장성, 보안을 제공받았습니다.

또한, 우리는 OpenPipe 고객을 위해 수백개의 세부 튜닝을 제공합니다. 만약 그들이 이러한 각 튜닝을 위한 전용 인스턴스를 생성한다면, 그들의 고객의 사용 사례는 그들이 성장하고 진화하고, 매개변수 효율적인 세부 튜닝을 지속적으로 재학습하여, 비용 효율적인 가격으로 최고의 출력 품질을 달성하는 데에 불가능할 것입니다.

이번 인터뷰 감사합니다. 더 많은 정보를 원하는 독자는 OctoAI를 방문하십시오.