Lin Qiao, Fireworks AI의 CEO & 공동 창립자 – 인터뷰 시리즈

Lin Qiao는 이전에 Meta의 PyTorch 책임자였으며 현재 Fireworks AI의 공동 창립자이자 CEO입니다. Fireworks AI는 개발자를 위한 생산 AI 플랫폼으로, 세계 최고의 생성 AI 연구자와 파트너십을 맺어 가장 좋은 모델을 가장 빠른 속도로 제공합니다. Fireworks AI는 최근 $25M 시리즈 A 자금을 조달했습니다.

컴퓨터 과학에 처음 관심을 가지게 된 것은 무엇인가?

私の 아버지 는 선박 공장에서 선박을 제작하는 고위급 기계 엔지니어였습니다.私は 어린 시절부터 선박의 청사진을 읽고 정확한 각도와 측정을 배우고 그것을 좋아했습니다.

私は 중학교부터 STEM에 관심이 많았습니다. 수학, 물리학, 화학 등 모든 과목을 열심히 공부했습니다. 고등학교 과제 중 하나는 BASIC 프로그래밍을 배우는 것이었고, 나는 뱀의 꼬리를 먹는 게임을 만들었습니다. 그 후私は 컴퓨터 과학이私の 미래의 길이라고 생각했습니다.

Meta에서 300명 이상의 세계 최고의 엔지니어를 이끌며 AI 프레임워크 및 플랫폼을 개발하고 Caffe2 및 PyTorch를 구축하고 배포했습니다. 이 경험에서 얻은 주요 교훈은 무엇인가?

대규모 기술 회사들은 항상 5년 이상 앞서갑니다. 2015年に Meta에 입사했을 때, 우리는 AI 여정을 시작하는 단계에 있었습니다. CPU에서 GPU로의 전환을 해야했습니다. 우리는 AI 인프라를 처음부터 설계해야했습니다. Caffe2와 같은 모델은 생성 당시 혁신적이였지만 AI가 너무 빠르게 발전하여 곧 구식이 되었습니다. 우리는 PyTorch와 그 주변의 전체 시스템을 해결책으로 개발했습니다.

PyTorch에서私は 개발자가 AI를 구축하는 데 직면하는 가장 큰 장벽을 배웠습니다. 첫 번째 도전은 안정적이고 신뢰할 수 있는 모델 아키텍처를 찾는 것입니다. 모델은 지연 시간이 낮고 유연하여 확장할 수 있어야합니다. 두 번째 도전은 총 소유 비용입니다. 회사가 모델을 확장하려고 할 때 파산하지 않도록해야합니다.

私の Meta에서의 시간은 PyTorch와 같은 모델과 프레임워크를 오픈소스로 유지하는 것이 얼마나 중요한지 보여주었습니다. 이는 혁신을 촉진합니다. 우리는 오픈소스 기회를 통해 반복적으로 개선하지 않았으면 PyTorch에서 그렇게 많이 성장하지 않았을 것입니다. 또한 최신 연구를 모두 따라가기 위해서는 협력이 불가능합니다.

Fireworks AI를 출시하게 된 계기는 무엇인가?

私は 기술 산업에서 20년 이상 일했습니다. 클라우드, 모바일 앱 등 산업 수준의 변화를 여러 번 보았습니다. 그러나 이 AI 변환은 완전한 기술적 재정렬입니다. 많은 회사들이 이 변화를 어려워하고 있었습니다. 모두가 빠르게 움직이고 AI를 최우선으로 하려고했지만 인프라, 자원, 인력을 구축할 수 없었습니다. 이러한 회사들과 더 많이 대화할수록私は 시장의 간격을 메울 수 있다고 생각했습니다.

私は Fireworks AI를 출시하여 이 문제를 해결하고 PyTorch에서 달성한 훌륭한 작업을 확장하기 위해しました. 그것은 даже 우리의 이름을 영감했습니다! PyTorch는 불을 잡고 있는 횃불이지만 우리는 그 불을 모든 곳에 퍼지게 하려고합니다. 따라서: Fireworks.

私は 항상 기술을 민주화하고 개발자가 자원을 고려하지 않고 혁신할 수 있도록 만들고 싶었습니다. 따라서 우리는 사용자 친화적인 인터페이스와 강력한 지원 시스템을 제공하여 빌더가 자신의 비전을 현실로 만들 수 있도록합니다.

개발자 중심 AI에 대해 논의할 수 있나요? 왜 이것이 så 중요합니까?

그것은 간단합니다. “개발자 중심”은 AI 개발자의 필요를 우선시하는 것을 의미합니다. 예를 들어, 개발자가 더 효율적이고 독립적으로 일할 수 있도록 도구, 커뮤니티, 프로세스를 생성하는 것입니다.

Fireworks와 같은 개발자 중심 AI 플랫폼은 기존 워크플로와 기술 스택에 통합되어야합니다. 개발자가 실험하고, 실수를하고, 자신의 작업을 개선할 수 있도록해야합니다. 또한 피드백을 장려해야합니다. 왜냐하면 개발자 자신이 성공하기 위해 무엇이 필요한지 이해하기 때문입니다. 마지막으로, 그것은 단순히 플랫폼에 관한 것이 아닙니다. 그것은 커뮤니티에 관한 것입니다. 협력하는 개발자가 AI의 가능성을 넓히는 것입니다.

개발자들이 대규모 언어 모델(LLM)과 함께 작업할 때 중요한 발전인 GenAI 플랫폼에 대해 설명할 수 있나요? 특히 기존 솔루션과 비교하여 플랫폼의 고유한 기능과 이점은 무엇인가?

우리의 전체 접근 방식은 AI 생산 플랫폼으로 고유합니다. 그러나 우리의 몇 가지 최선의 기능은:

효율적인 추론 – 우리는 Fireworks AI를 효율성과 속도에 대해 설계했습니다. 우리 플랫폼을 사용하는 개발자는 자신의 LLM 애플리케이션을 가능한 최저 지연 시간과 비용으로 실행할 수 있습니다. 우리는 최신 모델 및 서비스 최적화 기술을 통해 이를 달성합니다. 프롬프트 캐싱, 적응형 샤딩, 양자화, 연속 배치, FireAttention 등이 있습니다.

LoRA 튜닝 모델에 대한 비용 효율적인 지원 – 우리는 기본 모델에 대한 다중 테넌시를 통해 LoRA 미세 조정 모델을 제공합니다. 이는 개발자가 많은 다른 사용 사례 또는 동일한 모델의 변형을 실험할 수 있도록합니다.

간단한 인터페이스 및 API – 우리의 인터페이스와 API는 개발자가 자신의 애플리케이션에 통합하기 쉽습니다. 우리의 API는 또한 OpenAI와 호환됩니다.

すぐ에 사용할 수 있는 모델 및 미세 조정된 모델 – 우리는 개발자가 즉시 사용할 수 있는 100개 이상의 사전 훈련된 모델을 제공합니다. 우리는 최고의 LLM, 이미지 생성 모델, 임베딩 모델 등을 다룹니다. 그러나 개발자는 자신의 사용자 정의 모델을 호스팅하고 제공할 수도 있습니다. 우리는 또한 개발자가 자신의 고유한 데이터로 이러한 사용자 정의 모델을 미세 조정하는 것을 도와주는 셀프 서비스 미세 조정 서비스를 제공합니다.

커뮤니티 협력 – 우리는 오픈소스 정신의 커뮤니티 협력을 믿습니다. 우리의 플랫폼은 개발자가 자신의 미세 조정된 모델을 공유하고 AI 자산 및 지식의 성장하는 뱅크에 기여하도록鼓励하지만 요구하지는 않습니다. 모두가 우리의 집합적인 전문 지식을 성장시키는 것에서 혜택을 받습니다.

모델 병렬성과 데이터 병렬성 사이의 하이브리드 접근 방식에 대해 논의할 수 있나요?

기계 학습 모델을 병렬화하면 모델 훈련과 개발자가 더 큰 모델을 처리할 수 있도록하는 효율성과 속도를 개선할 수 있습니다.

모델 병렬성은 모델을 여러 부분으로 나누고 각 부분을 별도의 프로세서에서 훈련하는 것을涉합니다.另一方面, 데이터 병렬성은 데이터 세트를 하위 세트로 나누고 각 하위 세트를 별도의 프로세서에서 동시에 훈련하는 것을涉합니다. 하이브리드 접근 방식은 이러한 두 가지 방법을 결합합니다. 모델은 별도의 부분으로 나누어지며 각 부분은 별도의 프로세서에서 다른 데이터 하위 세트를 훈련합니다. 이는 효율성, 확장성, 유연성을 개선합니다.

Fireworks AI는 20,000명 이상의 개발자에게 사용되고 있으며 현재 하루에 60억 토큰을 제공하고 있습니다. 이러한 수준으로 운영을 확장하는 데 직면한 도전은 무엇이며, 어떻게 그것을 극복했나요?

정확하게 말하자면, 2022년에 Fireworks AI를 설립한 이후 많은 높은 산을 넘어야했습니다.

우리의 고객은 처음에 매우 낮은 지연 시간을 지원하기 위해 우리에게 왔습니다. 그들은 소비자, 프로슈머 또는 다른 개발자를 위한 애플리케이션을 구축하고 있었기 때문에 빠른 솔루션이 필요했습니다. 그런 다음 고객의 애플리케이션이 빠르게 확장하기 시작했을 때, 그들은 확장과 관련된 일반적인 비용을 부담할 수 없다는 것을 깨달았습니다. 그들은 우리에게 총 소유 비용(TCO)을 낮추는 것을 도와달라고 요청했습니다. 우리는 그렇게했습니다. 그런 다음 고객은 OpenAI에서 OSS 모델로 마이그레이션하려고했습니다. 그들은 우리에게 OpenAI와 동일하거나 더 나은 품질을 제공하도록 요청했습니다. 우리는 그렇게했습니다.

제품의 각 단계는 해결해야할 어려운 문제였지만, 그것은 우리의 고객의 필요가真正로 Fireworks를 오늘날의 것으로 형성했다는 것을 의미했습니다. 즉, 낮은 지연 시간의 추론 엔진과 낮은 TCO를 제공하는 것입니다. 또한 우리는 개발자가 선택할 수 있는 높은 품질의 즉시 사용 가능한 모델의 모음과 개발자가 자신의 모델을 만들 수 있는 미세 조정 서비스를 제공합니다.

AI와 기계 학습의 빠른 발전으로 인해 윤리적 고려가 더욱 중요해졌습니다. Fireworks AI는 편향, 개인 정보, AI의 윤리적 사용과 관련된 문제를 어떻게 해결합니까?

私は 두 명의 십대 딸을 두고 있습니다. 그들은 종종 ChatGPT와 같은 genAI 앱을 사용합니다. 어머니로서私は 그들이 잘못된 또는 부적절한 내용을 찾는 것을 걱정합니다. 산업은 콘텐츠 안전성의 중요한 문제를 해결하기 시작했습니다. Meta는 Purple Llama 프로젝트를 통해 많은 일을하고 있으며 Stability AI의 새로운 SD3 모드는 훌륭합니다. 두 회사는 콘텐츠 안전성을 AI에 도입하기 위해 열심히 노력하고 있습니다. 입력-출력 안전 모델인 Llama Guard는 우리의 플랫폼에서 많이 사용됩니다. 그러나 다른 LLM과 비교하여 아직 채택률이 낮습니다. 산업 전체는 콘텐츠 안전성과 AI 윤리를 앞으로 더 많이 도입해야합니다.

우리는 Fireworks에서 개인 정보와 보안을非常히 중요하게 생각합니다. 우리는 HIPAA 및 SOC2 규정에 준수하며 안전한 VPC 및 VPN 연결을 제공합니다. 회사는 자신의 비즈니스 모음을 구축하기 위해 자산과 모델을 Fireworks에 신뢰합니다.

AI의 발전 방향은 무엇이라고 생각합니까?

AlphaGo가 체스를 배우는 동안 독립성을 보여주었듯이,私は genAI 애플리케이션이 더 독립적이 될 것이라고 생각합니다. 애플리케이션은 자동으로 요청을 올바른 에이전트 또는 API로 라우팅하고 출력을 가져올 때까지 코스 수정할 것입니다. 하나의 함수 호출 모델이 다른 모델에서 폴링하는 컨트롤러가 아닌, 문제를 해결하기 위해 협력하는 자율적이고 자율적으로 조직된 에이전트를 더 많이 볼 것입니다.

Fireworks의 빠른 추론, 함수 호출 모델 및 미세 조정 서비스는 이러한 현실을 가능하게했습니다. 이제는 혁신적인 개발자가 그것을 실현하도록합니다.

좋은 인터뷰 감사합니다. 더 많은 정보를 원하는 독자는 Fireworks AI를 방문해야합니다.