Fireworks AI의 CEO 겸 공동 창립자 Lin Qiao - 인터뷰 시리즈

Lin Qiao는 이전에 Meta의 PyTorch 책임자였으며 Fireworks AI의 공동 창립자이자 CEO입니다. 불꽃놀이 AI 개발자를 위해 제작된 프로덕션 AI 플랫폼인 Fireworks는 세계 최고의 생성 AI 연구원과 협력하여 가장 빠른 속도로 최고의 모델을 제공합니다. Fireworks AI는 최근 25 만 달러 시리즈 A.

처음에 컴퓨터 과학에 끌린 이유는 무엇입니까?

나의 아버지는 조선소의 수석 기계 엔지니어였으며 그곳에서 처음부터 화물선을 만들었습니다. 나는 어렸을 때부터 배 청사진의 정확한 각도와 치수를 읽는 법을 배웠고 그것을 좋아했습니다.

저는 중학교 때부터 STEM에 빠져 있었습니다. 수학, 물리학, 화학을 모두 섭렵했습니다. 고등학교 시절 과제 중 하나는 BASIC 프로그래밍을 배우는 것이었고 뱀이 꼬리를 물어뜯는 게임을 코딩했습니다. 그 후 저는 컴퓨터 과학이 제 미래에 있다는 것을 알았습니다.

Meta에서 당신은 Caffe300와 이후 PyTorch를 구축하고 배포한 AI 프레임워크 및 플랫폼 분야에서 2명 이상의 세계적 수준의 엔지니어를 이끌었습니다. 이번 경험에서 얻은 주요 교훈은 무엇입니까?

Meta와 같은 거대 기술 기업은 항상 시대보다 2015년 이상 앞서 있습니다. 제가 2년에 Meta에 합류했을 때 우리는 CPU에서 GPU로 전환하는 AI 여정의 시작 단계에 있었습니다. 우리는 처음부터 AI 인프라를 설계해야 했습니다. CaffeXNUMX와 같은 모델은 처음 만들어졌을 때는 획기적이었지만 AI가 너무 빨리 진화하여 금방 구식이 되었습니다. 우리는 PyTorch와 그 주변의 전체 시스템을 솔루션으로 개발했습니다.

PyTorch는 개발자가 AI 구축 경쟁에서 직면하는 가장 큰 장애물에 대해 배운 곳입니다. 첫 번째 과제는 모델을 확장할 수 있도록 대기 시간이 짧고 유연하며 안정적이고 신뢰할 수 있는 모델 아키텍처를 찾는 것입니다. 두 번째 과제는 총 소유 비용이므로 기업이 모델을 성장시키려고 파산하지 않도록 해야 합니다.

Meta에서 근무하면서 PyTorch와 같은 모델과 프레임워크를 오픈 소스로 유지하는 것이 얼마나 중요한지 깨달았습니다. 혁신을 장려합니다. 반복을 위한 오픈 소스 기회가 없었다면 우리는 PyTorch만큼 성장하지 못했을 것입니다. 게다가 협력 없이는 모든 최신 연구에 대한 최신 정보를 얻는 것도 불가능합니다.

Fireworks AI를 출시하게 된 계기에 대해 이야기해 주실 수 있나요?

저는 20년 넘게 기술 업계에 종사하면서 클라우드에서 모바일 앱으로 업계 수준의 변화가 계속되는 것을 보았습니다. 그러나 이러한 AI 변화는 완전한 구조적 재편성입니다. 저는 이러한 변화에 어려움을 겪는 많은 회사를 보았습니다. 모두가 빠르게 움직이고 AI를 최우선으로 생각하고 싶었지만 이를 실현할 인프라, 리소스, 인재가 부족했습니다. 이 회사들과 더 많이 이야기할수록 시장에서의 이러한 격차를 해결할 수 있다는 것을 더 많이 깨달았습니다.

저는 이 문제를 해결하고 PyTorch에서 달성한 놀라운 작업을 확장하기 위해 Fireworks AI를 출시했습니다. 심지어 우리 이름에도 영감을 줬어요! PyTorch는 불을 담고 있는 횃불입니다. 그러나 우리는 그 불이 모든 곳으로 퍼지기를 원합니다. 따라서: 불꽃놀이.

저는 항상 기술을 민주화하고 개발자가 리소스에 관계없이 저렴하고 간단하게 혁신할 수 있도록 만드는 데 열정을 쏟았습니다. 그렇기 때문에 우리는 건축업자가 자신의 비전을 실현할 수 있도록 지원하는 사용자 친화적인 인터페이스와 강력한 지원 시스템을 보유하고 있습니다.

개발자 중심 AI가 무엇이고 이것이 왜 그렇게 중요한지에 대해 논의해 주실 수 있나요?

간단합니다. '개발자 중심'이란 AI 개발자의 요구 사항을 우선시한다는 의미입니다. 예를 들어 개발자를 더욱 효율적이고 자율적으로 만드는 도구, 커뮤니티 및 프로세스를 만드는 것입니다.

Fireworks와 같은 개발자 중심 AI 플랫폼은 기존 워크플로 및 기술 스택에 통합되어야 합니다. 개발자가 쉽게 실험하고, 실수하고, 작업을 개선할 수 있도록 해야 합니다. 피드백을 장려해야 합니다. 왜냐하면 개발자 자신이 성공하기 위해 필요한 것이 무엇인지 이해하고 있기 때문입니다. 마지막으로, 이는 단순한 플랫폼 그 이상입니다. 공동 작업 개발자가 AI로 가능한 것의 경계를 넓힐 수 있는 커뮤니티가 되는 것입니다.

귀하가 개발한 GenAI 플랫폼은 대규모 언어 모델(LLM)을 사용하는 개발자에게 중요한 발전입니다. 특히 기존 솔루션과 비교하여 플랫폼의 고유한 기능과 이점에 대해 자세히 설명할 수 있습니까?

AI 생산 플랫폼으로서의 우리의 전체 접근 방식은 독특하지만 우리의 최고의 기능 중 일부는 다음과 같습니다.

효율적인 추론 – Fireworks AI는 효율성과 속도를 고려하여 설계되었습니다. 우리 플랫폼을 사용하는 개발자는 가능한 가장 낮은 대기 시간과 비용으로 LLM 애플리케이션을 실행할 수 있습니다. 우리는 신속한 캐싱, 적응형 샤딩, 양자화, 연속 일괄 처리, FireAttention 등을 포함한 최신 모델 및 서비스 최적화 기술을 통해 이를 달성합니다.

LoRA 조정 모델에 대한 저렴한 지원 – 기본 모델의 멀티 테넌시를 통해 LoRA(저위 적응) 미세 조정 모델에 대한 저렴한 서비스를 제공합니다. 이는 개발자가 비용을 들이지 않고도 동일한 모델에서 다양한 사용 사례나 변형을 실험할 수 있음을 의미합니다.

간단한 인터페이스 및 API – 당사의 인터페이스와 API는 개발자가 자신의 애플리케이션에 간단하고 쉽게 통합할 수 있습니다. 우리의 API는 OpenAI와도 호환되므로 마이그레이션이 쉽습니다.

기성 모델 및 미세 조정 모델 – 우리는 개발자가 즉시 사용할 수 있는 100개 이상의 사전 훈련된 모델을 제공합니다. 우리는 최고의 LLM, 이미지 생성 모델, 임베딩 모델 등을 다룹니다. 그러나 개발자는 자신의 사용자 정의 모델을 호스팅하고 제공하도록 선택할 수도 있습니다. 또한 개발자가 독점 데이터를 사용하여 이러한 사용자 정의 모델을 맞춤화할 수 있도록 셀프 서비스 미세 조정 서비스도 제공합니다.

커뮤니티 협업: 우리는 커뮤니티 협업의 오픈 소스 정신을 믿습니다. 우리 플랫폼은 개발자가 미세 조정된 모델을 공유하고 AI 자산 및 지식 은행의 성장에 기여하도록 권장하지만 필수는 아닙니다. 모두가 집단적 전문성을 키우면 이익을 얻습니다.

모델 병렬성과 데이터 병렬성 사이에 제공되는 하이브리드 접근 방식에 대해 논의해 주실 수 있나요?

기계 학습 모델을 병렬화하면 모델 훈련의 효율성과 속도가 향상되고 개발자가 단일 GPU로 처리할 수 없는 대규모 모델을 처리하는 데 도움이 됩니다.

모델 병렬 처리에는 모델을 여러 부분으로 나누고 각 부분을 별도의 프로세서에서 교육하는 작업이 포함됩니다. 반면, 데이터 병렬성은 데이터 세트를 하위 집합으로 나누고 별도의 프로세서에서 동시에 각 하위 집합에 대한 모델을 훈련합니다. 하이브리드 접근 방식은 이 두 가지 방법을 결합합니다. 모델은 별도의 부분으로 나누어져 있으며 각 부분은 서로 다른 데이터 하위 집합에 대해 훈련되어 효율성, 확장성 및 유연성이 향상됩니다.

Fireworks AI는 20,000명 이상의 개발자가 사용하고 있으며 현재 매일 60억 개가 넘는 토큰을 제공하고 있습니다. 귀하의 운영을 이 수준으로 확장하는 데 어떤 어려움에 직면했으며 어떻게 이를 극복했습니까?

솔직히 말해서 2022년 Fireworks AI를 설립한 이후 넘어야 할 높은 산이 많았습니다.

우리 고객은 빠른 솔루션이 필요한 소비자, 프로슈머 또는 기타 개발자를 위한 애플리케이션을 구축하고 있기 때문에 대기 시간이 매우 짧은 지원을 찾기 위해 처음으로 우리에게 왔습니다. 그러다가 고객의 애플리케이션이 빠르게 확장되기 시작했을 때 고객은 해당 규모와 관련된 일반적인 비용을 감당할 수 없다는 것을 깨달았습니다. 그런 다음 그들은 총 소유 비용(TCO)을 낮추는 데 도움을 달라고 요청했고 우리는 그렇게 했습니다. 그런 다음 고객은 OpenAI에서 OSS 모델로 마이그레이션하기를 원했으며 OpenAI와 동등하거나 더 나은 품질을 제공하도록 요청했습니다. 우리도 그런 일을 해냈습니다.

제품 발전의 각 단계는 해결하기 어려운 문제였지만 이는 고객의 요구 사항이 Fireworks를 오늘날의 낮은 TCO와 번개처럼 빠른 추론 엔진으로 만들어 냈다는 것을 의미합니다. 또한 우리는 선택할 수 있는 다양한 고품질의 기본 모델을 제공하거나 개발자가 자신만의 모델을 만들 수 있도록 미세 조정 서비스를 제공합니다.

AI와 머신러닝의 급속한 발전으로 윤리적 고려가 그 어느 때보다 중요해졌습니다. Fireworks AI는 AI의 편견, 개인 정보 보호 및 윤리적 사용과 관련된 문제를 어떻게 해결합니까?

ChatGPT와 같은 genAI 앱을 자주 사용하는 두 명의 십대 딸이 있습니다. 엄마로서 저는 아이들이 오해의 소지가 있거나 부적절한 콘텐츠를 찾는 것이 걱정됩니다. 업계는 콘텐츠 안전이라는 중요한 문제를 이제 막 다루기 시작했기 때문입니다. Meta는 Purple Llama 프로젝트로 많은 일을 하고 있으며 Stability AI의 새로운 SD3 모드는 훌륭합니다. 두 회사 모두 여러 레이어의 필터를 사용하여 새로운 Llama3 및 SD3 모델에 안전을 제공하기 위해 열심히 노력하고 있습니다. 입력-출력 보호 모델인 Llama Guard는 우리 플랫폼에서 많이 사용되지만 채택률은 아직 다른 LLM과 동등하지 않습니다. 업계 전체가 콘텐츠 안전과 AI 윤리를 최우선 과제로 삼기 위해서는 아직 갈 길이 멀다.

Fireworks는 개인정보 보호와 보안에 깊은 관심을 갖고 있습니다. 우리는 HIPAA 및 SOC2를 준수하며 안전한 VPC 및 VPN 연결을 제공합니다. 기업은 Fireworks의 독점 데이터와 모델을 신뢰하여 비즈니스 해자를 구축합니다.

AI가 어떻게 진화할 것인지에 대한 당신의 비전은 무엇입니까?

AlphaGo가 체스를 스스로 배우면서 자율성을 보여준 것처럼, genAI 애플리케이션도 점점 더 자율적으로 변하는 것을 보게 될 것입니다. 앱은 자동으로 요청을 올바른 에이전트 또는 API로 라우팅하여 처리하고 올바른 출력을 검색할 때까지 과정을 수정합니다. 그리고 하나의 함수 호출 모델이 컨트롤러로서 다른 모델로부터 폴링하는 대신 문제를 해결하기 위해 함께 작동하는 자체 조직화, 자체 조정 에이전트가 더 많아지는 것을 보게 될 것입니다.

Fireworks의 매우 빠른 추론, 함수 호출 모델 및 미세 조정 서비스는 이러한 현실을 위한 길을 열었습니다. 이제 이를 실현하는 것은 혁신적인 개발자의 몫입니다.

훌륭한 인터뷰 감사합니다. 자세한 내용을 알고 싶은 독자는 방문하세요. 불꽃놀이 AI.