Lin Qiao, CEO & Co-Founder của Fireworks AI – Loạt Phỏng Vấn

Lin Qiao, trước đây là người đứng đầu PyTorch của Meta và là Co-Founder và CEO của Fireworks AI. Fireworks AI là một nền tảng AI sản xuất được xây dựng cho các nhà phát triển, Fireworks hợp tác với các nhà nghiên cứu AI tạo ra hàng đầu trên thế giới để cung cấp các mô hình tốt nhất, với tốc độ nhanh nhất. Fireworks AI gần đây đã huy động được $25M Series A.

Điều gì ban đầu thu hút bạn đến với khoa học máy tính?

Bố của tôi là một kỹ sư cơ khí rất cao cấp tại một xưởng đóng tàu, nơi ông xây dựng các con tàu chở hàng từ đầu. Từ khi còn nhỏ, tôi đã học cách đọc các góc và đo lường chính xác của bản thiết kế tàu, và tôi yêu thích nó.

Tôi rất quan tâm đến STEM từ trường trung học trở đi – mọi thứ về toán, vật lý và hóa học tôi đều học. Một trong những nhiệm vụ của tôi ở trường trung học là học lập trình BASIC, và tôi đã viết một trò chơi về một con rắn ăn đuôi của nó. Sau đó, tôi biết rằng khoa học máy tính sẽ là tương lai của tôi.

Khi còn tại Meta, bạn đã dẫn dắt hơn 300 kỹ sư hàng đầu về khuôn khổ và nền tảng AI, nơi bạn xây dựng và triển khai Caffe2, và sau đó là PyTorch. Những kinh nghiệm chính nào bạn đã rút ra từ trải nghiệm này?

Các công ty Big Tech như Meta luôn đi trước đường cong 5 năm hoặc hơn. Khi tôi gia nhập Meta vào năm 2015, chúng tôi đang ở giai đoạn đầu của hành trình AI – chuyển từ CPU sang GPU. Chúng tôi phải thiết kế cơ sở hạ tầng AI từ đầu. Các mô hình như Caffe2 là đột phá khi chúng được tạo ra, nhưng AI đã phát triển quá nhanh mà chúng nhanh chóng trở nên lỗi thời. Chúng tôi đã phát triển PyTorch và toàn bộ hệ thống xung quanh nó như một giải pháp.

PyTorch là nơi tôi học về những chướng ngại vật lớn nhất mà các nhà phát triển phải đối mặt trong cuộc đua xây dựng AI. Thử thách đầu tiên là tìm kiếm kiến trúc mô hình ổn định và đáng tin cậy, có độ trễ thấp và linh hoạt để các mô hình có thể mở rộng. Thử thách thứ hai là tổng chi phí sở hữu, để các công ty không bị phá sản khi cố gắng mở rộng mô hình của họ.

Thời gian của tôi tại Meta đã chỉ ra cho tôi tầm quan trọng của việc giữ các mô hình và khuôn khổ như PyTorch mã nguồn mở. Nó khuyến khích sự đổi mới. Chúng tôi sẽ không thể phát triển nhiều như chúng tôi đã làm tại PyTorch nếu không có cơ hội mã nguồn mở để lặp lại. Ngoài ra, không thể cập nhật tất cả các nghiên cứu mới nhất mà không có sự hợp tác.

Bạn có thể thảo luận về những gì đã dẫn bạn đến việc ra mắt Fireworks AI?

Tôi đã làm việc trong ngành công nghệ hơn 20 năm, và tôi đã chứng kiến sóng này qua sóng khác của các thay đổi cấp ngành – từ đám mây đến ứng dụng di động. Nhưng sự thay đổi này của AI là một sự thay đổi hoàn toàn. Tôi đã thấy nhiều công ty đang vật lộn với sự thay đổi này. Mọi người đều muốn di chuyển nhanh và đặt AI lên hàng đầu, nhưng họ thiếu cơ sở hạ tầng, tài nguyên và nhân tài để làm cho nó xảy ra. Càng nói chuyện với các công ty, tôi càng nhận ra rằng tôi có thể giải quyết khoảng trống này trên thị trường.

Tôi đã ra mắt Fireworks AI để giải quyết vấn đề này và cũng là một phần mở rộng của công việc tuyệt vời mà chúng tôi đã đạt được tại PyTorch. Nó thậm chí còn truyền cảm hứng cho tên của chúng tôi! PyTorch là ngọn đuốc nắm giữ lửa – nhưng chúng tôi muốn lửa đó lan tỏa khắp mọi nơi. Vì vậy: Fireworks.

Tôi luôn đam mê việc dân chủ hóa công nghệ, và làm cho nó trở nên dễ tiếp cận và đơn giản cho các nhà phát triển để đổi mới, bất kể tài nguyên của họ. Đó là lý do tại sao chúng tôi có một giao diện người dùng rất thân thiện và các hệ thống hỗ trợ mạnh mẽ để trao quyền cho các nhà xây dựng đưa tầm nhìn của họ vào cuộc sống.

Bạn có thể thảo luận về AI tập trung vào nhà phát triển và tại sao điều này lại quan trọng?

Điều đó đơn giản: “tập trung vào nhà phát triển” có nghĩa là ưu tiên nhu cầu của các nhà phát triển AI. Ví dụ: tạo ra các công cụ, cộng đồng và quy trình làm cho các nhà phát triển trở nên hiệu quả và tự chủ hơn.

Các nền tảng AI tập trung vào nhà phát triển như Fireworks nên tích hợp vào các luồng công việc và ngăn xếp công nghệ hiện có. Chúng nên làm cho nó trở nên đơn giản cho các nhà phát triển để thử nghiệm, mắc lỗi và cải thiện công việc của họ. Chúng nên khuyến khích phản hồi, vì chính các nhà phát triển là những người hiểu rõ nhất về những gì họ cần để thành công. Cuối cùng, nó không chỉ là về một nền tảng. Nó là về một cộng đồng – nơi các nhà phát triển hợp tác có thể đẩy ranh giới của những gì có thể với AI.

Nền tảng GenAI bạn đã phát triển là một bước tiến đáng kể cho các nhà phát triển làm việc với các mô hình ngôn ngữ lớn (LLM). Bạn có thể giải thích về các tính năng và lợi ích độc đáo của nền tảng của bạn, đặc biệt là so với các giải pháp hiện có?

Cách tiếp cận của chúng tôi như một nền tảng AI sản xuất là độc đáo, nhưng một số tính năng tốt nhất của chúng tôi là:

Sự suy luận hiệu quả – Chúng tôi đã thiết kế Fireworks AI để hiệu quả và tốc độ. Các nhà phát triển sử dụng nền tảng của chúng tôi có thể chạy các ứng dụng LLM của họ với độ trễ thấp nhất có thể và chi phí thấp nhất. Chúng tôi đạt được điều này với các kỹ thuật tối ưu hóa mô hình và dịch vụ mới nhất, bao gồm cả bộ nhớ đệm lời nhắc, phân mảnh thích ứng, lượng tử hóa, phân lô liên tục, FireAttention và nhiều hơn nữa.

Hỗ trợ giá cả phải chăng cho các mô hình LoRA-tuned – Chúng tôi cung cấp dịch vụ hỗ trợ giá cả phải chăng cho các mô hình LoRA-tuned thông qua đa thuê bao trên các mô hình cơ sở. Điều này có nghĩa là các nhà phát triển có thể thử nghiệm với nhiều trường hợp sử dụng hoặc biến thể khác nhau trên cùng một mô hình mà không phải lo lắng về chi phí.

Giao diện và API đơn giản – Các giao diện và API của chúng tôi đều trực quan và dễ dàng cho các nhà phát triển tích hợp vào ứng dụng của họ. Các API của chúng tôi cũng tương thích với OpenAI để dễ dàng di chuyển.

Mô hình sẵn sàng và mô hình tinh chỉnh – Chúng tôi cung cấp hơn 100 mô hình đã được đào tạo trước mà các nhà phát triển có thể sử dụng ngay lập tức. Chúng tôi bao gồm các LLM tốt nhất, mô hình tạo hình ảnh, mô hình nhúng, v.v. Nhưng các nhà phát triển cũng có thể chọn lưu trữ và cung cấp mô hình tùy chỉnh của riêng họ. Chúng tôi cũng cung cấp dịch vụ tinh chỉnh tự phục vụ để giúp các nhà phát triển tùy chỉnh các mô hình tùy chỉnh này với dữ liệu độc quyền của họ.

Hợp tác cộng đồng: Chúng tôi tin vào tinh thần mã nguồn mở của sự hợp tác cộng đồng. Nền tảng của chúng tôi khuyến khích (nhưng không yêu cầu) các nhà phát triển chia sẻ mô hình tinh chỉnh của họ và đóng góp vào một ngân hàng ngày càng tăng của tài sản và kiến thức AI. Mọi người đều được hưởng lợi từ việc tăng trưởng chuyên môn tập thể của chúng tôi.

Bạn có thể thảo luận về cách tiếp cận hybrid được cung cấp giữa song song mô hình và song song dữ liệu?

Song song hóa các mô hình máy học cải thiện hiệu quả và tốc độ của quá trình đào tạo mô hình và giúp các nhà phát triển xử lý các mô hình lớn hơn mà một GPU đơn独 không thể xử lý.

Song song mô hình liên quan đến việc chia một mô hình thành nhiều phần và đào tạo từng phần trên các bộ xử lý riêng biệt. Mặt khác, song song dữ liệu chia tập dữ liệu thành các tập con và đào tạo một mô hình trên từng tập con cùng một lúc trên các bộ xử lý riêng biệt. Một cách tiếp cận hybrid kết hợp cả hai phương pháp này. Các mô hình được chia thành các phần riêng biệt, mỗi phần được đào tạo trên các tập con dữ liệu khác nhau, cải thiện hiệu quả, khả năng mở rộng và linh hoạt.

Fireworks AI được sử dụng bởi hơn 20.000 nhà phát triển và hiện đang phục vụ hơn 60 tỷ token mỗi ngày. Những thách thức nào bạn đã đối mặt trong việc mở rộng hoạt động của mình lên mức này, và bạn đã vượt qua chúng như thế nào?

Tôi sẽ thành thật, đã có nhiều ngọn núi cao để vượt qua kể từ khi chúng tôi thành lập Fireworks AI vào năm 2022.

Khách hàng của chúng tôi ban đầu đến với chúng tôi để tìm kiếm hỗ trợ độ trễ thấp vì họ đang xây dựng các ứng dụng cho người tiêu dùng, người dùng chuyên nghiệp hoặc các nhà phát triển khác – tất cả đều là khán giả cần các giải pháp nhanh chóng. Sau đó, khi các ứng dụng của khách hàng của chúng tôi bắt đầu mở rộng nhanh, họ nhận ra rằng họ không thể đủ khả năng chi phí liên quan đến việc mở rộng quy mô đó. Họ sau đó yêu cầu chúng tôi giúp giảm tổng chi phí sở hữu (TCO), điều mà chúng tôi đã thực hiện. Sau đó, khách hàng của chúng tôi muốn di chuyển từ OpenAI sang các mô hình OSS, và họ yêu cầu chúng tôi cung cấp chất lượng tương đương hoặc thậm chí tốt hơn OpenAI. Chúng tôi đã thực hiện điều đó.

Mỗi bước trong sự tiến hóa của sản phẩm của chúng tôi là một vấn đề khó khăn để giải quyết, nhưng nó có nghĩa là nhu cầu của khách hàng của chúng tôi thực sự đã định hình Fireworks thành những gì nó là ngày nay: một động cơ suy luận nhanh như chớp với chi phí thấp. Ngoài ra, chúng tôi cung cấp cả một loạt các mô hình chất lượng cao, sẵn sàng sử dụng để lựa chọn, hoặc dịch vụ tinh chỉnh cho các nhà phát triển tạo ra mô hình của riêng họ.

Với sự phát triển nhanh chóng của AI và học máy, các vấn đề đạo đức trở nên quan trọng hơn bao giờ hết. Fireworks AI giải quyết các vấn đề liên quan đến thiên vị, quyền riêng tư và sử dụng AI một cách đạo đức như thế nào?

Tôi có hai cô con gái tuổi teen sử dụng các ứng dụng genAI như ChatGPT thường xuyên. Là một người mẹ, tôi lo lắng về việc họ tìm thấy nội dung sai lệch hoặc không phù hợp, vì ngành công nghiệp này mới chỉ bắt đầu giải quyết vấn đề an toàn nội dung quan trọng. Meta đang làm rất nhiều việc với dự án Purple Llama, và các chế độ SD3 mới của Stability AI rất tuyệt. Cả hai công ty đều đang làm việc chăm chỉ để mang lại an toàn cho các mô hình Llama3 và SD3 mới của họ với nhiều lớp lọc. Mô hình bảo vệ đầu vào-đầu ra, Llama Guard, nhận được một lượng sử dụng đáng kể trên nền tảng của chúng tôi, nhưng việc áp dụng nó vẫn chưa tương đương với các LLM khác. Ngành công nghiệp vẫn còn một chặng đường dài để đưa an toàn nội dung và đạo đức AI vào tuyến đầu.

Chúng tôi tại Fireworks rất quan tâm đến quyền riêng tư và bảo mật. Chúng tôi tuân thủ HIPAA và SOC2, và cung cấp kết nối VPC và VPN an toàn. Các công ty tin tưởng Fireworks với dữ liệu và mô hình độc quyền của họ để xây dựng rào cản kinh doanh của họ.

Visions của bạn cho sự phát triển của AI là gì?

Giống như AlphaGo đã chứng minh sự tự chủ khi học chơi cờ vua một mình, tôi nghĩ chúng ta sẽ thấy các ứng dụng genAI trở nên tự chủ hơn. Các ứng dụng sẽ tự động định tuyến và chỉ đạo các yêu cầu đến đúng tác nhân hoặc API để xử lý, và tự điều chỉnh cho đến khi chúng nhận được đầu ra chính xác. Và thay vì một mô hình gọi hàm từ các mô hình khác như một bộ điều khiển, chúng ta sẽ thấy nhiều tác nhân tự tổ chức, tự điều phối làm việc cùng nhau để giải quyết vấn đề.

Sự suy luận nhanh như chớp của Fireworks, các mô hình gọi hàm và dịch vụ tinh chỉnh đã mở đường cho thực tế này. Bây giờ, điều đó phụ thuộc vào các nhà phát triển sáng tạo để làm cho nó trở thành hiện thực.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Fireworks AI.