Lin Qiao, CEO & Co-Founder của Fireworks AI – Loạt Phỏng Vấn

Lin Qiao, trước đây là người đứng đầu PyTorch của Meta và là Co-Founder và CEO của Fireworks AI. Fireworks AI là một nền tảng AI sản xuất được xây dựng cho các nhà phát triển, Fireworks hợp tác với các nhà nghiên cứu AI tạo sinh hàng đầu thế giới để cung cấp các mô hình tốt nhất, với tốc độ nhanh nhất. Fireworks AI gần đây đã huy động được $25M Series A.

Điều gì đã thu hút bạn đến với khoa học máy tính?

Bố của tôi là một kỹ sư cơ khí rất cao cấp tại một xưởng đóng tàu, nơi ông xây dựng các tàu chở hàng từ đầu. Từ khi còn nhỏ, tôi đã học cách đọc các góc và đo lường chính xác của các bản thiết kế tàu, và tôi yêu thích nó.

Tôi đã rất quan tâm đến STEM từ trường trung học cơ sở trở đi – mọi thứ về toán, vật lý và hóa học tôi đã học. Một trong những nhiệm vụ của tôi ở trường trung học là học lập trình BASIC, và tôi đã viết một trò chơi về một con rắn ăn đuôi của nó. Sau đó, tôi biết rằng khoa học máy tính sẽ là tương lai của tôi.

Khi còn tại Meta, bạn đã lãnh đạo hơn 300 kỹ sư hàng đầu về các nền tảng và khuôn khổ AI, nơi bạn đã xây dựng và triển khai Caffe2 và sau đó là PyTorch. Những kết luận chính nào bạn đã rút ra từ kinh nghiệm này?

Các công ty Big Tech như Meta luôn đi trước đường cong 5 năm hoặc hơn. Khi tôi gia nhập Meta vào năm 2015, chúng tôi đang ở giai đoạn đầu của hành trình AI – chuyển từ CPU sang GPU. Chúng tôi phải thiết kế cơ sở hạ tầng AI từ đầu. Các mô hình như Caffe2 là đột phá khi chúng được tạo ra, nhưng AI đã phát triển quá nhanh mà chúng nhanh chóng trở nên lỗi thời. Chúng tôi đã phát triển PyTorch và toàn bộ hệ thống xung quanh nó như một giải pháp.

PyTorch là nơi tôi đã học về những trở ngại lớn nhất mà các nhà phát triển phải đối mặt trong cuộc đua xây dựng AI. Thử thách đầu tiên là tìm kiếm kiến trúc mô hình ổn định và đáng tin cậy, có độ trễ thấp và linh hoạt để các mô hình có thể mở rộng. Thử thách thứ hai là tổng chi phí sở hữu, để các công ty không bị phá sản khi cố gắng phát triển mô hình của họ.

Thời gian của tôi tại Meta đã cho tôi thấy tầm quan trọng của việc giữ các mô hình và khuôn khổ như PyTorch mã nguồn mở. Nó khuyến khích sự đổi mới. Chúng tôi sẽ không phát triển nhiều như chúng tôi đã làm tại PyTorch nếu không có cơ hội mã nguồn mở để lặp lại. Ngoài ra, không thể cập nhật tất cả các nghiên cứu mới nhất mà không có sự hợp tác.

Bạn có thể thảo luận về những gì đã dẫn bạn đến việc ra mắt Fireworks AI?

Tôi đã làm việc trong ngành công nghệ hơn 20 năm, và tôi đã chứng kiến sóng sau sóng thay đổi cấp ngành – từ đám mây đến ứng dụng di động. Nhưng sự thay đổi AI này là một sự sắp xếp lại hoàn toàn. Tôi đã thấy nhiều công ty đang vật lộn với sự thay đổi này. Mọi người đều muốn di chuyển nhanh và đặt AI lên hàng đầu, nhưng họ thiếu cơ sở hạ tầng, tài nguyên và nhân tài để làm cho nó xảy ra. Càng nói chuyện với các công ty này, tôi càng nhận ra rằng tôi có thể giải quyết khoảng trống trên thị trường này.

Tôi đã ra mắt Fireworks AI để giải quyết vấn đề này và cũng là một phần mở rộng của công việc tuyệt vời mà chúng tôi đã đạt được tại PyTorch. Nó thậm chí còn truyền cảm hứng cho tên của chúng tôi! PyTorch là ngọn lửa cầm đèn – nhưng chúng tôi muốn ngọn lửa đó lan tỏa khắp mọi nơi. Vì vậy: Fireworks.

Tôi luôn đam mê việc dân chủ hóa công nghệ, và làm cho nó trở nên dễ tiếp cận và đơn giản cho các nhà phát triển để đổi mới, bất kể tài nguyên của họ. Đó là lý do tại sao chúng tôi có một giao diện người dùng rất thân thiện và các hệ thống hỗ trợ mạnh mẽ để giúp các nhà xây dựng đưa tầm nhìn của họ vào cuộc sống.

Bạn có thể thảo luận về AI tập trung vào nhà phát triển và tại sao điều này lại quan trọng?

Nó rất đơn giản: “tập trung vào nhà phát triển” có nghĩa là ưu tiên nhu cầu của các nhà phát triển AI. Ví dụ: tạo ra các công cụ, cộng đồng và quy trình giúp các nhà phát triển trở nên hiệu quả và tự chủ hơn.

Các nền tảng AI tập trung vào nhà phát triển như Fireworks nên tích hợp vào các quy trình làm việc và công nghệ hiện có. Chúng nên làm cho nó trở nên đơn giản cho các nhà phát triển để thử nghiệm, mắc lỗi và cải thiện công việc của họ. Chúng nên khuyến khích phản hồi, vì chính các nhà phát triển hiểu rõ nhất những gì họ cần để thành công. Cuối cùng, nó không chỉ là một nền tảng. Nó là một cộng đồng – nơi các nhà phát triển cộng tác có thể đẩy ranh giới của những gì có thể với AI.

Nền tảng GenAI mà bạn đã phát triển là một bước tiến đáng kể cho các nhà phát triển làm việc với các mô hình ngôn ngữ lớn (LLM). Bạn có thể giải thích về các tính năng và lợi ích độc đáo của nền tảng của bạn, đặc biệt là so với các giải pháp hiện có?

Cách tiếp cận của chúng tôi như một nền tảng AI sản xuất là độc đáo, nhưng một số tính năng tốt nhất của chúng tôi là:

Sự suy luận hiệu quả – Chúng tôi đã thiết kế Fireworks AI cho hiệu quả và tốc độ. Các nhà phát triển sử dụng nền tảng của chúng tôi có thể chạy các ứng dụng LLM của họ với độ trễ thấp nhất và chi phí thấp nhất. Chúng tôi đạt được điều này với các kỹ thuật tối ưu hóa mô hình và dịch vụ mới nhất, bao gồm cả việc lưu trữ lời nhắc, chia sẻ thích ứng, lượng tử hóa, phân lô liên tục, FireAttention và nhiều hơn nữa.

Hỗ trợ giá cả phải chăng cho các mô hình được điều chỉnh bởi LoRA – Chúng tôi cung cấp dịch vụ điều chỉnh mô hình với chi phí thấp thông qua đa thuê bao trên các mô hình cơ sở. Điều này có nghĩa là các nhà phát triển có thể thử nghiệm với nhiều trường hợp sử dụng hoặc biến thể khác nhau trên cùng một mô hình mà không phải lo lắng về chi phí.

Giao diện và API đơn giản – Các giao diện và API của chúng tôi rất trực quan và dễ dàng cho các nhà phát triển tích hợp vào ứng dụng của họ. Các API của chúng tôi cũng tương thích với OpenAI để dễ dàng di chuyển.

Mô hình sẵn sàng và mô hình được điều chỉnh – Chúng tôi cung cấp hơn 100 mô hình đã được đào tạo sẵn mà các nhà phát triển có thể sử dụng ngay lập tức. Chúng tôi bao gồm các mô hình LLM tốt nhất, mô hình tạo hình ảnh, mô hình nhúng, v.v. Nhưng các nhà phát triển cũng có thể chọn lưu trữ và cung cấp mô hình tùy chỉnh của riêng họ. Chúng tôi cũng cung cấp dịch vụ điều chỉnh tự phục vụ để giúp các nhà phát triển tùy chỉnh các mô hình tùy chỉnh này với dữ liệu độc quyền của họ.

Hợp tác cộng đồng: Chúng tôi tin vào tinh thần mã nguồn mở của sự hợp tác cộng đồng. Nền tảng của chúng tôi khuyến khích (nhưng không yêu cầu) các nhà phát triển chia sẻ mô hình đã được điều chỉnh của họ và đóng góp vào một ngân hàng ngày càng tăng của tài sản AI và kiến thức. Mọi người đều được lợi từ việc tăng cường chuyên môn tập thể của chúng tôi.

Bạn có thể thảo luận về cách tiếp cận kết hợp giữa song song mô hình và song song dữ liệu?

Song song hóa các mô hình học máy cải thiện hiệu quả và tốc độ của việc đào tạo mô hình và giúp các nhà phát triển xử lý các mô hình lớn hơn mà một GPU đơn独 không thể xử lý.

Song song mô hình liên quan đến việc chia một mô hình thành nhiều phần và đào tạo mỗi phần trên các bộ xử lý riêng biệt. Mặt khác, song song dữ liệu liên quan đến việc chia nhỏ dữ liệu thành các tập con và đào tạo một mô hình trên mỗi tập con cùng một lúc trên các bộ xử lý riêng biệt. Một cách tiếp cận kết hợp kết hợp cả hai phương pháp này. Các mô hình được chia thành các phần riêng biệt, mỗi phần được đào tạo trên các tập con dữ liệu khác nhau, cải thiện hiệu quả, khả năng mở rộng và linh hoạt.

Fireworks AI được hơn 20.000 nhà phát triển sử dụng và hiện đang phục vụ hơn 60 tỷ token mỗi ngày. Những thách thức nào bạn đã đối mặt khi mở rộng hoạt động của mình đến mức này, và bạn đã vượt qua chúng như thế nào?

Tôi sẽ trung thực, đã có nhiều ngọn núi cao để vượt qua kể từ khi chúng tôi thành lập Fireworks AI vào năm 2022.

Khách hàng của chúng tôi đầu tiên đến với chúng tôi để tìm kiếm hỗ trợ độ trễ thấp vì họ đang xây dựng các ứng dụng cho người tiêu dùng, người dùng chuyên nghiệp hoặc các nhà phát triển khác – tất cả đều là khán giả cần các giải pháp nhanh chóng. Sau đó, khi các ứng dụng của khách hàng của chúng tôi bắt đầu mở rộng nhanh, họ nhận ra rằng họ không thể đủ khả năng chi phí liên quan đến việc mở rộng quy mô đó. Họ sau đó yêu cầu chúng tôi giúp giảm tổng chi phí sở hữu (TCO), và chúng tôi đã làm được điều đó. Sau đó, khách hàng của chúng tôi muốn di chuyển từ OpenAI sang các mô hình mã nguồn mở, và họ yêu cầu chúng tôi cung cấp chất lượng tương đương hoặc thậm chí tốt hơn OpenAI. Chúng tôi cũng đã làm được điều đó.

Mỗi bước trong sự tiến hóa của sản phẩm của chúng tôi là một vấn đề đầy thách thức để giải quyết, nhưng nó có nghĩa là nhu cầu của khách hàng của chúng tôi thực sự đã định hình Fireworks thành những gì nó là ngày nay: một động cơ suy luận nhanh chóng với TCO thấp. Ngoài ra, chúng tôi cung cấp một loạt các mô hình chất lượng cao, sẵn sàng sử dụng, hoặc dịch vụ điều chỉnh cho các nhà phát triển để tạo ra mô hình tùy chỉnh của riêng họ.

Với sự tiến bộ nhanh chóng của AI và học máy, các xem xét về đạo đức ngày càng trở nên quan trọng. Fireworks AI giải quyết các vấn đề liên quan đến thiên vị, quyền riêng tư và sử dụng AI một cách đạo đức như thế nào?

Tôi có hai cô con gái tuổi teen thường sử dụng các ứng dụng genAI như ChatGPT. Là một người mẹ, tôi lo lắng về việc chúng tìm thấy nội dung sai lệch hoặc không phù hợp, vì ngành công nghiệp chỉ mới bắt đầu giải quyết vấn đề an toàn nội dung quan trọng. Meta đang làm rất nhiều việc với dự án Purple Llama, và các chế độ SD3 mới của Stability AI rất tuyệt. Cả hai công ty đều đang làm việc chăm chỉ để mang lại an toàn cho các mô hình Llama3 và SD3 mới của họ với nhiều lớp bộ lọc. Mô hình bảo vệ đầu vào-đầu ra, Llama Guard, cũng nhận được một lượng sử dụng đáng kể trên nền tảng của chúng tôi, nhưng việc áp dụng nó vẫn chưa tương đương với các LLM khác. Ngành công nghiệp nói chung vẫn còn một chặng đường dài để đưa an toàn nội dung và đạo đức AI vào vị trí trung tâm.

Chúng tôi tại Fireworks rất quan tâm đến quyền riêng tư và bảo mật. Chúng tôi tuân thủ HIPAA và SOC2, và cung cấp kết nối VPC và VPN an toàn. Các công ty tin tưởng Fireworks với dữ liệu và mô hình độc quyền của họ để xây dựng lợi thế kinh doanh của họ.

Visions của bạn cho sự tiến hóa của AI là gì?

Giống như AlphaGo đã chứng minh sự tự chủ khi học chơi cờ vua một mình, tôi nghĩ chúng ta sẽ thấy các ứng dụng genAI trở nên tự chủ hơn. Các ứng dụng sẽ tự động định tuyến và chỉ đạo yêu cầu đến đúng tác nhân hoặc API để xử lý, và tự điều chỉnh cho đến khi chúng nhận được đầu ra chính xác. Và thay vì một mô hình gọi hàm từ các mô hình khác như một bộ điều khiển, chúng ta sẽ thấy nhiều tác nhân tự tổ chức, tự điều phối làm việc cùng nhau để giải quyết vấn đề.

Fireworks’ sự suy luận nhanh chóng, các mô hình gọi hàm và dịch vụ điều chỉnh đã mở đường cho hiện thực này. Giờ đây, điều đó phụ thuộc vào các nhà phát triển sáng tạo để biến nó thành hiện thực.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Fireworks AI.