sơ khai Lin Qiao, CEO & Đồng sáng lập Fireworks AI - Chuỗi bài phỏng vấn - Unite.AI
Kết nối với chúng tôi
   Phỏng vấn  
Lin Qiao, CEO & Đồng sáng lập của Fireworks AI – Chuỗi phỏng vấn
 mm
Được phát hành
 2 tuần trước
 on
   
 
Lin Qiao, trước đây là người đứng đầu PyTorch của Meta và là Đồng sáng lập và Giám đốc điều hành của Fireworks AI. Pháo hoa AI là nền tảng AI sản xuất được xây dựng dành cho các nhà phát triển, Fireworks hợp tác với các nhà nghiên cứu AI hàng đầu thế giới để phục vụ những mô hình tốt nhất, với tốc độ nhanh nhất. Pháo hoa AI gần đây đã đưa ra một $ 25 triệu Dòng A.
Bố tôi là một kỹ sư cơ khí cấp cao tại một xưởng đóng tàu, nơi ông đã đóng tàu chở hàng từ đầu. Từ khi còn nhỏ, tôi đã học cách đọc các góc và số đo chính xác của bản thiết kế tàu và tôi rất thích nó.
Tôi rất yêu thích STEM từ khi học cấp hai trở đi– mọi thứ về toán, vật lý và hóa học mà tôi đều say mê. Một trong những bài tập ở trường trung học của tôi là học lập trình BASIC và tôi đã viết mã một trò chơi về một con rắn đang ăn đuôi của nó. Sau đó, tôi biết tương lai của mình là khoa học máy tính.
Các công ty Big Tech như Meta luôn đi trước xu hướng từ 2015 năm trở lên. Khi tôi gia nhập Meta vào năm 2, chúng tôi đang ở giai đoạn đầu của hành trình AI – chuyển đổi từ CPU sang GPU. Chúng tôi phải thiết kế cơ sở hạ tầng AI từ đầu. Các mô hình như CaffeXNUMX đã mang tính đột phá khi chúng được tạo ra, nhưng AI phát triển quá nhanh nên chúng nhanh chóng trở nên lỗi thời. Chúng tôi đã phát triển PyTorch và toàn bộ hệ thống xung quanh nó như một giải pháp.
PyTorch là nơi tôi tìm hiểu về những trở ngại lớn nhất mà các nhà phát triển phải đối mặt trong cuộc đua xây dựng AI. Thử thách đầu tiên là tìm ra kiến ​​trúc mô hình ổn định và đáng tin cậy, có độ trễ thấp và linh hoạt để các mô hình có thể mở rộng quy mô. Thách thức thứ hai là tổng chi phí sở hữu để các công ty không bị phá sản khi cố gắng phát triển mô hình của mình.
Thời gian làm việc tại Meta đã cho tôi thấy tầm quan trọng của việc giữ cho các mô hình và khung công tác như PyTorch ở trạng thái nguồn mở. Nó khuyến khích sự đổi mới. Chúng tôi sẽ không thể phát triển nhiều như ở PyTorch nếu không có cơ hội lặp lại nguồn mở. Ngoài ra, không thể cập nhật tất cả các nghiên cứu mới nhất nếu không có sự hợp tác.
Tôi đã làm việc trong ngành công nghệ hơn 20 năm và tôi đã chứng kiến ​​hết làn sóng chuyển đổi ở cấp độ ngành– từ đám mây sang ứng dụng di động. Nhưng sự thay đổi AI này là một sự sắp xếp lại mang tính kiến ​​tạo hoàn chỉnh. Tôi thấy rất nhiều công ty đang gặp khó khăn với sự thay đổi này. Mọi người đều muốn tiến nhanh và đặt AI lên hàng đầu, nhưng họ thiếu cơ sở hạ tầng, nguồn lực và tài năng để biến điều đó thành hiện thực. Càng nói chuyện với những công ty này, tôi càng nhận ra mình có thể giải quyết khoảng trống này trên thị trường.
Tôi đã ra mắt Fireworks AI để giải quyết vấn đề này, đồng thời đóng vai trò như một phần mở rộng cho công việc đáng kinh ngạc mà chúng tôi đã đạt được tại PyTorch. Nó thậm chí còn truyền cảm hứng cho tên của chúng tôi! PyTorch là ngọn đuốc giữ lửa– nhưng chúng tôi muốn ngọn lửa đó lan tỏa khắp nơi. Do đó: Pháo hoa.
Tôi luôn đam mê dân chủ hóa công nghệ và giúp các nhà phát triển có thể đổi mới một cách đơn giản và hợp lý bất kể nguồn lực của họ. Đó là lý do tại sao chúng tôi có giao diện thân thiện với người dùng và hệ thống hỗ trợ mạnh mẽ để hỗ trợ các nhà xây dựng biến tầm nhìn của họ thành hiện thực.
Thật đơn giản: “lấy nhà phát triển làm trung tâm” có nghĩa là ưu tiên nhu cầu của nhà phát triển AI. Ví dụ: tạo các công cụ, cộng đồng và quy trình giúp các nhà phát triển hoạt động hiệu quả và tự chủ hơn.
Các nền tảng AI lấy nhà phát triển làm trung tâm như Fireworks nên tích hợp vào quy trình làm việc và nhóm công nghệ hiện có. Họ nên giúp các nhà phát triển dễ dàng thử nghiệm, mắc lỗi và cải thiện công việc của họ. Họ nên khuyến khích phản hồi, bởi vì chính các nhà phát triển của nó là những người hiểu họ cần gì để thành công. Cuối cùng, nó không chỉ là một nền tảng. Đó là về việc trở thành một cộng đồng – một cộng đồng nơi các nhà phát triển cộng tác có thể vượt qua ranh giới về những gì có thể làm được với AI.
Toàn bộ cách tiếp cận của chúng tôi với tư cách là nền tảng sản xuất AI là duy nhất, nhưng một số tính năng tốt nhất của chúng tôi là:
Suy luận hiệu quả – Chúng tôi đã thiết kế AI của Fireworks để đạt được hiệu quả và tốc độ. Các nhà phát triển sử dụng nền tảng của chúng tôi có thể chạy các ứng dụng LLM của họ với độ trễ và chi phí thấp nhất có thể. Chúng tôi đạt được điều này bằng các kỹ thuật tối ưu hóa dịch vụ và mô hình mới nhất, bao gồm bộ nhớ đệm nhanh chóng, phân đoạn có thể thích ứng, lượng tử hóa, phân khối liên tục, FireAttention, v.v.
Hỗ trợ giá cả phải chăng cho các mô hình được điều chỉnh LoRA – Chúng tôi cung cấp dịch vụ giá cả phải chăng cho các mô hình tinh chỉnh thích ứng cấp thấp (LoRA) thông qua nhiều bên thuê trên các mô hình cơ sở. Điều này có nghĩa là các nhà phát triển có thể thử nghiệm nhiều trường hợp sử dụng hoặc biến thể khác nhau trên cùng một mô hình mà không tốn quá nhiều chi phí.
Giao diện và API đơn giản – Giao diện và API của chúng tôi đơn giản và dễ dàng để các nhà phát triển tích hợp vào ứng dụng của họ. API của chúng tôi cũng tương thích với OpenAI để dễ dàng di chuyển.
Các mô hình sẵn có và các mô hình tinh chỉnh – Chúng tôi cung cấp hơn 100 mô hình được đào tạo trước mà các nhà phát triển có thể sử dụng ngay. Chúng tôi đề cập đến LLM tốt nhất, mô hình tạo hình ảnh, mô hình nhúng, v.v. Nhưng các nhà phát triển cũng có thể chọn lưu trữ và phân phát các mô hình tùy chỉnh của riêng họ. Chúng tôi cũng cung cấp các dịch vụ tinh chỉnh tự phục vụ để giúp các nhà phát triển điều chỉnh các mô hình tùy chỉnh này bằng dữ liệu độc quyền của họ.
Hợp tác cộng đồng: Chúng tôi tin vào đặc tính nguồn mở của cộng tác cộng đồng. Nền tảng của chúng tôi khuyến khích (nhưng không yêu cầu) các nhà phát triển chia sẻ các mô hình đã tinh chỉnh của họ và đóng góp vào ngân hàng kiến ​​thức và tài sản AI đang ngày càng phát triển. Mọi người đều được hưởng lợi từ việc phát triển chuyên môn chung của chúng ta.
Việc song song hóa các mô hình học máy cải thiện hiệu quả và tốc độ đào tạo mô hình, đồng thời giúp các nhà phát triển xử lý các mô hình lớn hơn mà một GPU đơn lẻ không thể xử lý được.
Song song mô hình bao gồm việc chia mô hình thành nhiều phần và đào tạo từng phần trên các bộ xử lý riêng biệt. Mặt khác, tính song song của dữ liệu chia các tập dữ liệu thành các tập hợp con và huấn luyện một mô hình trên mỗi tập hợp con cùng lúc trên các bộ xử lý riêng biệt. Một cách tiếp cận lai kết hợp hai phương pháp này. Các mô hình được chia thành các phần riêng biệt, mỗi phần được đào tạo trên các tập hợp dữ liệu khác nhau, nâng cao hiệu quả, khả năng mở rộng và tính linh hoạt.
Thành thật mà nói, đã có rất nhiều ngọn núi cao phải vượt qua kể từ khi chúng tôi thành lập Fireworks AI vào năm 2022.
Đầu tiên, khách hàng đến với chúng tôi để tìm kiếm sự hỗ trợ có độ trễ rất thấp vì họ đang xây dựng ứng dụng cho người tiêu dùng, người tiêu dùng hoặc nhà phát triển khác— tất cả các đối tượng cần giải pháp nhanh chóng. Sau đó, khi ứng dụng của khách hàng của chúng tôi bắt đầu mở rộng quy mô nhanh chóng, họ nhận ra rằng họ không đủ khả năng chi trả những chi phí thông thường liên quan đến quy mô đó. Sau đó, họ yêu cầu chúng tôi giúp giảm tổng chi phí sở hữu (TCO) và chúng tôi đã làm như vậy. Sau đó, khách hàng của chúng tôi muốn chuyển từ mô hình OpenAI sang OSS và họ yêu cầu chúng tôi cung cấp chất lượng ngang bằng hoặc thậm chí tốt hơn OpenAI. Chúng tôi cũng đã làm được điều đó.
Mỗi bước trong quá trình phát triển sản phẩm của chúng tôi đều là một vấn đề khó giải quyết, nhưng điều đó có nghĩa là nhu cầu của khách hàng đã thực sự định hình Pháo hoa thành như ngày nay: một công cụ suy luận nhanh như chớp với TCO thấp. Ngoài ra, chúng tôi còn cung cấp cả các loại mô hình chất lượng cao, có sẵn để lựa chọn hoặc các dịch vụ tinh chỉnh để các nhà phát triển tạo ra mô hình của riêng họ.
Tôi có hai cô con gái tuổi teen thường xuyên sử dụng các ứng dụng genAI như ChatGPT. Với tư cách là một người mẹ, tôi lo lắng về việc con tìm thấy nội dung sai lệch hoặc không phù hợp vì ngành này mới bắt đầu giải quyết vấn đề quan trọng về an toàn nội dung. Meta đang làm được rất nhiều điều với dự án Purple Llama và các chế độ SD3 mới của Stability AI rất tuyệt vời. Cả hai công ty đang nỗ lực để mang lại sự an toàn cho các mẫu Llama3 và SD3 mới của họ với nhiều lớp bộ lọc. Mô hình bảo vệ đầu vào-đầu ra, Llama Guard, được sử dụng rất nhiều trên nền tảng của chúng tôi, nhưng việc áp dụng nó vẫn chưa ngang bằng với các LLM khác. Toàn bộ ngành công nghiệp vẫn còn một chặng đường dài phía trước để đưa vấn đề an toàn nội dung và đạo đức AI lên hàng đầu.
Tại Fireworks, chúng tôi quan tâm sâu sắc đến quyền riêng tư và bảo mật. Chúng tôi tuân thủ HIPAA và SOC2, đồng thời cung cấp kết nối VPC và VPN an toàn. Các công ty tin tưởng Fireworks với dữ liệu và mô hình độc quyền của họ để xây dựng hào kinh doanh của họ.
Giống như AlphaGo đã thể hiện khả năng tự chủ khi tự học chơi cờ, tôi nghĩ chúng ta sẽ thấy các ứng dụng genAI ngày càng tự chủ hơn. Các ứng dụng sẽ tự động định tuyến và hướng các yêu cầu đến đúng tác nhân hoặc API để xử lý và sửa lỗi cho đến khi lấy được kết quả đầu ra phù hợp. Và thay vì một mô hình gọi hàm thăm dò ý kiến ​​từ những người khác với tư cách là người kiểm soát, chúng ta sẽ thấy nhiều tác nhân tự tổ chức, tự phối hợp làm việc đồng loạt để giải quyết vấn đề.
Khả năng suy luận nhanh như chớp, mô hình gọi hàm và dịch vụ tinh chỉnh của Pháo hoa đã mở đường cho thực tế này. Giờ đây, trách nhiệm của các nhà phát triển sáng tạo là biến điều đó thành hiện thực.
Cảm ơn bạn về cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm hãy truy cập Pháo hoa AI.
       
 Chủ đề liên quan:
 mm
Một đối tác sáng lập của unity.AI & một thành viên của Hội đồng Công nghệ Forbes, Antoine là một nhà tương lai học người đam mê tương lai của AI và robot.
Ông cũng là người sáng lập của Chứng khoán.io, một trang web tập trung vào đầu tư vào công nghệ đột phá.