Lin Qiao, CEO & Co-Founder of Fireworks AI – Interview Series

Lin Qiao, sebelumnya adalah kepala PyTorch di Meta dan adalah Co-Founder dan CEO dari Fireworks AI. Fireworks AI adalah platform AI produksi yang dibangun untuk pengembang, Fireworks bermitra dengan peneliti AI generatif terkemuka di dunia untuk melayani model terbaik, dengan kecepatan tercepat. Fireworks AI baru-baru ini mengumpulkan dana $25M Series A.

Apa yang awalnya menarik Anda ke ilmu komputer?

Ayah saya adalah insinyur mekanik senior di galangan kapal, di mana dia membangun kapal kargo dari awal. Sejak usia muda, saya belajar membaca sudut dan pengukuran yang tepat dari blueprint kapal, dan saya menyukainya.

Saya sangat tertarik dengan STEM sejak sekolah menengah – semua matematika, fisika, dan kimia saya habiskan. Salah satu tugas sekolah menengah saya adalah belajar pemrograman BASIC, dan saya membuat permainan tentang ular yang memakan ekornya sendiri. Setelah itu, saya tahu bahwa ilmu komputer ada di masa depan saya.

Ketika di Meta Anda memimpin 300+ insinyur kelas dunia di kerangka kerja & platform AI di mana Anda membangun dan menerapkan Caffe2, dan kemudian PyTorch. Apa yang menjadi pengalaman utama Anda dari pengalaman ini?

Perusahaan besar seperti Meta selalu lima tahun atau lebih maju dari kurva. Ketika saya bergabung dengan Meta pada 2015, kami berada di awal perjalanan AI kami – membuat peralihan dari CPU ke GPU. Kami harus merancang infrastruktur AI dari awal. Model seperti Caffe2 revolusioner ketika mereka dibuat, tetapi AI berkembang sangat cepat sehingga mereka dengan cepat menjadi ketinggalan. Kami mengembangkan PyTorch dan sistem keseluruhan di sekitarnya sebagai solusi.

PyTorch adalah tempat saya belajar tentang hambatan terbesar yang dihadapi pengembang dalam perlombaan untuk membangun AI. Tantangan pertama adalah menemukan arsitektur model yang stabil dan dapat diandalkan yang memiliki latensi rendah dan fleksibel sehingga model dapat diskalakan. Tantangan kedua adalah biaya total kepemilikan, sehingga perusahaan tidak bangkrut ketika mencoba untuk tumbuh model mereka.

Waktu saya di Meta menunjukkan kepada saya betapa pentingnya menjaga model dan kerangka kerja seperti PyTorch tetap open-source. Ini mendorong inovasi. Kami tidak akan tumbuh sebesar yang kami lakukan di PyTorch tanpa kesempatan open-source untuk iterasi. Plus, mustahil untuk tetap mendapatkan informasi tentang semua penelitian terbaru tanpa kolaborasi.

Dapatkah Anda membahas apa yang memimpin Anda untuk meluncurkan Fireworks AI?

Saya telah berada di industri teknologi selama lebih dari 20 tahun, dan saya telah melihat gelombang demi gelombang pergeseran tingkat industri – dari cloud ke aplikasi mobile. Tetapi pergeseran AI ini adalah pergeseran tectonic lengkap. Saya melihat banyak perusahaan yang berjuang dengan perubahan ini. Semua orang ingin bergerak cepat dan meletakkan AI di awal, tetapi mereka kekurangan infrastruktur, sumber daya, dan bakat untuk membuatnya terjadi. Semakin banyak saya berbicara dengan perusahaan ini, semakin saya menyadari bahwa saya bisa menyelesaikan kesenjangan di pasar ini.

Saya meluncurkan Fireworks AI baik untuk menyelesaikan masalah ini dan juga sebagai ekstensi dari pekerjaan luar biasa yang kami capai di PyTorch. Ini bahkan menginspirasi nama kami! PyTorch adalah obor yang memegang api – tetapi kami ingin api itu menyebar di mana-mana. Oleh karena itu: Fireworks.

Saya selalu bersemangat untuk mendemokratisasikan teknologi, dan membuatnya terjangkau dan sederhana bagi pengembang untuk berinovasi tanpa memandang sumber daya mereka. Itulah mengapa kami memiliki antarmuka pengguna yang sangat ramah dan sistem dukungan yang kuat untuk memberdayakan pembangun untuk mewujudkan visi mereka.

Dapatkah Anda membahas apa itu AI yang berfokus pada pengembang dan mengapa ini sangat penting?

Ini sederhana: “berfokus pada pengembang” berarti memprioritaskan kebutuhan pengembang AI. Misalnya: menciptakan alat, komunitas, dan proses yang membuat pengembang lebih efisien dan otonom.

Platform AI yang berfokus pada pengembang seperti Fireworks harus terintegrasi dengan alur kerja dan tumpukan teknologi yang ada. Mereka harus membuatnya sederhana bagi pengembang untuk bereksperimen, membuat kesalahan, dan meningkatkan pekerjaan mereka. Mereka harus mendorong umpan balik, karena pengembang itu sendiri yang memahami apa yang mereka butuhkan untuk sukses. Terakhir, ini bukan hanya tentang menjadi platform. Ini tentang menjadi komunitas – di mana pengembang yang berkolaborasi dapat mendorong batas apa yang mungkin dilakukan dengan AI.

Platform GenAI yang Anda kembangkan adalah kemajuan signifikan bagi pengembang yang bekerja dengan model bahasa besar (LLM). Dapatkah Anda menjelaskan tentang fitur dan manfaat unik dari platform Anda, terutama dibandingkan dengan solusi yang ada?

Pendekatan kami sebagai platform AI produksi adalah unik, tetapi beberapa fitur terbaik kami adalah:

Inferensi yang efisien – Kami merancang Fireworks AI untuk efisiensi dan kecepatan. Pengembang yang menggunakan platform kami dapat menjalankan aplikasi LLM mereka dengan latensi terendah dan biaya. Kami mencapai ini dengan teknik optimasi model dan layanan terbaru termasuk caching prompt, sharding yang dapat disesuaikan, kuantisasi, batching terus menerus, FireAttention, dan lain-lain.

Dukungan yang terjangkau untuk model LoRA-tuned – Kami menawarkan layanan model fine-tuned dengan biaya rendah melalui multi-tenancy pada model dasar. Ini berarti pengembang dapat bereksperimen dengan banyak kasus penggunaan atau variasi pada model yang sama tanpa menghabiskan banyak biaya.

Antarmuka dan API yang sederhana – Antarmuka dan API kami sederhana dan mudah bagi pengembang untuk diintegrasikan ke dalam aplikasi mereka. API kami juga kompatibel dengan OpenAI untuk memudahkan migrasi.

Model siap pakai dan model fine-tuned – Kami menyediakan lebih dari 100 model pra-dilatih yang pengembang dapat gunakan langsung. Kami mencakup LLM terbaik, model generasi gambar, model embedding, dll. Tetapi pengembang juga dapat memilih untuk menghosting dan melayani model kustom mereka sendiri. Kami juga menawarkan layanan fine-tuning mandiri untuk membantu pengembang menyesuaikan model kustom ini dengan data propietary mereka.

Kolaborasi komunitas: Kami percaya pada etos open-source dari kolaborasi komunitas. Platform kami mendorong (tetapi tidak memerlukan) pengembang untuk berbagi model fine-tuned mereka dan berkontribusi pada bank aset dan pengetahuan AI yang terus berkembang. Semua orang mendapat manfaat dari meningkatkan keahlian kolektif kami.

Dapatkah Anda membahas tentang pendekatan hibrida yang ditawarkan antara paralelisme model dan paralelisme data?

Mengparallelkan model pembelajaran mesin meningkatkan efisiensi dan kecepatan pelatihan model dan membantu pengembang menangani model yang lebih besar yang tidak dapat diproses oleh satu GPU.

Paralelisme model melibatkan membagi model menjadi beberapa bagian dan melatih setiap bagian pada prosesor terpisah. Di sisi lain, paralelisme data membagi dataset menjadi subset dan melatih model pada setiap subset secara bersamaan di prosesor terpisah. Pendekatan hibrida menggabungkan kedua metode ini. Model dibagi menjadi bagian terpisah, yang masing-masing dilatih pada subset data yang berbeda, meningkatkan efisiensi, skalabilitas, dan fleksibilitas.

Fireworks AI digunakan oleh lebih dari 20.000 pengembang dan saat ini melayani lebih dari 60 miliar token per hari. Apa tantangan yang Anda hadapi dalam menskalakan operasi Anda ke tingkat ini, dan bagaimana Anda mengatasi mereka?

Saya akan jujur, ada banyak gunung tinggi yang harus dilalui sejak kami mendirikan Fireworks AI pada 2022.

Pelanggan kami pertama kali datang kepada kami mencari dukungan latensi yang sangat rendah karena mereka membangun aplikasi untuk konsumen, prosumen, atau pengembang lain – semua audiens yang membutuhkan solusi cepat. Kemudian, ketika aplikasi pelanggan kami mulai berkembang pesat, mereka menyadari bahwa mereka tidak bisa membiayai biaya yang terkait dengan skala itu. Mereka kemudian meminta kami untuk membantu mengurangi biaya total kepemilikan (TCO), yang kami lakukan. Kemudian, pelanggan kami ingin bermigrasi dari OpenAI ke model OSS, dan mereka meminta kami untuk menyediakan kualitas yang setara atau bahkan lebih baik dari OpenAI. Kami membuat itu terjadi juga.

Setiap langkah dalam evolusi produk kami adalah masalah yang menantang untuk diatasi, tetapi ini berarti kebutuhan pelanggan kami benar-benar membentuk Fireworks menjadi apa yang kami miliki hari ini: mesin inferensi yang sangat cepat dengan biaya rendah. Plus, kami menyediakan baik asortimen model berkualitas tinggi yang siap pakai untuk dipilih, atau layanan fine-tuning untuk pengembang membuat model mereka sendiri.

Dengan kemajuan pesat dalam AI dan pembelajaran mesin, pertimbangan etis lebih penting dari sebelumnya. Bagaimana Fireworks AI mengatasi kekhawatiran terkait bias, privasi, dan penggunaan etis AI?

Saya memiliki dua putri remaja yang menggunakan aplikasi genAI seperti ChatGPT sering. Sebagai ibu, saya khawatir mereka menemukan konten yang menyesatkan atau tidak pantas, karena industri ini baru saja mulai menangani masalah keamanan konten yang kritis. Meta melakukan banyak hal dengan proyek Purple Llama, dan mode SD3 baru dari Stability AI sangat bagus. Kedua perusahaan ini bekerja keras untuk membawa keamanan ke model Llama3 dan SD3 baru mereka dengan beberapa lapis filter. Model pengaman input-output, Llama Guard, mendapatkan penggunaan yang cukup pada platform kami, tetapi adopsinya belum sebanding dengan LLM lainnya. Industri secara keseluruhan masih memiliki jalan panjang untuk membawa keamanan konten dan etika AI ke garis depan.

Kami di Fireworks sangat peduli dengan privasi dan keamanan. Kami patuh dengan HIPAA dan SOC2, dan menawarkan koneksi VPC dan VPN yang aman. Perusahaan mempercayakan Fireworks dengan data dan model propietary mereka untuk membangun bisnis mereka.

Apa visi Anda untuk bagaimana AI akan berkembang?

Sama seperti AlphaGo menunjukkan otonomi saat belajar bermain catur sendiri, saya pikir kita akan melihat aplikasi genAI menjadi lebih dan lebih otonom. Aplikasi akan secara otomatis mengarahkan dan mengarahkan permintaan ke agen atau API yang tepat untuk diproses, dan mengoreksi arah sampai mereka mendapatkan output yang tepat. Dan bukan satu model yang memanggil fungsi dari yang lain sebagai pengontrol, kita akan melihat agen yang lebih terorganisir, koordinatif bekerja bersama untuk menyelesaikan masalah.

Inferensi kilat Fireworks, model yang memanggil fungsi, dan layanan fine-tuning telah membuka jalan bagi kenyataan ini. Sekarang terserah pada pengembang inovatif untuk membuatnya terjadi.

Terima kasih atas wawancara yang baik, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Fireworks AI.