Lin Qiao, CEO & Salah Satu Pendiri Fireworks AI – Seri Wawancara

Lin Qiao, sebelumnya adalah kepala Meta's PyTorch dan merupakan salah satu pendiri dan CEO Fireworks AI. AI kembang api adalah platform AI produksi yang dibuat untuk pengembang, Fireworks bermitra dengan peneliti AI generatif terkemuka di dunia untuk menyajikan model terbaik, dengan kecepatan tercepat. Fireworks AI baru-baru ini mengangkat a $ 25 Juta Seri A.

Apa yang awalnya membuat Anda tertarik pada ilmu komputer?

Ayah saya adalah seorang insinyur mesin yang sangat senior di sebuah galangan kapal, tempat dia membuat kapal kargo dari awal. Sejak kecil, saya belajar membaca sudut dan ukuran cetak biru kapal dengan tepat, dan saya menyukainya.

Saya sangat menyukai STEM sejak sekolah menengah dan seterusnya– semua matematika, fisika, dan kimia saya nikmati. Salah satu tugas SMA saya adalah mempelajari pemrograman BASIC, dan saya membuat kode permainan tentang seekor ular yang memakan ekornya. Setelah itu, saya tahu ilmu komputer adalah masa depan saya.

Saat berada di Meta, Anda memimpin 300+ insinyur kelas dunia dalam kerangka & platform AI tempat Anda membangun dan menerapkan Caffe2, dan kemudian PyTorch. Apa saja hal penting yang dapat Anda ambil dari pengalaman ini?

Perusahaan Teknologi Besar seperti Meta selalu berada lima tahun atau lebih di depan. Saat saya bergabung dengan Meta pada tahun 2015, kami berada di awal perjalanan AI kami – beralih dari CPU ke GPU. Kami harus merancang infrastruktur AI dari awal. Model seperti Caffe2 merupakan terobosan baru saat pertama kali dibuat, namun AI berkembang sangat cepat sehingga dengan cepat menjadi ketinggalan jaman. Kami mengembangkan PyTorch dan seluruh sistem di sekitarnya sebagai solusi.

PyTorch adalah tempat saya belajar tentang hambatan terbesar yang dihadapi pengembang dalam perlombaan membangun AI. Tantangan pertama adalah menemukan arsitektur model yang stabil dan andal dengan latensi rendah dan fleksibel sehingga model dapat diskalakan. Tantangan kedua adalah total biaya kepemilikan, sehingga perusahaan tidak bangkrut saat mencoba mengembangkan model mereka.

Waktu saya di Meta menunjukkan betapa pentingnya menjaga model dan kerangka kerja seperti PyTorch tetap open-source. Ini mendorong inovasi. Kami tidak akan berkembang sebanyak yang kami miliki di PyTorch tanpa peluang sumber terbuka untuk melakukan iterasi. Selain itu, mustahil untuk selalu mengikuti perkembangan penelitian terbaru tanpa kolaborasi.

Bisakah Anda mendiskusikan apa yang mendorong Anda meluncurkan Fireworks AI?

Saya telah berkecimpung dalam industri teknologi selama lebih dari 20 tahun, dan saya telah melihat gelombang demi gelombang pergeseran tingkat industri– dari cloud ke aplikasi seluler. Namun pergeseran AI ini merupakan penataan kembali tektonik secara menyeluruh. Saya melihat banyak perusahaan berjuang dengan perubahan ini. Semua orang ingin bergerak cepat dan mengutamakan AI, namun mereka kekurangan infrastruktur, sumber daya, dan talenta untuk mewujudkannya. Semakin banyak saya berbicara dengan perusahaan-perusahaan ini, semakin saya menyadari bahwa saya dapat mengatasi kesenjangan pasar ini.

Saya meluncurkan Fireworks AI untuk mengatasi masalah ini dan berfungsi sebagai perpanjangan dari pekerjaan luar biasa yang kami capai di PyTorch. Itu bahkan menginspirasi nama kami! PyTorch adalah obor yang menahan api– tetapi kami ingin api menyebar ke mana-mana. Oleh karena itu: Kembang Api.

Saya selalu bersemangat dalam mendemokratisasi teknologi, menjadikannya terjangkau dan mudah bagi pengembang untuk berinovasi, apa pun sumber daya yang mereka miliki. Itu sebabnya kami memiliki antarmuka yang ramah pengguna dan sistem dukungan yang kuat untuk memberdayakan para pembangun untuk mewujudkan visi mereka.

Bisakah Anda mendiskusikan apa itu AI yang berpusat pada pengembang dan mengapa hal ini sangat penting?

Sederhana saja: “berpusat pada pengembang” berarti memprioritaskan kebutuhan pengembang AI. Misalnya: menciptakan alat, komunitas, dan proses yang menjadikan pengembang lebih efisien dan mandiri.

Platform AI yang berpusat pada pengembang seperti Fireworks harus diintegrasikan ke dalam alur kerja dan tumpukan teknologi yang ada. Mereka harus memudahkan pengembang untuk bereksperimen, membuat kesalahan, dan meningkatkan pekerjaan mereka. Mereka harus mendorong adanya umpan balik, karena pengembangnya sendirilah yang memahami apa yang mereka butuhkan untuk menjadi sukses. Terakhir, ini lebih dari sekadar menjadi platform. Ini tentang menjadi sebuah komunitas – sebuah komunitas di mana para pengembang yang berkolaborasi dapat mendorong batas-batas dari apa yang mungkin dilakukan dengan AI.

Platform GenAI yang Anda kembangkan merupakan kemajuan signifikan bagi pengembang yang bekerja dengan model bahasa besar (LLM). Bisakah Anda menguraikan fitur dan manfaat unik platform Anda, terutama jika dibandingkan dengan solusi yang sudah ada?

Seluruh pendekatan kami sebagai platform produksi AI bersifat unik, namun beberapa fitur terbaik kami adalah:

Inferensi yang efisien – Kami merancang Fireworks AI untuk efisiensi dan kecepatan. Pengembang yang menggunakan platform kami dapat menjalankan aplikasi LLM mereka dengan latensi dan biaya serendah mungkin. Kami mencapai hal ini dengan model terbaru dan teknik pengoptimalan layanan termasuk caching cepat, sharding yang dapat disesuaikan, kuantisasi, pengelompokan berkelanjutan, FireAttention, dan banyak lagi.

Dukungan terjangkau untuk model yang disesuaikan dengan LoRA – Kami menawarkan layanan terjangkau untuk model penyesuaian tingkat rendah (LoRA) melalui multi-tenancy pada model dasar. Ini berarti pengembang dapat bereksperimen dengan banyak kasus penggunaan atau variasi berbeda pada model yang sama tanpa mengeluarkan banyak uang.

Antarmuka dan API sederhana – Antarmuka dan API kami sederhana dan mudah bagi pengembang untuk diintegrasikan ke dalam aplikasi mereka. API kami juga kompatibel dengan OpenAI untuk kemudahan migrasi.

Model siap pakai dan model yang disempurnakan – Kami menyediakan lebih dari 100 model terlatih yang dapat langsung digunakan oleh pengembang. Kami mencakup LLM terbaik, model pembuatan gambar, model penyematan, dll. Namun pengembang juga dapat memilih untuk menghosting dan menyajikan model kustom mereka sendiri. Kami juga menawarkan layanan penyesuaian mandiri untuk membantu pengembang menyesuaikan model khusus ini dengan data kepemilikan mereka.

Kolaborasi komunitas: Kami percaya pada etos kolaborasi komunitas sumber terbuka. Platform kami mendorong (tetapi tidak mengharuskan) pengembang untuk membagikan model mereka yang telah disempurnakan dan berkontribusi pada kumpulan aset dan pengetahuan AI yang terus berkembang. Semua orang mendapat manfaat dari pengembangan keahlian kolektif kita.

Bisakah Anda mendiskusikan pendekatan hibrid yang ditawarkan antara paralelisme model dan paralelisme data?

Memparalelkan model pembelajaran mesin meningkatkan efisiensi dan kecepatan pelatihan model serta membantu pengembang menangani model yang lebih besar yang tidak dapat diproses oleh satu GPU.

Paralelisme model melibatkan pembagian model menjadi beberapa bagian dan melatih setiap bagian pada prosesor terpisah. Di sisi lain, paralelisme data membagi kumpulan data menjadi beberapa subset dan melatih model pada setiap subset secara bersamaan di seluruh prosesor yang terpisah. Pendekatan hibrid menggabungkan kedua metode ini. Model dibagi menjadi beberapa bagian terpisah, yang masing-masing dilatih pada subkumpulan data berbeda, sehingga meningkatkan efisiensi, skalabilitas, dan fleksibilitas.

Fireworks AI digunakan oleh lebih dari 20,000 pengembang dan saat ini melayani lebih dari 60 miliar token setiap hari. Tantangan apa yang Anda hadapi dalam meningkatkan operasi Anda ke tingkat ini, dan bagaimana Anda mengatasinya?

Sejujurnya, ada banyak gunung tinggi yang harus dilintasi sejak kami mendirikan Fireworks AI pada tahun 2022.

Pelanggan kami pertama kali datang kepada kami untuk mencari dukungan latensi yang sangat rendah karena mereka sedang membangun aplikasi untuk konsumen, prosumer, atau pengembang lainnya—semua audiens yang membutuhkan solusi cepat. Kemudian, ketika aplikasi pelanggan kami mulai berkembang dengan cepat, mereka menyadari bahwa mereka tidak mampu menanggung biaya umum yang terkait dengan skala tersebut. Mereka kemudian meminta kami membantu menurunkan total biaya kepemilikan (TCO), dan kami melakukannya. Kemudian, pelanggan kami ingin bermigrasi dari model OpenAI ke OSS, dan mereka meminta kami untuk memberikan kualitas yang setara atau bahkan lebih baik daripada OpenAI. Kami juga mewujudkannya.

Setiap langkah dalam evolusi produk kami merupakan masalah yang menantang untuk diatasi, namun itu berarti kebutuhan pelanggan kami benar-benar membentuk Fireworks menjadi seperti sekarang ini: mesin inferensi secepat kilat dengan TCO rendah. Selain itu, kami menyediakan beragam model berkualitas tinggi dan unik yang dapat dipilih, atau layanan penyempurnaan bagi pengembang untuk membuatnya sendiri.

Dengan kemajuan pesat dalam AI dan pembelajaran mesin, pertimbangan etika menjadi lebih penting dari sebelumnya. Bagaimana Fireworks AI mengatasi kekhawatiran terkait bias, privasi, dan penggunaan AI secara etis?

Saya memiliki dua putri remaja yang sering menggunakan aplikasi genAI seperti ChatGPT. Sebagai seorang ibu, saya khawatir mereka akan menemukan konten yang menyesatkan atau tidak pantas, karena industri ini baru mulai mengatasi masalah kritis keamanan konten. Meta melakukan banyak hal dengan proyek Purple Llama, dan mode SD3 baru Stability AI sangat bagus. Kedua perusahaan bekerja keras untuk menghadirkan keamanan pada model Llama3 dan SD3 baru mereka dengan filter berlapis-lapis. Model perlindungan input-output, Llama Guard, banyak digunakan di platform kami, namun penerapannya belum setara dengan LLM lainnya. Perjalanan industri secara keseluruhan masih panjang untuk mengedepankan keamanan konten dan etika AI.

Kami di Fireworks sangat peduli dengan privasi dan keamanan. Kami mematuhi HIPAA dan SOC2, serta menawarkan konektivitas VPC dan VPN yang aman. Perusahaan memercayai Fireworks dengan data dan model miliknya untuk membangun parit bisnis mereka.

Apa visi Anda tentang bagaimana AI akan berkembang?

Sama seperti AlphaGo yang mendemonstrasikan otonomi sambil belajar bermain catur sendiri, saya rasa kita akan melihat aplikasi genAI menjadi semakin otonom. Aplikasi akan secara otomatis merutekan dan mengarahkan permintaan ke agen atau API yang tepat untuk diproses, dan melakukan koreksi arah hingga mereka mengambil output yang tepat. Dan alih-alih menggunakan satu model pemanggilan fungsi yang melakukan polling dari model lain sebagai pengontrol, kita akan melihat lebih banyak agen yang terorganisir dan terkoordinasi secara mandiri yang bekerja secara serempak untuk memecahkan masalah.

Inferensi secepat kilat, model pemanggilan fungsi, dan layanan penyesuaian kembang api telah membuka jalan bagi kenyataan ini. Kini bergantung pada pengembang inovatif untuk mewujudkannya.

Terima kasih atas wawancaranya yang luar biasa, pembaca yang ingin belajar lebih banyak harus berkunjung AI kembang api.