Kirill Solodskih, Co-Founder dan CEO TheStage AI – Seri Wawancara

Kirill Solodskih, PhD, adalah Co-Founder dan CEO TheStage AI, serta seorang peneliti AI berpengalaman dan wirausaha dengan lebih dari satu dekade pengalaman dalam mengoptimalkan jaringan saraf untuk aplikasi bisnis dunia nyata. Pada tahun 2024, ia mendirikan TheStage AI, yang mendapatkan $4,5 juta dalam pendanaan untuk sepenuhnya mengotomatisasi percepatan jaringan saraf di seluruh platform perangkat keras.

Sebelumnya, sebagai Pemimpin Tim di Huawei, Kirill memimpin percepatan aplikasi kamera AI untuk Qualcomm (QCOM ) NPUs, yang berkontribusi pada kinerja smartphone P50 dan P60 dan mendapatkan beberapa paten untuk inovasinya. Penelitiannya telah ditampilkan di konferensi terkemuka seperti CVPR dan ECCV , di mana ia menerima penghargaan dan pengakuan industri. Ia juga menjadi tuan rumah podcast tentang optimasi dan inferensi AI.

Apa yang menginspirasi Anda untuk mendirikan TheStage AI, dan bagaimana Anda beralih dari akademisi dan penelitian ke optimasi inferensi sebagai pendiri startup?

Dasar untuk apa yang akhirnya menjadi TheStage AI dimulai dengan pekerjaan saya di Huawei, di mana saya sangat terlibat dalam mengotomatisasi penerapan dan mengoptimalkan jaringan saraf. Inisiatif ini menjadi dasar untuk beberapa inovasi yang sangat penting, dan itulah tempat saya melihat tantangan nyata. Melatih model adalah satu hal, tetapi membuatnya berjalan secara efisien di dunia nyata dan membuatnya dapat diakses oleh pengguna adalah hal lain. Penerapan adalah bottleneck yang menghalangi banyak ide hebat untuk menjadi kenyataan. Untuk membuat sesuatu seperti ChatGPT, ada banyak tantangan di balik layar yang terlibat. Dari perspektif teknis, optimasi jaringan saraf adalah tentang meminimalkan parameter sambil menjaga kinerja tetap tinggi. Ini adalah masalah matematika yang sulit dengan banyak ruang untuk inovasi.

Optimasi inferensi manual telah lama menjadi bottleneck di AI. Bisakah Anda menjelaskan bagaimana TheStage AI mengotomatisasi proses ini dan mengapa itu merupakan perubahan besar?

TheStage AI menangani bottleneck besar di AI: kompresi dan percepatan jaringan saraf manual. Jaringan saraf memiliki miliaran parameter, dan menentukan parameter mana yang harus dihilangkan untuk kinerja yang lebih baik hampir mustahil dilakukan secara manual. ANNA (Automated Neural Networks Analyzer) mengotomatisasi proses ini, mengidentifikasi lapisan mana yang harus dikecualikan dari optimasi, mirip dengan cara kompresi ZIP pertama kali diotomatisasi.

Hal ini mengubah permainan dengan membuat adopsi AI lebih cepat dan lebih terjangkau. Alih-alih mengandalkan proses manual yang mahal, startup dapat mengoptimalkan model secara otomatis. Teknologi ini memberikan bisnis wawasan yang jelas tentang kinerja dan biaya, memastikan efisiensi dan skalabilitas tanpa tebakan.

TheStage AI mengklaim dapat mengurangi biaya inferensi hingga 5x — apa yang membuat teknologi optimasi Anda begitu efektif dibandingkan dengan metode tradisional?

TheStage AI memotong biaya output hingga 5x dengan pendekatan optimasi yang melampaui metode tradisional. Alih-alih menerapkan algoritma yang sama ke seluruh jaringan saraf, ANNA memecahnya menjadi lapisan yang lebih kecil dan memutuskan algoritma mana yang diterapkan untuk setiap bagian untuk menghasilkan kompresi yang diinginkan sambil memaksimalkan kualitas model. Dengan menggabungkan heuristik matematika yang cerdas dengan aproksimasi yang efisien, pendekatan kami sangat scalable dan membuat adopsi AI lebih mudah bagi bisnis semua ukuran. Kami juga mengintegrasikan pengaturan compiler yang fleksibel untuk mengoptimalkan jaringan untuk perangkat keras tertentu seperti iPhone atau NVIDIA GPUs. Ini memberi kami lebih banyak kontrol untuk mengoptimalkan kinerja, meningkatkan kecepatan tanpa kehilangan kualitas.

Bagaimana percepatan inferensi TheStage AI dibandingkan dengan compiler asli PyTorch, dan apa kelebihan yang ditawarkannya kepada pengembang AI?

TheStage AI mempercepat output jauh melampaui compiler asli PyTorch. PyTorch menggunakan metode kompilasi “just-in-time”, yang mengkompilasi model setiap kali dijalankan. Ini menyebabkan waktu startup yang lama, terkadang memakan waktu beberapa menit atau bahkan lebih lama. Dalam lingkungan yang scalable, ini dapat menciptakan ketidakefisienan, terutama ketika GPU baru perlu dibawa online untuk menangani beban pengguna yang meningkat, menyebabkan keterlambatan yang mempengaruhi pengalaman pengguna.

Sebaliknya, TheStage AI memungkinkan model untuk dikompilasi sebelumnya, sehingga sekali model siap, dapat diterapkan secara instan. Ini mengarah pada rollout yang lebih cepat, efisiensi layanan yang ditingkatkan, dan penghematan biaya. Pengembang dapat menerapkan dan menskalakan model AI lebih cepat, tanpa bottleneck kompilasi tradisional, membuatnya lebih efisien dan responsif untuk kasus penggunaan yang tinggi.

Bisakah Anda berbagi lebih tentang toolkit QLIP TheStage AI dan bagaimana itu meningkatkan kinerja model sambil mempertahankan kualitas?

QLIP, toolkit TheStage AI, adalah perpustakaan Python yang menyediakan set primitif esensial untuk membangun algoritma optimasi baru yang disesuaikan dengan perangkat keras tertentu, seperti GPU dan NPUs. Toolkit ini mencakup komponen seperti kuantisasi, pruning, spesifikasi, kompilasi, dan penyajian, semua kritis untuk mengembangkan sistem AI yang efisien dan scalable.

Apa yang membedakan QLIP adalah fleksibilitasnya. Ini memungkinkan insinyur AI untuk membuat dan menerapkan algoritma baru dengan hanya beberapa baris kode. Misalnya, makalah konferensi AI baru-baru ini tentang jaringan saraf kuantisasi dapat diubah menjadi algoritma yang berfungsi menggunakan primitif QLIP dalam hitungan menit. Ini membuatnya mudah bagi pengembang untuk mengintegrasikan penelitian terbaru ke dalam model mereka tanpa terhambat oleh kerangka kerja yang kaku.

Tidak seperti kerangka kerja sumber terbuka tradisional yang membatasi Anda pada set algoritma yang tetap, QLIP memungkinkan siapa saja untuk menambahkan teknik optimasi baru. Fleksibilitas ini membantu tim tetap memimpin dalam lanskap AI yang berkembang pesat, meningkatkan kinerja sambil memastikan fleksibilitas untuk inovasi di masa depan.

Anda telah berkontribusi pada kerangka kerja kuantisasi AI yang digunakan di kamera P50 & P60 Huawei. Bagaimana pengalaman itu membentuk pendekatan Anda terhadap optimasi AI?

Pengalaman saya bekerja pada kerangka kerja kuantisasi AI untuk kamera P50 dan P60 Huawei memberi saya wawasan berharga tentang bagaimana optimasi dapat dijalankan dan diskalakan. Ketika saya pertama kali bekerja dengan PyTorch, bekerja dengan grafik eksekusi lengkap jaringan saraf sangat kaku, dan algoritma kuantisasi harus diimplementasikan secara manual, lapisan demi lapisan. Di Huawei, saya membangun kerangka kerja yang mengotomatisasi proses ini. Anda hanya perlu memasukkan model, dan itu akan secara otomatis menghasilkan kode untuk kuantisasi, menghilangkan pekerjaan manual.

Hal ini membuat saya menyadari bahwa otomatisasi dalam optimasi AI adalah tentang memungkinkan kecepatan tanpa mengorbankan kualitas. Salah satu algoritma yang saya kembangkan dan patenkan menjadi sangat penting bagi Huawei, terutama ketika mereka harus beralih dari prosesor Kirin ke Qualcomm karena sanksi. Ini memungkinkan tim untuk dengan cepat menyesuaikan jaringan saraf ke arsitektur Qualcomm tanpa kehilangan kinerja atau akurasi.

Dengan mengalirkan dan mengotomatisasi prosesnya, kami memotong waktu pengembangan dari lebih dari satu tahun menjadi hanya beberapa bulan. Ini memiliki dampak besar pada produk yang digunakan oleh jutaan orang dan membentuk pendekatan saya terhadap optimasi, dengan fokus pada kecepatan, efisiensi, dan kerugian kualitas minimal. Itulah mentalitas yang saya bawa ke ANNA hari ini.

Penelitian Anda telah ditampilkan di CVPR dan ECCV — apa saja beberapa terobosan utama dalam efisiensi AI yang Anda banggakan?

Ketika saya ditanya tentang prestasi saya dalam efisiensi AI, saya selalu kembali ke makalah kami yang dipilih untuk presentasi lisan di CVPR 2023. Dipilih untuk presentasi lisan di konferensi seperti itu sangat langka, karena hanya 12 makalah yang dipilih. Ini menambah fakta bahwa AI Generatif biasanya mendominasi sorotan, dan makalah kami mengambil pendekatan yang berbeda, dengan fokus pada sisi matematika, khususnya analisis dan kompresi jaringan saraf.

Kami mengembangkan metode yang membantu kami memahami berapa banyak parameter yang benar-benar dibutuhkan jaringan saraf untuk beroperasi secara efisien. Dengan menerapkan teknik dari analisis fungsional dan berpindah dari formulasi diskrit ke formulasi kontinu, kami dapat mencapai hasil kompresi yang baik sambil mempertahankan kemampuan untuk mengintegrasikan perubahan ini kembali ke dalam model. Makalah tersebut juga memperkenalkan beberapa algoritma baru yang belum pernah digunakan oleh komunitas dan menemukan aplikasi lebih lanjut.

Ini adalah salah satu makalah pertama saya di bidang AI, dan yang terpenting, ini adalah hasil dari upaya tim kami secara kolektif, termasuk co-founder saya. Ini adalah tonggak penting bagi kami semua.

Bisakah Anda menjelaskan bagaimana Integral Neural Networks (INNs) bekerja dan mengapa mereka merupakan inovasi penting dalam pembelajaran dalam?

Jaringan saraf tradisional menggunakan matriks tetap, mirip dengan tabel Excel, di mana ukuran dan parameter telah ditentukan sebelumnya. INNs, bagaimanapun, menggambarkan jaringan sebagai fungsi kontinu, menawarkan fleksibilitas yang jauh lebih besar. Bayangkan ini seperti selimut dengan pin di ketinggian yang berbeda, dan ini mewakili gelombang kontinu.

Apa yang membuat INNs menarik adalah kemampuan mereka untuk secara dinamis “mengompresi” atau “memperluas” berdasarkan sumber daya yang tersedia, mirip dengan cara sinyal analog diubah menjadi suara. Anda dapat mengecilkan jaringan tanpa mengorbankan kualitas, dan ketika diperlukan, memperluasnya kembali tanpa perlu pelatihan ulang.

Kami mengujinya, dan sementara metode kompresi tradisional menyebabkan kehilangan kualitas yang signifikan, INNs mempertahankan kualitas yang hampir asli bahkan dalam kompresi ekstrem. Matematika di baliknya lebih tidak konvensional untuk komunitas AI, tetapi nilai sebenarnya terletak pada kemampuannya untuk memberikan hasil yang solid dan praktis dengan upaya minimal.

TheStage AI telah bekerja pada algoritma quantum annealing — bagaimana Anda melihat komputasi kuantum berperan dalam optimasi AI di masa depan?

Ketika datang ke komputasi kuantum dan perannya dalam optimasi AI, intinya adalah bahwa sistem kuantum menawarkan pendekatan yang sangat berbeda untuk memecahkan masalah seperti optimasi. Sementara kami tidak mengembangkan algoritma quantum annealing dari awal, perusahaan seperti D-Wave menyediakan perpustakaan Python untuk membangun algoritma kuantum khusus untuk tugas optimasi diskrit, yang ideal untuk komputer kuantum.

Gagasan di sini adalah kami tidak langsung memuat jaringan saraf ke dalam komputer kuantum. Itu tidak mungkin dengan arsitektur saat ini. Sebaliknya, kami mengapproximasi bagaimana jaringan saraf berperilaku di bawah jenis degradasi yang berbeda, membuatnya sesuai dengan sistem yang dapat diproses oleh chip kuantum.

Di masa depan, sistem kuantum bisa menskalakan dan mengoptimalkan jaringan dengan presisi yang sistem klasik sulit untuk dicapai. Kelebihan sistem kuantum terletak pada paralelisme bawaan, yang sistem klasik hanya bisa simulasi menggunakan sumber daya tambahan. Ini berarti komputasi kuantum bisa secara signifikan mempercepat proses optimasi, terutama ketika kami memahami bagaimana memodelkan jaringan yang lebih besar dan lebih kompleks secara efektif.

Potensi sebenarnya datang dalam menggunakan komputasi kuantum untuk memecahkan tugas optimasi yang besar dan kompleks dan memecah parameter menjadi kelompok yang lebih kecil dan lebih mudah diatur. Dengan teknologi seperti kuantum dan komputasi optik, ada kemungkinan besar untuk mengoptimalkan AI yang melampaui apa yang dapat dilakukan oleh komputasi tradisional.

Apa visi jangka panjang Anda untuk TheStage AI? Di mana Anda melihat optimasi inferensi menuju dalam 5-10 tahun ke depan?

Dalam jangka panjang, TheStage AI bertujuan untuk menjadi Model Hub global di mana siapa saja dapat dengan mudah mengakses jaringan saraf yang dioptimalkan dengan karakteristik yang diinginkan, baik untuk smartphone atau perangkat lainnya. Tujuan kami adalah menawarkan pengalaman drag-and-drop, di mana pengguna memasukkan parameter mereka dan sistem secara otomatis menghasilkan jaringan. Jika jaringan tersebut belum ada, itu akan dibuat secara otomatis menggunakan ANNA.

Tujuan kami adalah menjalankan jaringan saraf langsung di perangkat pengguna, memotong biaya hingga 20 hingga 30 kali. Di masa depan, ini bisa hampir menghilangkan biaya sepenuhnya, karena perangkat pengguna akan menangani komputasi bukan bergantung pada server cloud. Ini, dikombinasikan dengan kemajuan dalam kompresi model dan percepatan perangkat keras, bisa membuat penerapan AI menjadi jauh lebih efisien.

Kami juga berencana untuk mengintegrasikan teknologi kami dengan solusi perangkat keras, seperti sensor, chip, dan robotika, untuk aplikasi di bidang seperti pengemudi otonom dan robotika. Misalnya, kami bertujuan untuk membangun kamera AI yang dapat berfungsi di lingkungan apa pun, baik di ruang angkasa atau di bawah kondisi ekstrem seperti kegelapan atau debu. Ini akan membuat AI dapat digunakan dalam berbagai aplikasi dan memungkinkan kami untuk membuat solusi khusus untuk perangkat keras dan kasus penggunaan tertentu.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi TheStage AI.