Neetu Pathak, Co-Founder dan CEO Skymel – Seri Wawancara

Neetu Pathak, Co-Founder dan CEO Skymel, memimpin perusahaan dalam merevolusi inferensi AI dengan teknologi NeuroSplit™ inovatif. Bersama CTO Sushant Tripathy, dia mengarahkan misi Skymel untuk meningkatkan kinerja aplikasi AI sambil mengurangi biaya komputasi.

NeuroSplit™ adalah teknologi inferensi adaptif yang secara dinamis mendistribusikan beban kerja AI antara perangkat pengguna dan server cloud. Pendekatan ini memanfaatkan sumber daya komputasi idle pada perangkat pengguna, mengurangi biaya infrastruktur cloud hingga 60%, mempercepat kecepatan inferensi, memastikan privasi data, dan memungkinkan skalabilitas yang mulus.

Dengan mengoptimalkan daya komputasi lokal, NeuroSplit™ memungkinkan aplikasi AI untuk berjalan secara efisien bahkan pada GPU yang lebih lama, mengurangi biaya secara signifikan sambil meningkatkan pengalaman pengguna.

Apa yang menginspirasi Anda untuk mendirikan Skymel, dan apa tantangan utama dalam infrastruktur AI yang Anda coba selesaikan dengan NeuroSplit?

Inspirasi untuk Skymel datang dari konvergensi pengalaman kami yang komplementer. Selama waktu saya di Google (GOOGL ), rekan pendiri saya, Sushant Tripathy, menggelar model AI berbasis suara di miliaran perangkat Android. Dia menemukan bahwa ada sejumlah besar daya komputasi idle yang tersedia pada perangkat pengguna, tetapi sebagian besar perusahaan tidak dapat memanfaatkannya secara efektif karena tantangan teknis yang kompleks dalam mengakses sumber daya tersebut tanpa mengorbankan pengalaman pengguna.

Sementara itu, pengalaman saya bekerja dengan perusahaan dan startup di Redis memberi saya wawasan mendalam tentang bagaimana pentingnya latensi bagi bisnis. Ketika aplikasi AI menjadi lebih umum, jelas bahwa kita perlu memindahkan pemrosesan lebih dekat ke tempat data dibuat, bukan terus-menerus mengirim data ke pusat data.

Ketika Sushant dan saya menyadari bahwa masa depan bukanlah tentang memilih antara pemrosesan lokal atau cloud – melainkan tentang menciptakan teknologi cerdas yang dapat beradaptasi secara mulus antara pemrosesan lokal, cloud, atau hibrida berdasarkan setiap permintaan inferensi tertentu. Wawasan ini membawa kita untuk mendirikan Skymel dan mengembangkan NeuroSplit, melampaui keterbatasan infrastruktur tradisional yang menghambat inovasi AI.

Bisakah Anda menjelaskan bagaimana NeuroSplit secara dinamis mengoptimalkan sumber daya komputasi sambil mempertahankan privasi pengguna dan kinerja?

Salah satu kelemahan besar dalam inferensi AI lokal telah menjadi persyaratan komputasi statis – secara tradisional, menjalankan model AI memerlukan sumber daya komputasi yang sama terlepas dari kondisi perangkat atau perilaku pengguna. Pendekatan satu-ukuran-untuk-semua ini mengabaikan kenyataan bahwa perangkat memiliki kemampuan perangkat keras yang berbeda, dari berbagai chip (GPU, NPU, CPU, XPU) hingga bandwidth jaringan yang bervariasi, dan pengguna memiliki pola perilaku yang berbeda dalam hal penggunaan aplikasi dan pola pengisian daya.

NeuroSplit terus memantau berbagai telemetri perangkat – dari kemampuan perangkat keras hingga utilitas sumber daya saat ini, status baterai, dan kondisi jaringan. Kami juga mempertimbangkan pola perilaku pengguna, seperti berapa banyak aplikasi lain yang sedang berjalan dan pola penggunaan perangkat yang khas. Pemantauan komprehensif ini memungkinkan NeuroSplit untuk secara dinamis menentukan berapa banyak inferensi komputasi yang dapat dijalankan dengan aman pada perangkat pengguna sambil mengoptimalkan indikator kinerja utama pengembang

Ketika privasi data sangat penting, NeuroSplit memastikan data mentah tidak pernah meninggalkan perangkat, memproses informasi sensitif secara lokal sambil mempertahankan kinerja optimal. Kemampuan kami untuk membagi, memotong, atau melepaskan model AI memungkinkan kami untuk memasukkan 50-100 model AI yang lebih kecil dalam ruang memori hanya satu model kuantisasi pada perangkat pengguna. Dalam istilah praktis, ini berarti pengguna dapat menjalankan aplikasi AI yang jauh lebih banyak secara bersamaan, memproses data sensitif secara lokal, dibandingkan dengan pendekatan komputasi statis tradisional.

Apa manfaat utama dari inferensi adaptif NeuroSplit untuk perusahaan AI, terutama mereka yang bekerja dengan teknologi GPU yang lebih lama?

NeuroSplit memberikan tiga manfaat transformasional bagi perusahaan AI. Pertama, itu secara dramatis mengurangi biaya infrastruktur melalui dua mekanisme: perusahaan dapat menggunakan GPU yang lebih murah dan lebih lama secara efektif, dan kemampuan unik kami untuk memasukkan model penuh dan model yang lebih kecil pada GPU cloud memungkinkan tingkat utilitas GPU yang jauh lebih tinggi. Misalnya, aplikasi yang biasanya memerlukan beberapa NVIDIA A100 dengan biaya $2,74 per jam sekarang dapat dijalankan pada satu A100 atau beberapa V100 dengan biaya hanya $0,83 per jam.

Kedua, kami secara substansial meningkatkan kinerja dengan memproses data mentah awal secara langsung pada perangkat pengguna. Ini berarti data yang akhirnya dikirim ke cloud jauh lebih kecil dalam ukuran, secara signifikan mengurangi latensi jaringan sambil mempertahankan akurasi. Pendekatan hibrida ini memberikan perusahaan yang terbaik dari kedua dunia – kecepatan pemrosesan lokal dengan kekuatan komputasi cloud.

Ketiga, dengan menangani pemrosesan data awal yang sensitif pada perangkat pengguna, kami membantu perusahaan mempertahankan perlindungan privasi pengguna yang kuat tanpa mengorbankan kinerja. Ini semakin penting karena peraturan privasi menjadi lebih ketat dan pengguna lebih menyadari privasi.

Bagaimana solusi Skymel mengurangi biaya untuk inferensi AI tanpa mengorbankan kompleksitas model atau akurasi?

Pertama, dengan membagi model AI individu, kami mendistribusikan komputasi antara perangkat pengguna dan cloud. Bagian pertama berjalan pada perangkat pengguna, menangani 5% hingga 100% dari total komputasi tergantung pada sumber daya perangkat yang tersedia. Hanya komputasi yang tersisa perlu diproses pada GPU cloud.

Pembagian ini berarti GPU cloud menangani beban komputasi yang lebih rendah – jika model awalnya memerlukan GPU A100 penuh, setelah pembagian, beban kerja yang sama mungkin hanya memerlukan 30-40% dari kapasitas GPU. Ini memungkinkan perusahaan untuk menggunakan instance GPU yang lebih terjangkau seperti V100.

Kedua, NeuroSplit mengoptimalkan utilitas GPU di cloud. Dengan mengatur model penuh dan model yang lebih kecil secara efisien pada GPU cloud yang sama, kami mencapai tingkat utilitas yang jauh lebih tinggi dibandingkan dengan pendekatan tradisional. Ini berarti lebih banyak model dapat dijalankan secara bersamaan pada GPU cloud yang sama, lebih lanjut mengurangi biaya per inferensi.

Apa yang membedakan pendekatan hibrida (lokal + cloud) Skymel dari solusi infrastruktur AI lain di pasar?

Lanskap AI saat ini berada pada titik infleksi yang menarik. Sementara Apple (AAPL ), Samsung, dan Qualcomm (QCOM ) menunjukkan kekuatan AI hibrida melalui fitur ekosistem mereka, ini tetap merupakan taman yang terisolasi. Tetapi AI tidak boleh dibatasi oleh perangkat pengguna yang digunakan seseorang.

NeuroSplit pada dasarnya tidak bergantung pada perangkat, cloud, dan arsitektur jaringan neural. Ini berarti pengembang akhirnya dapat menyampaikan pengalaman AI yang konsisten terlepas dari apakah pengguna mereka menggunakan iPhone, perangkat Android, atau laptop – atau apakah mereka menggunakan AWS, Azure, atau Google Cloud.

Coba pikirkan apa yang ini berarti bagi pengembang. Mereka dapat membangun aplikasi AI mereka sekali dan tahu itu akan beradaptasi secara cerdas di seluruh perangkat, cloud, dan arsitektur jaringan neural. Tidak perlu lagi membangun versi yang berbeda untuk platform yang berbeda atau mengorbankan fitur berdasarkan kemampuan perangkat.

Kami membawa kemampuan AI hibrida kelas perusahaan keluar dari taman yang terisolasi dan membuatnya secara universal dapat diakses. Ketika AI menjadi sentral untuk setiap aplikasi, fleksibilitas dan konsistensi ini tidak hanya menjadi keunggulan – tetapi esensial untuk inovasi.

Bagaimana Agen Orkestrator melengkapi NeuroSplit, dan apa peran yang dimainkannya dalam mengubah strategi penerapan AI?

Agen Orkestrator (OA) dan NeuroSplit bekerja sama untuk menciptakan sistem penerapan AI yang self-optimizing:

1. Pengembang menetapkan batasan:

• Kendala: model yang diizinkan, versi, penyedia cloud, zona, aturan kepatuhan
• Tujuan: target latensi, batas biaya, persyaratan kinerja, kebutuhan privasi

2. OA bekerja dalam kendala ini untuk mencapai tujuan:

• Memutuskan model/API mana yang digunakan untuk setiap permintaan
• Menyesuaikan strategi penerapan berdasarkan kinerja dunia nyata
• Membuat kompromi untuk mengoptimalkan tujuan yang ditentukan
• Dapat dikonfigurasi ulang secara instan ketika kebutuhan berubah

3. NeuroSplit melaksanakan keputusan OA:

• Menggunakan telemetri perangkat waktu nyata untuk mengoptimalkan eksekusi
• Memisahkan pemrosesan antara perangkat dan cloud ketika bermanfaat
• Memastikan setiap inferensi berjalan secara optimal tergantung pada kondisi saat ini

Ini seperti memiliki sistem AI yang mengoptimalkan diri secara otomatis dalam aturan dan target yang ditentukan, bukan memerlukan optimasi manual untuk setiap skenario.

Menurut Anda, bagaimana Agen Orkestrator akan mengubah cara AI diterapkan di seluruh industri?

Ini memecahkan tiga tantangan kritis yang telah menghambat adopsi dan inovasi AI.

Pertama, ini memungkinkan perusahaan untuk mengikuti kemajuan AI terbaru dengan mudah. Dengan Agen Orkestrator, Anda dapat segera memanfaatkan model dan teknik terbaru tanpa harus membangun kembali infrastruktur. Ini adalah keunggulan kompetitif besar dalam dunia di mana inovasi AI bergerak dengan kecepatan yang luar biasa.

Kedua, ini memungkinkan optimasi dinamis per permintaan dari pemilihan model AI. Agen Orkestrator dapat secara cerdas mencampur dan mencocokkan model dari ekosistem pilihan untuk memberikan hasil terbaik untuk setiap interaksi pengguna. Misalnya, AI layanan pelanggan dapat menggunakan model khusus untuk pertanyaan teknis dan model lain untuk pertanyaan tagihan, memberikan hasil yang lebih baik untuk setiap jenis interaksi.

Ketiga, ini memaksimalkan kinerja sambil meminimalkan biaya. Agen secara otomatis menyeimbangkan antara menjalankan AI pada perangkat pengguna atau di cloud berdasarkan apa yang paling masuk akal pada saat itu. Ketika privasi sangat penting, itu memproses data secara lokal. Ketika daya komputasi tambahan diperlukan, itu memanfaatkan cloud. Semua ini terjadi di balik layar, menciptakan pengalaman yang mulus untuk pengguna sambil mengoptimalkan sumber daya untuk bisnis.

Tapi apa yang benar-benar membedakan Agen Orkestrator adalah bagaimana itu memungkinkan bisnis untuk menciptakan pengalaman hiper-personalisasi generasi berikutnya untuk pengguna mereka. Ambil platform e-learning – dengan teknologi kami, mereka dapat membangun sistem yang secara otomatis menyesuaikan pendekatan pengajarannya berdasarkan tingkat pemahaman siswa. Ketika pengguna mencari “pembelajaran mesin”, platform tidak hanya menampilkan hasil generik – itu dapat segera menilai pemahaman mereka saat ini dan menyesuaikan penjelasan menggunakan konsep yang mereka sudah ketahui.

Ultimamente, Agen Orkestrator mewakili masa depan penerapan AI – pergeseran dari infrastruktur AI statis dan monolitik ke orkestrasi AI yang dinamis dan self-optimizing. Ini tidak hanya tentang membuat penerapan AI lebih mudah – tetapi tentang membuat kelas aplikasi AI yang sama sekali baru menjadi mungkin.

Apa umpan balik yang Anda terima dari perusahaan yang berpartisipasi dalam beta pribadi Agen Orkestrator?

Umpan balik dari peserta beta pribadi kami telah luar biasa! Perusahaan sangat senang menemukan bahwa mereka akhirnya dapat bebas dari ketergantungan infrastruktur, baik pada model atau layanan hosting. Kemampuan untuk memastikan keputusan penerapan apa pun di masa depan telah menjadi perubahan besar, menghilangkan bulan-bulan kerja ulang ketika beralih antara pendekatan.

Hasil kinerja NeuroSplit kami tidak ada duanya – kami tidak sabar untuk membagikannya secara publik segera. Yang paling menarik adalah bagaimana konsep penerapan AI adaptif telah menangkap imajinasi. Fakta bahwa AI mengatur dirinya sendiri terdengar futuristik dan bukan sesuatu yang mereka harapkan sekarang, jadi hanya dari kemajuan teknologi orang menjadi bersemangat tentang kemungkinan dan pasar baru yang mungkin diciptakan di masa depan.

Dengan kemajuan cepat dalam AI generatif, apa yang Anda lihat sebagai hambatan utama berikutnya untuk infrastruktur AI, dan bagaimana Skymel berencana untuk mengatasi mereka?

Kita menuju masa depan yang belum banyak dipahami: tidak akan ada satu model AI dominan, tetapi miliaran model. Bahkan jika kita menciptakan model AI umum yang paling kuat, kita masih memerlukan versi yang dipersonalisasi untuk setiap orang di Bumi, masing-masing disesuaikan dengan konteks, preferensi, dan kebutuhan unik. Ini menandai pergeseran revolusioner dari pendekatan satu-ukuran-untuk-semua saat ini. Masa depan menuntut infrastruktur cerdas yang dapat menangani miliaran model. Di Skymel, kita tidak hanya memecahkan tantangan penerapan hari ini – jalan peta teknologi kita sudah membangun fondasi untuk apa yang akan datang selanjutnya.

Bagaimana Anda membayangkan infrastruktur AI akan berkembang dalam lima tahun ke depan, dan apa peran yang Anda lihat Skymel mainkan dalam evolusi ini?

Lanskap infrastruktur AI akan mengalami perubahan mendasar. Sementara fokus hari ini adalah pada penskalaan model bahasa besar di cloud, lima tahun ke depan akan melihat AI menjadi sangat dipersonalisasi dan sadar konteks. Ini bukan hanya tentang fine-tuning – ini tentang AI yang beradaptasi dengan pengguna, perangkat, dan situasi tertentu secara real-time.

Perubahan ini menciptakan dua tantangan infrastruktur utama. Pertama, pendekatan tradisional menjalankan semuanya di pusat data terpusat menjadi tidak berkelanjutan baik secara teknis maupun ekonomis. Kedua, kompleksitas aplikasi AI yang meningkat berarti kita memerlukan infrastruktur yang dapat mengoptimalkan secara dinamis di seluruh model, perangkat, dan lokasi komputasi.

Di Skymel, kita membangun infrastruktur yang secara khusus menangani tantangan ini. Teknologi kita memungkinkan AI untuk berjalan di mana pun itu membuat paling masuk akal – apakah itu pada perangkat tempat data dibuat, di cloud tempat lebih banyak komputasi tersedia, atau secara cerdas dipisahkan antara keduanya. Yang lebih penting, itu menyesuaikan keputusan ini secara real-time berdasarkan kondisi dan persyaratan yang berubah.

Menjelang masa depan, aplikasi AI yang sukses tidak akan ditentukan oleh ukuran model atau jumlah komputasi yang dapat diakses. Mereka akan ditentukan oleh kemampuan mereka untuk menyampaikan pengalaman yang dipersonalisasi dan responsif sambil mengelola sumber daya secara efisien. Tujuan kami adalah membuat tingkat optimasi cerdas ini dapat diakses oleh setiap aplikasi AI, terlepas dari skala atau kompleksitas. Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Skymel.