Div Garg, CEO dan Co-Founder AGI, Inc – Seri Wawancara

Div Garg, CEO dan Co-Founder AGI, Inc, adalah peneliti AI dan wirausahawan yang fokus pada agen otonom, kecerdasan tepi, penglihatan komputer, dan robotika. Sebelum mendirikan AGI, Inc, ia mendirikan dan memimpin MultiOn, pelopor awal dalam agen penggunaan komputer, dan kemudian menjabat sebagai ketua dewan direksinya. Garg juga menghabiskan hampir empat tahun sebagai anggota fakultas tambahan di Universitas Stanford, di mana ia menciptakan CS 25: Transformers United, kursus pertama universitas yang didedikasikan untuk arsitektur transformer. Pengalaman sebelumnya termasuk memimpin pengembangan kecerdasan buatan di Collaborative Robotics, melakukan penelitian di NVIDIA (NVDA ) dan Apple (AAPL ), dan bekerja pada teknologi penglihatan komputer dan pengemudi otonom di Google, Uber, dan Universitas Cornell, di mana penelitiannya termasuk pendekatan Pseudo-LiDAR yang berpengaruh untuk persepsi 3D berbasis kamera.

AGI, Inc adalah perusahaan penelitian AI yang mengembangkan kecerdasan pribadi, aman, dan dapat diakses yang beroperasi langsung pada perangkat tepi. Teknologi andalannya, AGI-0, adalah sistem AI yang berorientasi pada tindakan yang dirancang untuk memahami preferensi pengguna dan menyelesaikan tugas di seluruh aplikasi pada ponsel, komputer, perangkat yang dapat dikenakan, dan perangkat terhubung lainnya, termasuk alur kerja yang melibatkan berbelanja, transportasi, penjadwalan, pengiriman pesan, dan hiburan. Perusahaan ini juga menawarkan platform yang memungkinkan produsen perangkat keras dan pengembang menambahkan agen yang sadar layar yang dapat bernalar dan bertindak di seluruh aplikasi yang ada tanpa membangun integrasi terpisah untuk setiap aplikasi. AGI, Inc telah mendemonstrasikan teknologinya dengan Lenovo dan mengoptimalkan tumpukan agennya untuk perangkat yang ditenagai oleh Qualcomm (QCOM ) Snapdragon.

Anda telah bekerja di Apple, Google, Nvidia, dan membantu mempelopori sistem agen awal di MultiOn sebelum berhenti dari PhD Anda di Stanford untuk mendirikan AGI, Inc. Apa keterbatasan spesifik atau momen yang membuat Anda yakin bahwa pendekatan AI yang ada tidak cukup, dan bahwa membangun agen otonom pada perangkat adalah jalur yang tepat?

Perubahan ini terjadi sekitar tahun 2023-2024 ketika saya bekerja pada agen web. Kami dapat membuat agen untuk melakukan tindakan di browser, tetapi hanya jika situs web memiliki struktur yang tepat yang dapat bekerja dengan agen. Begitu sesuatu salah dan tidak berperilaku seperti versi ideal dari DOM, seperti jendela modal atau efek animasi, agen berhenti berfungsi. Di sisi lain, segala sesuatu yang penting ketika orang ingin berinteraksi dengan smartphone mereka terjadi dalam aplikasi. Aplikasi tidak menyediakan jenis API; mereka menyajikan layar sebagai gantinya.

Perbedaan ini menyebabkan kita menyimpulkan bahwa solusi untuk masalah ini bukanlah API yang lebih canggih atau model yang lebih besar, tetapi agen yang akan mengoperasikan perangkat dari sudut pandang orang. Ini berarti memperlakukan smartphone seperti orang – berinteraksi dengan layarnya.

Banyak asisten AI hari ini masih sangat bergantung pada API, integrasi, dan orkestrasi cloud. Apa yang rusak dalam model itu, dan mengapa Anda percaya bahwa eksekusi pada perangkat adalah lapisan yang hilang?

Ada tiga masalah dengan itu. Yang pertama adalah cakupan. API memerlukan semua pengembang untuk berantarmuka dengan Anda, yang membatasi kemampuan agen Anda untuk mitra yang paling lambat. App Intents dari Apple adalah contoh teknologi yang dimulai sejak WWDC 2024. Kemudian ada privasi. Orkestrasi cloud memerlukan bahwa konten layar, pesan, dan aktivitas Anda pergi ke server pihak ketiga. Akhirnya, ada masalah biaya dan latensi. Semua pemrosesan putaran melalui cloud membuatnya lambat dan mahal.

Eksekusi pada perangkat menyelesaikan semua masalah ini. Agen Anda tidak bergantung pada orang lain dan berantarmuka dengan sistem dengan berinteraksi dengan UI secara langsung.

Pendekatan Anda menggeser AI dari menjawab pertanyaan ke menyelesaikan tugas di seluruh aplikasi. Apa tantangan teknis yang paling sulit dalam memungkinkan agen untuk secara andal mengoperasikan ponsel seperti manusia?

Mengontrol ponsel secara andal lebih sulit daripada yang terdengar. Pertama, agen harus secara bersamaan memahami layar ponsel seperti manusia, memahami apa yang akan terjadi selanjutnya, dan melakukan tindakan yang tepat. Pemahaman dilakukan oleh model visi-bahasa yang dapat mengenali tombol, kotak teks, menu, tata letak, dll. Pemilihan tindakan diperlukan untuk menangani ketidakjelasan, halaman yang dimuat sebagian, dialog modal, dan kesalahan. Terakhir, tindakan harus akurat enough untuk tap untuk mendarat di lokasi yang benar.

Masalah yang paling signifikan, bagaimanapun, terletak pada kemampuan untuk secara andal berinteraksi dengan aplikasi yang kompleks selama periode waktu yang lama. Membukukan Uber adalah satu hal, tetapi melakukan proses multi-langkah dalam aplikasi di mana setiap langkah bergantung pada interaksi sebelumnya adalah permainan yang sama sekali berbeda. Ini adalah alasan mengapa pelatihan model end-to-end sangat penting untuk pengembangan produk.

Anda telah menjelaskannya sebagai bergerak dari asisten ke agen. Apa yang benar-benar berarti transisi ini dalam praktek untuk pengguna sehari-hari, dan seberapa cepat Anda mengharapkan perilaku untuk berubah?

Perubahan praktis datang dari antarmuka itu sendiri. Di mana hari ini kita memiliki aplikasi dan belajar menggunakan aplikasi, besok kita akan memiliki agen, dan aplikasi akan menjadi kemampuan yang disusun oleh agen atas nama kita. Kita berhenti memikirkan aplikasi dan mulai memikirkan tentang niat: “Bukukan aku sebuah taksi pulang.” “Kirimkan foto-foto dari akhir pekan ke Ibu.” “Tunjukkan aku hotel di Lisbon di mana aku bisa mendapatkan sedikit ketenangan untuk akhir pekan depan.” Agen tahu aplikasi mana yang harus digunakan.

Perubahan perilaku dimulai secara perlahan dan semakin cepat seiring waktu. Awalnya, orang akan mencoba pendekatan ini untuk tugas-tugas sederhana yang mereka percayai dan kemudian memperluasnya sejauh mungkin. Pemicu untuk penerimaan skala penuh akan datang ketika agen mendapatkan tugas-tugas rutin yang benar di ponsel kita setiap saat.

Dengan kemitraan seperti Qualcomm dan Lenovo, seberapa penting integrasi perangkat keras dan perangkat lunak yang ketat untuk membuat AI agen dapat digunakan pada skala besar?

Ini adalah perbedaan antara prototipe yang digunakan untuk tujuan penelitian dan aplikasi yang benar-benar dapat digunakan. Perangkat yang ditenagai oleh Snapdragon memiliki unit pemrosesan neural, yang akan memastikan bahwa algoritma agen dapat beroperasi pada perangkat dengan penundaan minimal dan konsumsi energi. Qualcomm telah menghabiskan bertahun-tahun untuk mencapai optimasi ini, dan kemitraan yang kami umumkan di MWC 2026 memiliki tujuan ini.

Ujung lainnya adalah Lenovo. Lenovo dapat mencapai ratusan juta pengguna di seluruh smartphone, tablet, dan PC, yang mencari untuk membedakan diri menggunakan AI. Melalui kemitraan dengan mitra yang memiliki portofolio perangkat yang ada dan mencapai mereka dengan cepat dan transparan, mengalahkan rute alternatif. Saya tahu ini dari pengalaman.

Kepercayaan tampaknya seperti hambatan besar. Bagaimana Anda merancang sistem di mana pengguna merasa nyaman membiarkan AI mengambil tindakan atas nama mereka, terutama ketika tindakan tersebut melibatkan beberapa aplikasi dan data sensitif?

Kepercayaan dibangun pada dasar kejujuran tentang apa yang agen dapat dan tidak dapat lakukan. Setiap tindakan yang melibatkan sesuatu yang penting, seperti melakukan pembelian, mengirim pesan, atau mengubah pengaturan akun, memerlukan persetujuan pengguna. Agen memiliki kemampuan untuk pergi sepanjang jalan ke halaman checkout atas kemauannya sendiri, tetapi tidak lebih jauh sampai Anda membuatnya terjadi. Kemitraan kami dengan Visa menambahkan rel kereta pembayaran yang diautentikasi di atasnya.

Semua ini dilakukan berdasarkan dua filosofi sederhana. Yang pertama adalah “manusia dalam loop untuk apa pun yang substansial.” Yang kedua adalah “kemunduran di mana saja mungkin.” Selain itu, agen hanya akan melihat apa yang terlihat di layar dan menghormati izin OS yang telah ditetapkan.

Ada narasi yang berkembang bahwa ekonomi aplikasi dapat terganggu. Apakah Anda melihat agen menggantikan aplikasi sepenuhnya, atau mengubah cara aplikasi diakses dan dimonetisasi?

Aplikasi tidak pernah hilang. Dinamika hanya bergeser. Untuk hari ini, aplikasi adalah cara merek berkomunikasi dengan konsumen. Besok, agen akan menjadi, dan aplikasi akan menjadi alat yang digunakan oleh agen. Pengembang aplikasi ada untuk tetap karena akan selalu ada kebutuhan untuk aplikasi di balik panggilan layanan, pesan teks, atau transaksi. Perbedaan akan menjadi antarmuka di mana pilihan tersebut dibuat.

Ini mewakili frontier baru untuk aplikasi dan merek yang menggunakan mereka. Ini mewakili tidak ada ancaman sama sekali, tetapi kesempatan luar biasa untuk mengeksplorasi dan mengembangkan dengan mitra kami dalam pengembangan dan platform.

Sistem Anda menghindari ketergantungan pada API. Apakah ini menciptakan ketegangan dengan pengembang dan platform, atau akhirnya membuka ekosistem yang lebih terbuka?

Ini kurang kontroversial daripada yang terdengar. Tidak ada persaingan antara pengembang dan kami. Cara kerja antarmuka adalah proses yang sama yang akan digunakan seseorang untuk menggunakan aplikasi, sehingga agen menggunakan antarmuka yang sama seperti orang lain. Pengembang dapat menggunakan praktik teknis umum untuk memblokir akses, dan kami memahami alasan mereka.

Hasil yang lebih menarik adalah tidak adanya persaingan. Sistem terbuka dengan interoperabilitas universal menguntungkan semua orang, dibandingkan dengan sistem tertutup, di mana setiap asisten hanya dapat digunakan pada aplikasi tertentu, karena hanya mendukung integrasi khusus. Universalitas membantu pengguna, tetapi juga membantu aplikasi dengan nilai sebenarnya.

AI pada perangkat sering kali dianggap sebagai keuntungan privasi. Bagaimana Anda menyeimbangkan pemrosesan lokal dengan kebutuhan akan model yang kuat yang secara tradisional memerlukan komputasi skala besar?

Ini adalah sistem hibrida yang akan terus berkembang menuju sistem yang sepenuhnya pada perangkat. Tindakan dan penalaran ringan terjadi pada ponsel, sementara penalaran berat terjadi di cloud. Dengan optimasi tumpukan melalui kerja sama kami dengan Qualcomm dan kemampuan NPU ponsel yang semakin canggih, ada pergeseran menuju model yang lebih terlokalisasi. Saat ini, sebagian besar ponsel unggulan yang tersedia di pasar memiliki kemampuan untuk menangani beban kerja yang diperlukan.

Dikotomi antara kinerja yang kuat dan pengorbanan lokalisasi atau sebaliknya sudah ketinggalan zaman. Model menjadi lebih efisien, dan perangkat keras pada ponsel menjadi lebih mampu. Semua ini dapat dicapai ketika tumpukan dioptimalkan dengan baik.

Melihat ke depan tiga hingga lima tahun, apa yang tampak seperti perangkat AI-asli yang sepenuhnya direalisasikan, dan apa yang perlu terjadi secara teknis dan budaya sebelum visi itu menjadi mainstream?

Implementasi sebenarnya akan menjadi satu agen yang mengikuti Anda di seluruh perangkat. Anda mengatakan kepada PC Anda untuk mencari informasi tentang hadiah, beralih ke smartphone Anda untuk melakukan pembelian, kemudian mengatakan kepada mobil Anda untuk memanaskan. Niatnya sama; konteksnya tetap konstan, sementara permukaan berubah. Ponsel adalah titik penyisipan karena itu adalah tempat sebagian besar komputasi terjadi saat ini. Setelah itu, akan berpindah ke PC, TV, mobil, dan akhirnya ke kacamata pintar, dan kolaborasi Qualcomm membuat perbedaan besar dalam hal ini.

Dari sudut pandang teknis, ini adalah melanjutkan penalaran pada perangkat dan meningkatkan keandalan jangka panjang, serta transisi perangkat yang tepat. Dari sudut pandang budaya, perubahan akan menjadi semakin mempercayai agen dengan tugas yang semakin kompleks, yang didasarkan pada agen yang mengatakan kepada Anda semua yang tidak dapat dilakukan tanpa ragu-ragu, dan juga tidak melanggar janji sederhana yang dibuat kepada Anda.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi AGI, Inc.