Munculnya Multimodal Large Language Models (MLLM) telah membawa kita ke era baru agen perangkat bergerak, yang dapat memahami dan berinteraksi dengan dunia melalui teks, gambar, dan suara. Agen-agen ini menandai kemajuan signifikan dibandingkan dengan AI tradisional, menyediakan cara yang lebih kaya dan intuitif bagi pengguna untuk berinteraksi dengan perangkat mereka. Dengan memanfaatkan MLLM, agen-agen ini dapat memproses dan mensintesis jumlah besar informasi dari berbagai modalitas, memungkinkan mereka untuk menawarkan bantuan yang dipersonalisasi dan meningkatkan pengalaman pengguna dengan cara yang sebelumnya tidak terbayangkan.

Agen-agen ini ditenagai oleh teknik pembelajaran mesin mutakhir dan kemampuan pemrosesan bahasa alami yang canggih, memungkinkan mereka untuk memahami dan menghasilkan teks yang mirip dengan manusia, serta menafsirkan data visual dan auditori dengan akurasi yang luar biasa. Dari mengenali objek dan adegan dalam gambar hingga memahami perintah suara dan menganalisis sentimen teks, agen-agen multimodal ini dilengkapi untuk menangani berbagai input dengan mulus. Potensi teknologi ini sangat luas, menawarkan layanan yang lebih canggih dan kontekstual, seperti asisten virtual yang disesuaikan dengan emosi manusia dan alat pendidikan yang menyesuaikan diri dengan gaya belajar individu. Mereka juga memiliki potensi untuk merevolusi aksesibilitas, membuat teknologi lebih mudah diakses melintasi bahasa dan hambatan sensorik.

Dalam artikel ini, kita akan membahas tentang Agen-Mobil, sebuah agen perangkat bergerak otonom multimodal yang pertama kali memanfaatkan kemampuan alat persepsi visual untuk mengidentifikasi dan menemukan elemen visual dan teks dengan akurat dalam antarmuka pengguna aplikasi mobile. Dengan menggunakan konteks visi yang diperoleh, kerangka kerja Agen-Mobil merencanakan dan memecah tugas operasi yang kompleks secara otonom, dan menavigasi melalui aplikasi mobile melalui operasi langkah demi langkah. Kerangka kerja Agen-Mobil berbeda dari solusi yang ada karena tidak bergantung pada metadata sistem mobile atau file XML aplikasi mobile, sehingga memungkinkan peningkatan fleksibilitas di berbagai lingkungan operasi mobile dengan fokus pada pemrosesan visual. Pendekatan yang diikuti oleh kerangka kerja Agen-Mobil menghilangkan kebutuhan akan adaptasi khusus sistem, menghasilkan kinerja yang ditingkatkan dan permintaan komputasi yang lebih rendah.

Agen-Mobil: Agen Perangkat Bergerak Multimodal Otonom

Di dunia teknologi mobile yang cepat, konsep inovatif muncul sebagai yang terdepan: Model Bahasa Besar, terutama Multimodal Model Bahasa Besar atau MLLM yang dapat menghasilkan berbagai teks, gambar, video, dan suara di berbagai bahasa. Perkembangan pesat kerangka kerja MLLM dalam beberapa tahun terakhir telah melahirkan aplikasi baru dan kuat dari MLLM: agen mobile otonom. Agen mobile otonom adalah entitas perangkat lunak yang bertindak, bergerak, dan berfungsi secara independen, tanpa memerlukan perintah manusia langsung, dirancang untuk menavigasi jaringan atau perangkat untuk menyelesaikan tugas, mengumpulkan informasi, atau memecahkan masalah.

Agen-Mobil dirancang untuk beroperasi pada perangkat mobile pengguna berdasarkan instruksi pengguna dan visual layar, tugas yang memerlukan agen untuk memiliki kemampuan pemahaman semantik dan persepsi visual. Namun, agen mobile yang ada jauh dari sempurna karena mereka didasarkan pada model bahasa besar multimodal, dan bahkan kerangka kerja MLLM terbaru termasuk GPT-4V kekurangan kemampuan persepsi visual yang diperlukan untuk menjadi agen mobile yang efektif. Selain itu, meskipun kerangka kerja yang ada dapat menghasilkan operasi yang efektif, mereka kesulitan menemukan posisi operasi tersebut dengan akurat di layar, membatasi aplikasi dan kemampuan agen mobile untuk beroperasi pada perangkat mobile.

Untuk mengatasi masalah ini, beberapa kerangka kerja memilih untuk menggunakan file tata letak antarmuka pengguna untuk membantu GPT-4V atau MLLM lainnya dengan kemampuan lokalasi, dengan beberapa kerangka kerja berhasil mengekstrak posisi operasi yang dapat dioperasikan dengan mengakses file XML aplikasi, sementara kerangka kerja lainnya memilih untuk menggunakan kode HTML dari aplikasi web. Seperti yang dapat dilihat, sebagian besar kerangka kerja ini bergantung pada akses ke file aplikasi lokal, membuat metode ini hampir tidak efektif jika kerangka kerja tidak dapat mengakses file-file tersebut. Untuk mengatasi masalah ini dan menghilangkan ketergantungan agen lokal pada file-file lokal dalam metode lokalasi, pengembang telah bekerja pada Agen-Mobil, sebuah agen mobile otonom dengan kemampuan persepsi visual yang mengesankan. Dengan menggunakan modul persepsi visualnya, kerangka kerja Agen-Mobil menggunakan screenshot dari perangkat mobile untuk menemukan operasi dengan akurat.

Selanjutnya, kerangka kerja Agen-Mobil bertujuan untuk memanfaatkan kemampuan kontekstual kerangka kerja MLLM terbaru seperti GPT-4V untuk mencapai kemampuan perencanaan mandiri yang memungkinkan model untuk merencanakan tugas berdasarkan riwayat operasi, instruksi pengguna, dan screenshot secara holistik. Untuk lebih meningkatkan kemampuan agen untuk mengidentifikasi instruksi yang tidak lengkap dan operasi yang salah, kerangka kerja Agen-Mobil memperkenalkan metode refleksi mandiri. Di bawah bimbingan prompt yang dirancang dengan hati-hati, agen merefleksikan operasi yang salah dan tidak valid secara konsisten, dan menghentikan operasi ketika tugas atau instruksi telah selesai.

Secara keseluruhan, kontribusi kerangka kerja Agen-Mobil dapat diringkas sebagai berikut:

1. Agen-Mobil bertindak sebagai agen perangkat bergerak otonom, menggunakan alat persepsi visual untuk melakukan lokalasi operasi. Ini merencanakan setiap langkah dan melakukan introspeksi. Yang menonjol, Agen-Mobil hanya bergantung pada screenshot perangkat, tanpa menggunakan kode sistem, menunjukkan solusi yang murni berbasis visi.
2. Agen-Mobil memperkenalkan Mobile-Eval, sebuah benchmark yang dirancang untuk mengevaluasi agen perangkat bergerak. Benchmark ini mencakup berbagai aplikasi mobile yang paling umum digunakan, bersama dengan instruksi cerdas untuk aplikasi tersebut, dikategorikan menjadi tiga tingkat kesulitan.

Agen-Mobil : Arsitektur dan Metodologi

Pada intinya, kerangka kerja Agen-Mobil terdiri dari Model Bahasa Besar Multimodal terbaru, GPT-4V, sebuah modul deteksi teks untuk tugas lokalasi teks. Bersama dengan GPT-4V, Agen-Mobil juga menggunakan modul deteksi ikon untuk lokalasi ikon.

Persepsi Visual

Seperti yang disebutkan sebelumnya, MLLM GPT-4V menghasilkan hasil yang memuaskan untuk instruksi dan screenshot, tetapi gagal untuk mengeluarkan lokasi operasi dengan efektif. Karena keterbatasan ini, kerangka kerja Agen-Mobil yang mengimplementasikan model GPT-4V perlu bergantung pada alat eksternal untuk membantu dengan lokalasi operasi, sehingga memfasilitasi output operasi pada layar mobile.

Lokalasi Teks

Kerangka kerja Agen-Mobil mengimplementasikan alat OCR untuk mendeteksi posisi teks yang sesuai pada layar ketika agen perlu mengetuk teks tertentu yang ditampilkan pada layar mobile. Ada tiga skenario lokalasi teks yang unik.

Skenario 1: Tidak Ada Teks yang Ditentukan yang Terdeteksi

Masalah: OCR gagal mendeteksi teks yang ditentukan, yang mungkin terjadi pada gambar yang kompleks atau karena keterbatasan OCR.

Tanggapan: Instruksikan agen untuk melakukan salah satu dari yang berikut:

• Pilih teks untuk mengetuk, memungkinkan koreksi manual dari kesalahan OCR, atau
• Pilih operasi alternatif, seperti menggunakan metode input yang berbeda atau melakukan tindakan lain yang relevan dengan tugas yang sedang dilakukan.

Alasan: Fleksibilitas ini diperlukan untuk mengelola ketidakakuratan atau halusinasi GPT-4V yang terjadi, memastikan agen dapat melanjutkan dengan efektif.

Skenario 2: Satu Instans Teks yang Ditentukan yang Terdeteksi

Operasi: Secara otomatis menghasilkan tindakan untuk mengklik pada koordinat tengah kotak teks yang terdeteksi.

Justifikasi: Dengan hanya satu instans yang terdeteksi, kemungkinan identifikasi yang benar sangat tinggi, membuatnya efisien untuk melanjutkan dengan tindakan langsung.

Skenario 3: Beberapa Instans Teks yang Ditentukan yang Terdeteksi

Evaluasi: Pertama, evaluasi jumlah instans yang terdeteksi:

Banyak Instans: Menunjukkan layar yang dipenuhi dengan konten yang serupa, mempersulit proses pemilihan.

Tindakan: Minta agen untuk memilih teks lagi, dengan tujuan untuk memperbaiki pemilihan atau menyesuaikan parameter pencarian.

Sedikit Instans: Jumlah deteksi yang dapat diatasi memungkinkan pendekatan yang lebih halus.

Tindakan: Potong wilayah di sekitar instans tersebut, memperluas kotak deteksi teks ke luar untuk menangkap konteks tambahan. Ini memastikan bahwa lebih banyak informasi dipertahankan, membantu dalam proses pengambilan keputusan.

Langkah Berikutnya: Gambar kotak deteksi pada gambar yang dipotong dan tampilkan kepada agen. Bantuan visual ini membantu agen dalam memutuskan instans mana yang harus diinteraksikan, berdasarkan petunjuk kontekstual atau kebutuhan tugas.

Pendekatan terstruktur ini mengoptimalkan interaksi antara hasil OCR dan operasi agen, meningkatkan keandalan dan adaptabilitas sistem dalam menangani tugas berbasis teks di berbagai skenario. Proses ini ditunjukkan dalam gambar berikut.

Lokalasi Ikon

Kerangka kerja Agen-Mobil mengimplementasikan alat deteksi ikon untuk menemukan posisi ikon ketika agen perlu mengkliknya di layar mobile. Secara khusus, kerangka kerja ini meminta agen untuk memberikan atribut tertentu dari gambar, termasuk bentuk dan warna, dan kemudian kerangka kerja ini mengimplementasikan metode Grounding DINO dengan prompt ikon untuk mengidentifikasi semua ikon yang terkandung dalam screenshot. Akhirnya, Agen-Mobil menggunakan kerangka kerja CLIP untuk menghitung kesamaan antara deskripsi wilayah klik dan menghitung kesamaan antara ikon yang dihapus, dan memilih wilayah dengan kesamaan tertinggi untuk diklik.

Eksekusi Instruksi

Untuk menerjemahkan tindakan menjadi operasi pada layar oleh agen, kerangka kerja Agen-Mobil mendefinisikan 8 operasi yang berbeda.

• Meluncurkan Aplikasi (Nama Aplikasi): Meluncurkan aplikasi yang ditentukan dari antarmuka desktop.
• Mengetuk Teks (Label Teks): Berinteraksi dengan bagian layar yang menampilkan label “Label Teks”.
• Berinteraksi dengan Ikon (Deskripsi Ikon, Lokasi): Menargetkan dan mengklik area ikon yang ditentukan, di mana “Deskripsi Ikon” merinci atribut seperti warna dan bentuk ikon. Pilih “Lokasi” dari opsi seperti atas, bawah, kiri, kanan, atau tengah, mungkin menggabungkan dua untuk navigasi yang lebih presisi dan mengurangi kesalahan.
• Menginput Teks (Teks Input): Menginput teks yang diberikan “Teks Input” ke dalam bidang teks yang aktif.
• Menggulir Ke Atas & Bawah: Menavigasi ke atas atau ke bawah melalui konten halaman yang sedang ditampilkan.
• Kembali: Kembali ke halaman sebelumnya.
• Tutup: Kembali ke desktop langsung dari layar yang sedang ditampilkan.
• Hentikan: Menghentikan operasi ketika tugas telah selesai.

Perencanaan Mandiri

Setiap langkah operasi dieksekusi secara iteratif oleh kerangka kerja, dan sebelum memulai setiap iterasi, pengguna diminta untuk memberikan instruksi input, dan model Agen-Mobil menggunakan instruksi untuk menghasilkan prompt sistem untuk proses keseluruhan. Selanjutnya, sebelum memulai setiap iterasi, kerangka kerja menangkap screenshot dan memberikannya kepada agen. Agen kemudian mengamati screenshot, riwayat operasi, dan prompt sistem untuk mengeluarkan langkah berikutnya dari operasi.

Refleksi Mandiri

Selama operasinya, agen mungkin menghadapi kesalahan yang mencegahnya untuk mengeksekusi perintah dengan sukses. Untuk meningkatkan tingkat pengisian instruksi, pendekatan evaluasi diri telah diimplementasikan, yang diaktifkan dalam dua keadaan tertentu. Pertama, jika agen mengeksekusi tindakan yang rusak atau tidak valid yang menghentikan kemajuan, seperti ketika agen mengenali screenshot tetap tidak berubah setelah operasi atau menampilkan halaman yang salah, maka agen akan diarahkan untuk mempertimbangkan tindakan alternatif atau menyesuaikan parameter operasi yang ada. Kedua, agen mungkin melewatkan beberapa elemen dari instruksi yang kompleks. Setelah agen mengeksekusi serangkaian tindakan berdasarkan rencana awal, agen akan diminta untuk meninjau urutan tindakan, screenshot terbaru, dan instruksi pengguna untuk menilai apakah tugas telah selesai. Jika ditemukan ketidaksesuaian, agen ditugaskan untuk menghasilkan tindakan baru secara mandiri untuk memenuhi instruksi.

Agen-Mobil : Eksperimen dan Hasil

Untuk mengevaluasi kemampuan secara komprehensif, kerangka kerja Agen-Mobil memperkenalkan benchmark Mobile-Eval yang terdiri dari 10 aplikasi mobile yang umum digunakan, dan merancang tiga instruksi untuk setiap aplikasi. Operasi pertama relatif sederhana dan hanya mencakup operasi aplikasi dasar, sedangkan operasi kedua sedikit lebih kompleks daripada yang pertama karena memiliki beberapa persyaratan tambahan. Akhirnya, operasi ketiga adalah yang paling kompleks karena mengandung instruksi abstrak pengguna dengan pengguna tidak secara eksplisit menentukan aplikasi mana yang harus digunakan atau operasi apa yang harus dilakukan.

Selanjutnya, untuk menilai kinerja dari berbagai perspektif, kerangka kerja Agen-Mobil merancang dan mengimplementasikan 4 metrik yang berbeda.

• Su atau Keberhasilan: Jika agen mobile menyelesaikan instruksi, maka dianggap sebagai keberhasilan.

• Skor Proses atau PS: Metrik Skor Proses mengukur akurasi setiap langkah selama eksekusi instruksi pengguna, dan dihitung dengan membagi jumlah langkah yang benar dengan total jumlah langkah.

• Efisiensi Relatif atau RE: Skor efisiensi relatif adalah rasio atau perbandingan antara jumlah langkah yang diperlukan untuk menyelesaikan instruksi secara manual oleh manusia dan jumlah langkah yang diperlukan oleh agen untuk mengeksekusi instruksi yang sama.

• Tingkat Penyelesaian atau CR: Metrik tingkat penyelesaian membagi jumlah langkah yang dioperasikan oleh kerangka kerja dengan sukses dengan total jumlah langkah yang diambil oleh manusia untuk menyelesaikan instruksi. Nilai CR adalah 1 ketika agen menyelesaikan instruksi dengan sukses.

Hasilnya ditunjukkan dalam gambar berikut.

Awalnya, untuk tiga tugas yang diberikan, Agen-Mobil mencapai tingkat penyelesaian sebesar 91%, 82%, dan 82%, masing-masing. Meskipun tidak semua tugas dieksekusi dengan sempurna, tingkat keberhasilan untuk setiap kategori tugas melampaui 90%. Selanjutnya, metrik PS mengungkapkan bahwa Agen-Mobil secara konsisten menunjukkan kemungkinan tinggi untuk mengeksekusi tindakan yang akurat untuk tiga tugas, dengan tingkat keberhasilan sekitar 80%. Tambahan lagi, menurut metrik RE, Agen-Mobil menunjukkan efisiensi sebesar 80% dalam melakukan operasi pada tingkat yang setara dengan optimalitas manusia. Hasil-hasil ini secara kolektif menekankan kemampuan Agen-Mobil sebagai asisten perangkat mobile.

Gambar berikut mengilustrasikan kemampuan Agen-Mobil untuk memahami perintah pengguna dan mengatur tindakannya secara mandiri. Bahkan dalam ketiadaan detail operasi yang eksplisit dalam instruksi, Agen-Mobil dengan cekatan menafsirkan kebutuhan pengguna, mengubahnya menjadi tugas yang dapat dioperasikan. Setelah memahami ini, agen mengeksekusi instruksi melalui proses perencanaan yang sistematis.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang Agen-Mobil, sebuah agen perangkat bergerak multimodal otonom yang pertama kali menggunakan teknologi persepsi visual untuk mendeteksi dan menemukan komponen visual dan teks dengan akurat dalam antarmuka pengguna aplikasi mobile. Dengan menggunakan konteks visi ini, kerangka kerja Agen-Mobil merencanakan dan memecah tugas operasi yang kompleks secara otonom, dan menavigasi melalui aplikasi mobile melalui operasi langkah demi langkah. Kerangka kerja ini berbeda dari solusi yang ada karena tidak bergantung pada metadata sistem mobile atau file XML aplikasi mobile, sehingga memungkinkan peningkatan fleksibilitas di berbagai lingkungan operasi mobile dengan fokus pada pemrosesan visual. Strategi yang digunakan oleh kerangka kerja Agen-Mobil menghilangkan kebutuhan akan adaptasi khusus sistem, menghasilkan kinerja yang ditingkatkan dan permintaan komputasi yang lebih rendah. Kerangka kerja Agen-Mobil memfasilitasi fleksibilitas yang lebih besar di berbagai sistem operasi mobile dengan fokus pada pemrosesan visual, sehingga memungkinkan peningkatan efisiensi dan pengurangan kebutuhan komputasi.