Apa Itu Agen yang Mengoperasikan Komputer? Cara AI Melihat, Mengeklik, Mengetik, dan Menavigasi Perangkat Lunak

Agen yang mengoperasikan komputer adalah sistem AI yang dapat mengenali antarmuka perangkat lunak dan mengoperasikannya melalui tindakan seperti mengeklik, mengetik, menggulir, menyeret, dan menggunakan pintasan keyboard. Alih-alih memerlukan API khusus untuk setiap aplikasi, agen ini bekerja melalui banyak antarmuka visual yang juga digunakan manusia.

Kemampuan ini memungkinkan agen menjangkau beragam perangkat lunak lawas, situs web, dan aplikasi desktop. Namun, kemampuan tersebut juga membawa risiko yang tidak biasa. Kesalahpahaman kecil terhadap tampilan visual dapat mengubah arah tugas yang panjang, dan akses ke antarmuka dapat membuka semua hal yang bisa dilihat atau diubah oleh pengguna yang sedang masuk.

Mengapa Pengoperasian Komputer Penting

Sebagian besar perangkat lunak penting di dunia dirancang untuk manusia, bukan agen. Aplikasi mungkin tidak memiliki API publik, hanya menyediakan sebagian fungsinya melalui akses terprogram, atau mengharuskan pengguna bekerja di beberapa antarmuka.

Otomatisasi proses robotik tradisional dapat mengoperasikan antarmuka pengguna, tetapi biasanya bergantung pada pemilih dan alur kerja yang telah ditentukan sebelumnya. Agen yang mengoperasikan komputer dilengkapi model yang dapat menafsirkan layar yang belum dikenal, menentukan langkah yang diperlukan, dan beradaptasi saat antarmuka berubah atau dialog tak terduga muncul.

Karena itu, pengoperasian komputer menjadi alat serbaguna. Siklus persepsi dan tindakan yang sama berpotensi digunakan untuk menavigasi spreadsheet, sistem manajemen hubungan pelanggan, aplikasi desain, peramban, atau portal internal.

Cara Kerja Agen yang Mengoperasikan Komputer

Penautan ke konteks (grounding) adalah tahap tengah yang sulit. Agen harus menghubungkan instruksi konseptual, seperti “buka faktur terbaru”, dengan baris atau kontrol tertentu yang terlihat. Label teks dan metadata aksesibilitas dapat membantu, tetapi tata letak dinamis, antarmuka berbasis kanvas, elemen yang saling bertumpang tindih, dan ikon yang ambigu dapat membuat model harus bernalar berdasarkan piksel.

Siklus dasar ini menyerupai cara manusia berinteraksi dengan perangkat lunak.

1. Amati: ambil tangkapan layar, pohon aksesibilitas, struktur dokumen, posisi kursor, dan keadaan lingkungan lainnya.
2. Tafsirkan: kenali kontrol, konten, peringatan yang terlihat, serta hubungan antara layar saat ini dan tugas yang harus diselesaikan.
3. Pilih tindakan: tentukan apakah perlu mengeklik, mengetik, menggulir, menekan tombol, menunggu, atau meminta bantuan.
4. Jalankan: lingkungan runtime menjalankan tindakan melalui antarmuka sistem operasi, peramban, atau mesin virtual.
5. Verifikasi: ambil tangkapan layar yang telah berubah dan tentukan apakah tindakan tersebut memberikan hasil yang diinginkan.
6. Ulangi atau berhenti: lanjutkan menuju tujuan, pulihkan keadaan setelah terjadi kesalahan, atau jeda saat mencapai batas yang dilindungi.

Uraian OpenAI tentang agen yang mengoperasikan komputer menggambarkan kemampuan ini sebagai perpaduan antara persepsi visual, penalaran, dan tindakan menggunakan tetikus serta papan ketik. Kuncinya bukan sekadar memprediksi satu klik, melainkan siklus tertutup antara persepsi, tindakan, dan keadaan baru yang diamati.

Apa yang Dapat “Dilihat” Agen

Sistem pengoperasian komputer dapat menerima berbagai representasi antarmuka.

Tangkapan layar memberikan tampilan umum pada tingkat piksel dan tetap berfungsi meskipun metadata antarmuka terstruktur tidak tersedia. Tangkapan layar dapat memuat bagan, gambar, aplikasi kanvas, dan tata letak visual. Namun, sasaran kecil, keadaan tersembunyi, dan ikon ambigu dapat sulit ditafsirkan.

Pohon aksesibilitas atau struktur dokumen menyajikan kontrol dan teks dalam bentuk yang lebih terstruktur. Representasi ini dapat membuat pemilihan elemen lebih presisi, tetapi mungkin tidak mencakup informasi visual atau berperilaku tidak konsisten di berbagai aplikasi.

Sistem hibrida menggabungkan piksel, elemen terstruktur, keadaan aplikasi, dan terkadang API langsung. Pendekatan ini sering kali lebih andal daripada menganggap setiap masalah sebagai tiruan visual semata.

Pengoperasian Komputer vs. Otomatisasi Peramban

Otomatisasi peramban konvensional menggunakan kode dan pemilih yang stabil untuk menjalankan urutan yang sudah diketahui. Cara ini cepat dan dapat diprediksi jika struktur halaman terkendali. Agen yang mengoperasikan komputer menafsirkan antarmuka secara dinamis dan dapat menentukan urutan yang harus dijalankan.

Kedua pendekatan ini saling melengkapi. Sistem yang tangguh dapat membiarkan agen menentukan apa yang perlu dilakukan, lalu menjalankan operasi yang sudah dikenal melalui otomatisasi deterministik atau API. Interaksi pada tingkat piksel paling berguna ketika antarmuka terstruktur tidak tersedia atau langkah-langkahnya tidak dapat ditentukan sebelumnya.

Penggunaan Komputer vs. API dan Pemanggilan Alat

Pendekatan hibrida ini mengurangi kesalahan sekaligus biaya. Agen dapat mengambil data melalui API, membuka aplikasi desktop hanya untuk mengisi formulir lama, lalu memverifikasi catatan akhir melalui kueri terstruktur lainnya. Dengan memperlakukan kendali visual sebagai salah satu dari beberapa alat, kita tidak perlu memaksakan setiap langkah melalui antarmuka yang paling tidak andal.

API menyediakan antarmuka yang dirancang untuk mesin, dengan operasi dan tipe data yang eksplisit. Umumnya, API lebih cepat, lebih presisi, dan lebih mudah divalidasi daripada mengeklik layar. Penggunaan komputer menawarkan kompatibilitas yang lebih luas, tetapi dengan tingkat ambiguitas yang lebih tinggi.

Sebagai contoh, agen dapat meminta data inventaris melalui API, tetapi menggunakan portal web vendor untuk menangani pengecualian yang tidak didukung API. Pemanggilan alat dapat menyediakan kedua kemampuan tersebut untuk model, sementara sistem saat dijalankan memilih jalur yang paling andal.

Kasus Penggunaan Umum

• Operasi administrasi internal: memindahkan data antaraportal, mengelola formulir rutin, dan menyiapkan catatan untuk disetujui.
• Riset: menjelajahi situs web, menyaring hasil, mengumpulkan bukti, dan memperbarui dokumen kerja.
• Pengujian perangkat lunak: mengikuti alur penggunaan, mencatat kegagalan, dan memeriksa perubahan visual.
• Dukungan TI: memeriksa pengaturan, mengumpulkan data diagnostik, serta memandu atau menjalankan perbaikan yang telah disetujui.
• Produktivitas pribadi: mengoordinasikan berkas, aplikasi web, kalender, dan dokumen.
• Aksesibilitas: membantu pengguna mengoperasikan antarmuka yang sulit dijelajahi, dengan tunduk pada kontrol privasi yang ketat.

Mengapa Tugas Penggunaan Komputer Masih Sulit

Antarmuka pengguna memiliki menu dinamis, pemuatan tertunda, jendela pop-up, area yang dapat digulir, target kecil, serta status yang tampak serupa tetapi berdampak berbeda. Suatu tugas mungkin memerlukan puluhan langkah yang harus dilakukan dengan benar, sehingga tingkat kesalahan per langkah yang relatif kecil pun dapat terakumulasi.

Tolok ukur seperti OSWorld mengevaluasi agen di berbagai lingkungan komputer nyata, bukan hanya pada klik yang terpisah-pisah. OSWorld 2.0 mengembangkan gagasan tersebut dengan menguji alur kerja yang lebih panjang, perubahan status, dan variasi yang lebih besar. Stanford, dalam bab kinerja teknis AI Index 2026, melaporkan peningkatan pesat, tetapi juga menunjukkan bahwa kinerja di OSWorld masih belum menyamai kinerja manusia. Hal ini menegaskan bahwa demonstrasi yang mengesankan tidak berarti sistem tersebut andal dalam segala situasi.

Mode Kegagalan Utama

• Kesalahan penentuan target visual: mengeklik kontrol di dekat target atau yang tampak serupa.
• Kebingungan status: menganggap halaman telah dimuat, perubahan berhasil disimpan, atau jendela aktif telah berganti, padahal tidak.
• Penyimpangan dalam tugas jangka panjang: kehilangan tujuan tugas setelah melakukan banyak tindakan kecil.
• Dampak samping tersembunyi: mengirim formulir atau melakukan pembelian saat agen hanya bermaksud melihat pratinjaunya.
• Injeksi prompt: mengikuti instruksi berbahaya yang disisipkan dalam halaman web, dokumen, atau pesan.
• Paparan kredensial: mengungkapkan atau menyalahgunakan informasi yang tersedia dalam sesi yang telah masuk.
• Kesalahan yang tidak dapat dibatalkan: menghapus, menerbitkan, mengirim, atau membeli sesuatu tanpa peninjauan yang memadai.

Prinsip Keamanan dan Kendali

Konten antarmuka tidak dapat dipercaya. Halaman web, email, atau dokumen dapat memuat instruksi yang dimaksudkan untuk mengalihkan agen, dan dialog berbahaya dapat menyamar sebagai konfirmasi yang tampak familier. Sistem harus memisahkan konten halaman dari kebijakan, membatasi tujuan dan kredensial, serta berhenti sejenak jika muncul permintaan izin yang tidak terduga atau konfirmasi yang berpotensi menimbulkan konsekuensi.

Penggunaan komputer harus dijalankan dalam lingkungan tersempit yang masih dapat menyelesaikan tugas. Profil browser khusus, mesin virtual, atau lingkungan terisolasi membatasi akses ke akun dan berkas yang tidak terkait. Sesi harus menggunakan kredensial khusus untuk tugas tersebut dan izin dengan hak akses minimum, alih-alih mewarisi seluruh wewenang pengguna di komputer desktop.

Tindakan berdampak besar memerlukan batas konfirmasi yang jelas. Sistem harus berhenti sejenak tepat sebelum mengirimkan, mengirim, membeli, menghapus, menerbitkan, atau mengubah pengaturan sensitif, serta menunjukkan kepada pengguna sasaran dan dampak yang tepat.

Agen juga harus memperlakukan konten layar sebagai data yang tidak dapat dipercaya. Instruksi yang ditemukan di dalam halaman web tidak boleh mengesampingkan kebijakan sistem atau tugas pengguna. Unduhan, perintah yang disalin, dan komunikasi eksternal memerlukan validasi terpisah.

Cara Mengevaluasi Agen yang Menggunakan Komputer

Keberhasilan menyelesaikan tugas memang perlu, tetapi belum cukup. Tim harus mengukur akurasi setiap langkah, kemampuan pulih dari keadaan tak terduga, tindakan yang tidak perlu, waktu, biaya, paparan data sensitif, kepatuhan terhadap persetujuan, serta konsistensi dalam pengulangan proses.

Lingkungan evaluasi harus memvariasikan resolusi layar, tata letak, data, waktu, dan keadaan aplikasi. Jika tidak, agen dapat terlalu menyesuaikan diri dengan tolok ukur yang ditulis sebagai skrip, tetapi gagal menghadapi variasi yang dijumpai dalam penggunaan perangkat lunak sehari-hari.

Cara Membaca Diagram Penggunaan Komputer

Baca diagram Penggunaan Komputer dari masukan bernomor menuju hasil yang dapat diamati. Perbandingan tersebut mengisolasi batas yang membedakan Penggunaan Komputer dari jalan pintas terdekatnya, sedangkan jalur kontrol menandai titik ketika wewenang atau ketidakpastian harus diperiksa sebelum menimbulkan konsekuensi di dunia nyata. Labelnya tetap berupa teks halaman responsif biasa agar dapat diterjemahkan, membungkus baris, dan menyesuaikan tata letak di ponsel.

Untuk artikel “Apa Itu Agen yang Menggunakan Komputer? Bagaimana AI Melihat, Mengeklik, Mengetik, dan Menavigasi Perangkat Lunak”, visual ini merupakan peta, bukan jaminan. Implementasi nyata dapat menggabungkan tahapan, mengulangi langkah, atau menambahkan batas persetujuan manusia. Yang penting adalah apakah tim dapat mengidentifikasi fungsi-fungsi yang sama dalam sistem yang diterapkan, menunjuk penanggung jawab untuk setiap batas, dan menguji peralihan di antara batas-batas tersebut. Jika suatu tahap tidak dapat diamati atau diukur, kegagalan pada tahap itu akan sulit didiagnosis.

Hal Penting tentang Agen yang Menggunakan Komputer

Agen yang menggunakan komputer menjadikan antarmuka perangkat lunak yang digunakan manusia sebagai alat serbaguna. Agen ini dapat mengakses sistem yang tidak memiliki API yang sesuai dan beradaptasi dengan beragam tugas yang sulit diantisipasi oleh otomatisasi tetap.

Keserbagunaan itu juga membawa ambiguitas dan potensi dampak yang luas. Rancangan terbaik mengutamakan API terstruktur jika tersedia, mengisolasi lingkungan komputer, memverifikasi setiap perubahan keadaan, dan memastikan manusia tetap memegang kendali atas tindakan yang berkonsekuensi besar.