Dari Intent ke Eksekusi: Bagaimana Microsoft Mengubah Model Bahasa Besar menjadi AI yang Berorientasi pada Tindakan

Model Bahasa Besar (LLM) telah mengubah cara kita menangani pemrosesan bahasa alami. Mereka dapat menjawab pertanyaan, menulis kode, dan melakukan percakapan. Namun, mereka memiliki keterbatasan ketika datang ke tugas-tugas dunia nyata. Misalnya, LLM dapat membantu Anda membeli jaket, tetapi tidak dapat melakukan pemesanan untuk Anda. Kesenjangan antara berpikir dan bertindak adalah keterbatasan besar. Orang tidak hanya membutuhkan informasi; mereka ingin hasil.

Untuk mengatasi kesenjangan ini, Microsoft (MSFT ) sedang mengubah LLM menjadi agen AI yang berorientasi pada tindakan. Dengan memungkinkan mereka untuk merencanakan, memecahkan tugas, dan berinteraksi dengan lingkungan dunia nyata, mereka memberdayakan LLM untuk mengelola tugas-tugas praktis secara efektif. Perubahan ini memiliki potensi untuk mendefinisikan kembali apa yang dapat dilakukan LLM, mengubahnya menjadi alat yang dapat mengotomatisasi alur kerja yang kompleks dan menyederhanakan tugas-tugas sehari-hari. Mari kita lihat apa yang diperlukan untuk membuat ini terjadi dan bagaimana Microsoft mendekatinya.

Apa yang Dibutuhkan LLM untuk Bertindak

Untuk melakukan tugas-tugas di dunia nyata, LLM perlu melampaui pemahaman teks. Mereka harus berinteraksi dengan lingkungan digital dan fisik sambil beradaptasi dengan perubahan kondisi. Berikut beberapa kemampuan yang mereka butuhkan:

1. Memahami Intensi Pengguna

Untuk bertindak secara efektif, LLM perlu memahami permintaan pengguna. Input seperti teks atau perintah suara sering kali tidak jelas atau tidak lengkap. Sistem harus mengisi kesenjangan dengan menggunakan pengetahuan dan konteks permintaan. Percakapan multi-langkah dapat membantu memperjelas niat ini, memastikan AI memahami sebelum bertindak.

2. Mengubah Niat menjadi Tindakan

Setelah memahami tugas, LLM harus mengubahnya menjadi langkah-langkah yang dapat dilakukan. Ini mungkin melibatkan mengklik tombol, memanggil API, atau mengontrol perangkat fisik. LLM perlu mengubah tindakannya untuk tugas tertentu, beradaptasi dengan lingkungan dan memecahkan masalah yang muncul.

3. Beradaptasi dengan Perubahan

Tugas-tugas dunia nyata tidak selalu berjalan sesuai rencana. LLM perlu memprediksi masalah, menyesuaikan langkah-langkah, dan menemukan alternatif ketika masalah muncul. Misalnya, jika sumber daya yang diperlukan tidak tersedia, sistem harus menemukan cara lain untuk menyelesaikan tugas. Fleksibilitas ini memastikan proses tidak terhambat ketika hal-hal berubah.

4. Spesialisasi dalam Tugas-Tugas Tertentu

Meskipun LLM dirancang untuk penggunaan umum, spesialisasi membuat mereka lebih efisien. Dengan fokus pada tugas-tugas tertentu, sistem ini dapat memberikan hasil yang lebih baik dengan sumber daya yang lebih sedikit. Ini sangat penting untuk perangkat dengan daya komputasi terbatas, seperti smartphone atau sistem tertanam.

Dengan mengembangkan keterampilan ini, LLM dapat melampaui sekadar memproses informasi. Mereka dapat mengambil tindakan yang berarti, membuka jalan bagi AI untuk terintegrasi secara mulus ke dalam alur kerja sehari-hari.

Bagaimana Microsoft Mengubah LLM

Pendekatan Microsoft untuk menciptakan AI yang berorientasi pada tindakan mengikuti proses yang terstruktur. Tujuan utama adalah memungkinkan LLM untuk memahami perintah, merencanakan secara efektif, dan mengambil tindakan. Berikut cara mereka melakukannya:

Langkah 1: Mengumpulkan dan Mempersiapkan Data

Pada fase pertama, mereka mengumpulkan data terkait dengan kasus penggunaan spesifik mereka: Agen UFO (dijelaskan di bawah). Data ini mencakup kueri pengguna, detail lingkungan, dan tindakan spesifik tugas. Dua jenis data yang berbeda dikumpulkan pada fase ini: pertama, mereka mengumpulkan data rencana tugas yang membantu LLM untuk menggarisbawahi langkah-langkah tingkat tinggi yang diperlukan untuk menyelesaikan tugas. Misalnya, “Ubah ukuran font di Word” mungkin melibatkan langkah-langkah seperti memilih teks dan menyesuaikan pengaturan toolbar. Kedua, mereka mengumpulkan data tindakan tugas, memungkinkan LLM untuk menerjemahkan langkah-langkah ini menjadi instruksi yang tepat, seperti mengklik tombol tertentu atau menggunakan shortcut keyboard.

Kombinasi ini memberikan model baik gambaran besar maupun instruksi rinci yang dibutuhkan untuk menyelesaikan tugas secara efektif.

Langkah 2: Melatih Model

Setelah data dikumpulkan, LLM diperbarui melalui beberapa sesi pelatihan. Pada langkah pertama, LLM dilatih untuk perencanaan tugas dengan mengajarkan mereka bagaimana memecahkan permintaan pengguna menjadi langkah-langkah yang dapat dilakukan. Data yang diberi label oleh ahli kemudian digunakan untuk mengajarkan mereka bagaimana menerjemahkan rencana ini menjadi tindakan spesifik. Untuk lebih meningkatkan kemampuan pemecahan masalah mereka, LLM terlibat dalam proses eksplorasi self-boosting yang memungkinkan mereka untuk menangani tugas yang belum terselesaikan dan menghasilkan contoh baru untuk pembelajaran berkelanjutan. Akhirnya, pembelajaran penguatan diterapkan, menggunakan umpan balik dari keberhasilan dan kegagalan untuk lebih meningkatkan kemampuan pengambilan keputusan mereka.

Langkah 3: Pengujian Offline

Setelah pelatihan, model diuji dalam lingkungan yang dikendalikan untuk memastikan keandalan. Metrik seperti Task Success Rate (TSR) dan Step Success Rate (SSR) digunakan untuk mengukur kinerja. Misalnya, menguji agen manajemen kalender mungkin melibatkan verifikasi kemampuan mereka untuk menjadwalkan pertemuan dan mengirim undangan tanpa kesalahan.

Langkah 4: Integrasi ke Sistem Nyata

Setelah divalidasi, model diintegrasikan ke dalam kerangka agen. Ini memungkinkan mereka untuk berinteraksi dengan lingkungan dunia nyata, seperti mengklik tombol atau menavigasi menu. Alat seperti UI Automation APIs membantu sistem mengidentifikasi dan memanipulasi elemen antarmuka pengguna secara dinamis.

Misalnya, jika ditugaskan untuk mewarnai teks di Word, agen mengidentifikasi tombol highlight, memilih teks, dan menerapkan formatting. Komponen memori bisa membantu LLM untuk melacak tindakan sebelumnya, memungkinkan mereka beradaptasi dengan skenario baru.

Langkah 5: Pengujian Dunia Nyata

Langkah terakhir adalah evaluasi online. Di sini, sistem diuji dalam skenario dunia nyata untuk memastikan mereka dapat menangani perubahan yang tidak terduga dan kesalahan. Misalnya, bot dukungan pelanggan mungkin membantu pengguna melalui proses reset password sambil beradaptasi dengan input yang salah atau informasi yang hilang. Pengujian ini memastikan AI yang kuat dan siap untuk penggunaan sehari-hari.

Contoh Praktis: Agen UFO

Untuk menunjukkan bagaimana AI yang berorientasi pada tindakan bekerja, Microsoft mengembangkan Agen UFO. Sistem ini dirancang untuk mengeksekusi tugas-tugas dunia nyata di lingkungan Windows, mengubah permintaan pengguna menjadi tindakan yang selesai.

Di intinya, Agen UFO menggunakan LLM untuk menafsirkan permintaan dan merencanakan tindakan. Misalnya, jika pengguna mengatakan, “Warnai kata ‘penting’ di dokumen ini,” agen berinteraksi dengan Word untuk menyelesaikan tugas. Ini mengumpulkan informasi kontekstual, seperti posisi elemen antarmuka pengguna, dan menggunakan ini untuk merencanakan dan mengeksekusi tindakan.

Agen UFO bergantung pada alat seperti Windows UI Automation (UIA) API. API ini memindai aplikasi untuk elemen kontrol, seperti tombol atau menu. Untuk tugas seperti “Simpan dokumen sebagai PDF,” agen menggunakan UIA untuk mengidentifikasi tombol “File”, menemukan opsi “Simpan Sebagai”, dan mengeksekusi langkah-langkah yang diperlukan. Dengan memformat data secara konsisten, sistem memastikan operasi yang lancar dari pelatihan hingga aplikasi dunia nyata.

Mengatasi Tantangan

Sementara ini adalah perkembangan yang menarik, menciptakan AI yang berorientasi pada tindakan datang dengan tantangan. Skalabilitas adalah masalah besar. Melatih dan menerapkan model ini di berbagai tugas memerlukan sumber daya yang signifikan. Memastikan keamanan dan keandalan juga sangat penting. Model harus menyelesaikan tugas tanpa konsekuensi yang tidak diinginkan, terutama di lingkungan yang sensitif. Dan karena sistem ini berinteraksi dengan data pribadi, mempertahankan standar etika seputar privasi dan keamanan juga sangat penting.

Roadmap Microsoft fokus pada meningkatkan efisiensi, memperluas kasus penggunaan, dan mempertahankan standar etika. Dengan kemajuan ini, LLM bisa mendefinisikan kembali bagaimana AI berinteraksi dengan dunia, membuat mereka lebih praktis, lebih adaptif, dan lebih berorientasi pada tindakan.

Masa Depan AI

Mengubah LLM menjadi agen AI yang berorientasi pada tindakan bisa menjadi perubahan besar. Sistem ini dapat mengotomatisasi tugas, menyederhanakan alur kerja, dan membuat teknologi lebih mudah diakses. Kerja Microsoft pada AI yang berorientasi pada tindakan dan alat seperti Agen UFO baru saja dimulai. Ketika AI terus berkembang, kita dapat mengharapkan sistem yang lebih pintar, lebih mampu, yang tidak hanya berinteraksi dengan kita, tetapi menyelesaikan tugas.