Revolusi AI dengan Apple’s ReALM: Masa Depan Asisten Pintar

Dalam lanskap yang terus berkembang dari kecerdasan buatan, Apple (AAPL ) telah diam-diam mempelopori pendekatan yang revolusioner yang dapat meredefinisi cara kita berinteraksi dengan iPhone kita. ReALM, atau Reference Resolution as Language Modeling, adalah model AI yang berjanji untuk membawa tingkat kesadaran kontekstual dan bantuan yang mulus.

Sementara dunia teknologi bergembira dengan kegembiraan atas OpenAI’s GPT-4 dan model bahasa besar lainnya (LLM), ReALM Apple mewakili pergeseran dalam pemikiran – pergeseran dari mengandalkan AI berbasis awan ke pendekatan yang lebih personal, on-device. Tujuannya? Menciptakan asisten pintar yang benar-benar memahami Anda, dunia Anda, dan tapestry yang kaya dari interaksi digital harian Anda.

Di jantung ReALM terletak kemampuan untuk menyelesaikan referensi – kata ganti yang ambigu seperti “itu,” “mereka,” atau “yang” yang manusia navigasi dengan mudah berkat petunjuk kontekstual. Bagi asisten AI, bagaimanapun, ini telah lama menjadi hambatan, menyebabkan kesalahpahaman yang frustrasi dan pengalaman pengguna yang terputus-putus.

Bayangkan skenario di mana Anda meminta Siri untuk “temukan resep sehat berdasarkan apa yang ada di kulkas saya, tetapi tahan jamur – saya tidak suka itu.” Dengan ReALM, iPhone Anda tidak hanya memahami referensi ke informasi pada layar (isi kulkas) tetapi juga mengingat preferensi pribadi Anda (tidak suka jamur) dan konteks yang lebih luas dari menemukan resep yang disesuaikan dengan parameter tersebut.

Tingkat kesadaran kontekstual ini adalah lompatan kuantum dari pendekatan pencocokan kata kunci dari kebanyakan asisten AI saat ini. Dengan melatih LLM untuk menyelesaikan referensi dengan mulus di seluruh tiga domain utama – konversasional, pada layar, dan latar belakang – ReALM bertujuan untuk menciptakan teman digital yang benar-benar pintar yang terasa kurang seperti asisten suara robot dan lebih seperti perpanjangan dari proses berpikir Anda sendiri.

Domain Konversasional: Mengingat Apa yang Datang Sebelumnya

AI konversasional, ReALM menangani tantangan lama: mempertahankan kohesi dan memori di seluruh beberapa putaran dialog. Dengan kemampuan untuk menyelesaikan referensi dalam percakapan yang sedang berlangsung, ReALM bisa akhirnya memenuhi janji interaksi alami, bolak-balik dengan asisten digital Anda.

Bayangkan meminta Siri untuk “ingatkan saya untuk memesan tiket untuk liburan saya ketika saya dibayar pada Jumat.” Dengan ReALM, Siri tidak hanya memahami konteks dari rencana liburan Anda (potensial diperoleh dari percakapan sebelumnya atau informasi pada layar) tetapi juga memiliki kesadaran untuk menghubungkan “dibayar” dengan rutinitas pembayaran reguler Anda.

Tingkat kecerdasan konversasional ini terasa seperti lompatan besar, memungkinkan dialog bolak-balik yang mulus tanpa frustrasi dari menjelaskan konteks berulang-ulang atau mengulangi diri.

Domain Pada Layar: Memberi Asisten Anda Mata

Mungkin aspek paling revolusioner dari ReALM, bagaimanapun, terletak pada kemampuannya untuk menyelesaikan referensi ke entitas pada layar – langkah kritis menuju menciptakan pengalaman pengguna yang benar-benar bebas genggam, didorong oleh suara.

Makalah penelitian Apple membahas teknik novel untuk mengkodekan informasi visual dari layar perangkat Anda ke dalam format yang dapat diproses oleh LLM. Dengan secara esensial merekonstruksi tata letak layar Anda dalam representasi berbasis teks, ReALM dapat “melihat” dan memahami hubungan spasial antara berbagai elemen pada layar.

Bayangkan skenario di mana Anda melihat daftar restoran dan meminta Siri untuk “arah ke yang di Jalan Utama.” Dengan ReALM, iPhone Anda tidak hanya memahami referensi ke lokasi tertentu tetapi juga menghubungkannya dengan entitas pada layar yang relevan – daftar restoran yang sesuai dengan deskripsi tersebut.

Tingkat pemahaman visual ini membuka dunia kemungkinan, dari bertindak dengan mulus pada referensi dalam aplikasi dan situs web hingga integrasi dengan antarmuka AR masa depan dan bahkan memahami dan merespons objek dan lingkungan dunia nyata melalui kamera perangkat Anda.

Makalah penelitian tentang model ReALM Apple membahas detail-detail intrinsik tentang bagaimana sistem mengkodekan entitas pada layar dan menyelesaikan referensi di seluruh konteks yang berbeda. Berikut adalah penjelasan sederhana tentang algoritma dan contoh yang disediakan dalam makalah:

1. Mengkodekan Entitas Pada Layar: Makalah tersebut menjelajahi beberapa strategi untuk mengkodekan elemen pada layar dalam format teks yang dapat diproses oleh LLM. Salah satu pendekatan melibatkan pengelompokan objek sekitar berdasarkan kedekatan spasial dan menghasilkan prompt yang mencakup objek yang dikelompokkan. Namun, metode ini dapat menyebabkan prompt yang terlalu panjang karena jumlah entitas meningkat.

Pendekatan akhir yang diadopsi oleh peneliti adalah memarsing layar dalam urutan atas-bawah, kiri-kanan, merepresentasikan tata letak dalam format teks. Ini dicapai melalui Algoritma 2, yang mengurutkan objek pada layar berdasarkan koordinat pusat, menentukan tingkat vertikal dengan mengelompokkan objek dalam margin tertentu, dan membangun parse pada layar dengan menggabungkan tingkat-tingkat tersebut dengan tab yang memisahkan objek pada baris yang sama.

Dengan menyuntikkan entitas yang relevan (nomor telepon dalam kasus ini) ke dalam representasi teks, LLM dapat memahami konteks pada layar dan menyelesaikan referensi sesuai.

2. Contoh Penyelesaian Referensi: Makalah tersebut menyediakan beberapa contoh untuk mengilustrasikan kemampuan model ReALM dalam menyelesaikan referensi di seluruh konteks yang berbeda:

a. Referensi Konversasional: Untuk permintaan seperti “Siri, temukan resep sehat berdasarkan apa yang ada di kulkas saya, tetapi tahan jamur – saya tidak suka itu,” ReALM dapat memahami konteks pada layar (isi kulkas), konteks konversasional (menemukan resep), dan preferensi pengguna (tidak suka jamur).

b. Referensi Latar Belakang: Dalam contoh “Siri, putar lagu yang sedang diputar di supermarket sebelumnya,” ReALM dapat memotong dan mengidentifikasi potongan audio ambient untuk menyelesaikan referensi ke lagu tertentu.

c. Referensi Pada Layar: Untuk permintaan seperti “Siri, ingatkan saya untuk memesan tiket untuk liburan saya ketika saya dibayar pada Jumat,” ReALM dapat menggabungkan informasi dari rutinitas pengguna (hari pembayaran), percakapan atau situs web pada layar (rencana liburan), dan kalender untuk memahami dan bertindak pada permintaan.

Contoh-contoh ini menunjukkan kemampuan ReALM untuk menyelesaikan referensi di seluruh konteks konversasional, pada layar, dan latar belakang, memungkinkan interaksi yang lebih alami dan mulus dengan asisten pintar.

Domain Latar Belakang

Melangkah melampaui konteks konversasional dan pada layar, ReALM juga menjelajahi kemampuan untuk menyelesaikan referensi ke entitas latar belakang – peristiwa dan proses perifer yang sering tidak disadari oleh asisten AI kita saat ini.

Bayangkan skenario di mana Anda meminta Siri untuk “putar lagu yang sedang diputar di supermarket sebelumnya.” Dengan ReALM, iPhone Anda bisa memotong dan mengidentifikasi potongan audio ambient, memungkinkan Siri untuk mengambil dan memutar trek yang Anda inginkan.

Tingkat kesadaran latar belakang ini terasa seperti langkah pertama menuju asisten AI yang benar-benar ubiku, kontekstual, dan sadar – teman digital yang tidak hanya memahami kata-kata Anda tetapi juga tapestry yang kaya dari pengalaman harian Anda.

Janji AI On-Device: Privasi dan Personalisasi

Sementara kemampuan ReALM tidak diragukan lagi impresif, mungkin kelebihan paling signifikan terletak pada komitmen Apple yang lama untuk AI on-device dan privasi pengguna.

Tidak seperti model AI berbasis awan yang mengandalkan mengirim data pengguna ke server jauh untuk diproses, ReALM dirancang untuk beroperasi sepenuhnya pada iPhone atau perangkat Apple lainnya. Ini tidak hanya menangani kekhawatiran seputar privasi data tetapi juga membuka kemungkinan baru untuk bantuan AI yang benar-benar memahami dan beradaptasi dengan Anda sebagai individu.

Dengan belajar langsung dari data on-device Anda – percakapan, pola penggunaan aplikasi, dan bahkan input sensorik ambient – ReALM bisa memungkinkan asisten digital yang hiper-personal untuk disesuaikan dengan kebutuhan, preferensi, dan rutinitas harian Anda yang unik.

Tingkat personalisasi ini terasa seperti pergeseran paradigma dari pendekatan satu-ukuran-untuk-semua dari asisten AI saat ini, yang sering bergelut untuk beradaptasi dengan kekhasan dan konteks pengguna individu.

Model ReALM-250M mencapai hasil impresif:

• • Pemahaman Konversasional: 97.8
  • Pemahaman Tugas Sintetis: 99.8
  • Kinerja Tugas Pada Layar: 90.6
  • Penanganan Domain Tidak Terlihat: 97.2

Pertimbangan Etis

Tentu saja, dengan tingkat personalisasi dan kesadaran kontekstual yang tinggi, datanglah sejumlah pertimbangan etis seputar privasi, transparansi, dan potensi sistem AI untuk mempengaruhi atau bahkan memanipulasi perilaku pengguna.

Ketika ReALM memperoleh pemahaman yang lebih dalam tentang kehidupan sehari-hari Anda – dari pola makan dan konsumsi media hingga interaksi sosial dan preferensi pribadi – ada risiko teknologi ini digunakan dengan cara yang melanggar kepercayaan pengguna atau melintasi batas etis.

Peneliti Apple sangat menyadari ketegangan ini, mengakui dalam makalah mereka kebutuhan untuk menemukan keseimbangan hati-hati antara menyampaikan pengalaman AI yang benar-benar membantu dan personal dengan menghormati privasi pengguna dan keagenan.

Tantangan ini tidak unik untuk Apple atau ReALM, tentu saja – ini adalah percakapan yang seluruh industri teknologi harus hadapi ketika sistem AI menjadi semakin canggih dan terintegrasi ke dalam kehidupan sehari-hari kita.

Menuju Pengalaman AI yang Lebih Pintar dan Alami

Ketika Apple terus mendorong batas-batas AI on-device dengan model seperti ReALM, janji asisten digital yang benar-benar pintar dan kontekstual terasa lebih dekat dari sebelumnya.

Bayangkan dunia di mana Siri (atau apa pun asisten AI ini mungkin disebut di masa depan) terasa kurang seperti suara yang terlepas dari awan dan lebih seperti perpanjangan dari proses berpikir Anda sendiri – mitra yang tidak hanya memahami kata-kata Anda tetapi juga tapestry yang kaya dari kehidupan digital Anda, rutinitas harian, dan preferensi serta konteks unik Anda.

Dari bertindak dengan mulus pada referensi dalam aplikasi dan situs web hingga memprediksi kebutuhan Anda berdasarkan lokasi, aktivitas, dan input sensorik ambient, ReALM mewakili langkah signifikan menuju pengalaman AI yang lebih alami dan mulus yang memburamkan batas antara dunia digital dan fisik kita.

Tentu saja, mewujudkan visi ini akan memerlukan lebih dari sekadar inovasi teknis – ini juga akan membutuhkan pendekatan etis yang bijak terhadap pengembangan AI yang memprioritaskan privasi pengguna, transparansi, dan keagenan.

Ketika Apple terus memperbarui dan memperluas kemampuan ReALM, dunia teknologi akan dengan sabar menunggu untuk melihat bagaimana model AI yang revolusioner ini membentuk masa depan asisten pintar dan memulai era baru komputasi yang benar-benar personal dan kontekstual.

Apakah ReALM memenuhi janjinya untuk mengungguli bahkan GPT-4 yang perkasa masih harus dilihat. Tapi satu hal yang pasti: usia asisten AI yang benar-benar memahami kita – kata-kata kita, dunia kita, dan tapestry yang kaya dari kehidupan sehari-hari kita – sudah dimulai, dan inovasi terbaru Apple mungkin berada di garis depan revolusi ini.