Mobil LLM: Terobosan dalam Komunikasi Manusia-AV

Ketika kendaraan otonom (AV) semakin dekat dengan adopsi yang luas, sebuah tantangan signifikan masih ada: menjembatani kesenjangan komunikasi antara penumpang manusia dan supir robot mereka. Sementara AV telah membuat kemajuan luar biasa dalam navigasi lingkungan jalan yang kompleks, mereka sering bergelut untuk menafsirkan perintah bahasa alami yang nuansa yang datang dengan mudah kepada pengemudi manusia.

Masuklah sebuah studi inovatif dari Sekolah Teknik Sipil dan Konstruksi Lyles Universitas Purdue. Dipimpin oleh Asisten Profesor Ziran Wang, tim insinyur telah mempelopori pendekatan inovatif untuk meningkatkan interaksi antara AV dan manusia menggunakan kecerdasan buatan. Solusi mereka adalah mengintegrasikan model bahasa besar (LLM) seperti ChatGPT ke dalam sistem pengemudi otonom.’

Kekuatan Bahasa Alami dalam AV

LLM merupakan lompatan besar dalam kemampuan AI untuk memahami dan menghasilkan teks seperti manusia. Sistem AI canggih ini dilatih pada sejumlah besar data teks, memungkinkan mereka untuk memahami konteks, nuansa, dan makna yang tersirat dengan cara yang tidak dapat dilakukan oleh respons yang diprogram secara tradisional.

Dalam konteks kendaraan otonom, LLM menawarkan kemampuan transformatif. Tidak seperti antarmuka AV konvensional yang bergantung pada perintah suara spesifik atau input tombol, LLM dapat menafsirkan berbagai instruksi bahasa alami. Ini berarti penumpang dapat berkomunikasi dengan kendaraan mereka dengan cara yang sama seperti mereka berbicara dengan pengemudi manusia.

Peningkatan kemampuan komunikasi AV sangat signifikan. Bayangkan Anda mengatakan kepada mobil Anda, “Saya sedang terlambat,” dan mobil itu secara otomatis menghitung rute paling efisien, menyesuaikan gaya mengemudinya untuk meminimalkan waktu perjalanan dengan aman. Atau pertimbangkan kemampuan untuk mengatakan, “Saya merasa sedikit mabuk perjalanan,” yang memicu kendaraan untuk menyesuaikan profil gerakannya untuk perjalanan yang lebih halus. Interaksi nuansa ini, yang pengemudi manusia pahami secara intuitif, menjadi mungkin bagi AV melalui integrasi LLM.

Asisten profesor Universitas Purdue Ziran Wang berdiri di samping kendaraan otonom uji yang dia dan mahasiswanya pasang untuk menafsirkan perintah dari penumpang menggunakan ChatGPT atau model bahasa besar lainnya. (Foto Universitas Purdue/John Underwood)

Studi Purdue: Metodologi dan Temuan

Untuk menguji potensi LLM dalam kendaraan otonom, tim Purdue melakukan serangkaian eksperimen menggunakan kendaraan otonom level empat – hanya satu langkah dari keotentikan penuh seperti yang didefinisikan oleh SAE International.

Peneliti memulai dengan melatih ChatGPT untuk merespons berbagai perintah, dari instruksi langsung seperti “Tolong mengemudi lebih cepat” hingga permintaan tidak langsung seperti “Saya merasa sedikit mabuk perjalanan sekarang.” Mereka kemudian mengintegrasikan model yang dilatih ini dengan sistem kendaraan yang ada, memungkinkan kendaraan untuk mempertimbangkan faktor-faktor seperti aturan lalu lintas, kondisi jalan, cuaca, dan data sensor saat menafsirkan perintah.

Pengaturan eksperimental sangat ketat. Sebagian besar tes dilakukan di lapangan uji di Columbus, Indiana – sebuah landasan pacu bekas yang memungkinkan pengujian kecepatan tinggi yang aman. Tes parkir tambahan dilakukan di parkir Stadion Ross-Ade Purdue. Selama eksperimen, AV yang dibantu LLM merespons perintah yang telah dipelajari sebelumnya dan perintah baru dari penumpang.

Hasilnya sangat menjanjikan. Peserta melaporkan tingkat ketidaknyamanan yang jauh lebih rendah dibandingkan dengan pengalaman biasa di AV level empat tanpa bantuan LLM. Kendaraan secara konsisten mengungguli metrik keamanan dan kenyamanan dasar, bahkan ketika merespons perintah yang tidak pernah dipelajari sebelumnya.

Mungkin yang paling mengesankan, sistem ini menunjukkan kemampuan untuk belajar dan beradaptasi dengan preferensi penumpang individu selama perjalanan, menunjukkan potensi untuk transportasi otonom yang benar-benar dipersonalisasi.

Mahasiswa PhD Purdue Can Cui duduk untuk sebuah perjalanan di kendaraan otonom uji. Mikrofon di konsol mendeteksi perintahnya, yang kemudian ditafsirkan oleh model bahasa besar di cloud. Kendaraan mengemudi sesuai dengan instruksi yang dihasilkan dari model bahasa besar. (Foto Universitas Purdue/John Underwood)

Implikasi untuk Masa Depan Transportasi

Bagi pengguna, manfaatnya sangat banyak. Kemampuan untuk berkomunikasi secara alami dengan AV mengurangi kurva belajar yang terkait dengan teknologi baru, membuat kendaraan otonom lebih dapat diakses oleh berbagai orang, termasuk mereka yang mungkin merasa terintimidasi oleh antarmuka yang kompleks. Selain itu, kemampuan personalisasi yang ditunjukkan dalam studi Purdue menunjukkan masa depan di mana AV dapat beradaptasi dengan preferensi individu, menyediakan pengalaman yang disesuaikan untuk setiap penumpang.

Interaksi yang ditingkatkan ini juga dapat meningkatkan keamanan. Dengan memahami niat dan keadaan penumpang – seperti mengenali ketika seseorang sedang terburu-buru atau merasa tidak enak – AV dapat menyesuaikan perilaku mengemudinya, potensial mengurangi kecelakaan yang disebabkan oleh kesalahpahaman atau ketidaknyamanan penumpang.

Dari perspektif industri, teknologi ini bisa menjadi pembeda utama dalam pasar AV yang kompetitif. Produsen yang dapat menawarkan pengalaman pengguna yang lebih intuitif dan responsif mungkin akan mendapatkan keunggulan signifikan.

Tantangan dan Arah Masa Depan

Meskipun hasilnya sangat menjanjikan, beberapa tantangan masih ada sebelum AV yang terintegrasi dengan LLM menjadi kenyataan di jalan umum. Salah satu masalah utama adalah waktu pemrosesan. Sistem saat ini rata-rata membutuhkan 1,6 detik untuk menafsirkan dan merespons perintah – dapat diterima untuk skenario non-kritis tetapi potensial bermasalah dalam situasi yang memerlukan respons cepat.

Masalah lain yang signifikan adalah potensi LLM untuk “menghalusikan” atau menafsirkan perintah secara salah. Meskipun studi ini telah memasukkan mekanisme keamanan untuk mitigasi risiko ini, menangani masalah ini secara menyeluruh sangat penting untuk implementasi dunia nyata.

Menghadap ke depan, tim Wang sedang mengeksplorasi beberapa jalur untuk penelitian lebih lanjut. Mereka sedang mengevaluasi LLM lain, termasuk asisten AI Gemini dari Google dan Llama dari Meta, untuk membandingkan kinerja. Hasil awal menunjukkan ChatGPT saat ini mengungguli yang lain dalam metrik keamanan dan efisiensi, meskipun temuan yang dipublikasikan masih akan segera dirilis.

Arah masa depan yang menarik adalah potensi komunikasi antar-kendaraan menggunakan LLM. Ini dapat memungkinkan manajemen lalu lintas yang lebih canggih, seperti AV yang bernegosiasi hak jalan di persimpangan.

Selain itu, tim ini memulai proyek untuk mempelajari model visi besar – sistem AI yang dilatih pada gambar bukan teks – untuk membantu AV bernavigasi kondisi cuaca musim dingin yang ekstrem yang umum di Midwest. Penelitian ini, yang didukung oleh Pusat Transportasi Terhubung dan Otonom, dapat lebih meningkatkan adaptabilitas dan keamanan kendaraan otonom.

Ringkasan

Penelitian yang berani dari Universitas Purdue tentang integrasi model bahasa besar dengan kendaraan otonom menandai momen penting dalam teknologi transportasi. Dengan memungkinkan interaksi manusia-AV yang lebih intuitif dan responsif, inovasi ini menangani tantangan kritis dalam adopsi AV. Meskipun hambatan seperti kecepatan pemrosesan dan potensi penafsiran salah masih ada, hasil studi yang menjanjikan membuka jalan bagi masa depan di mana berkomunikasi dengan kendaraan kita bisa sama alaminya dengan berbicara dengan pengemudi manusia. Ketika teknologi ini berkembang, itu memiliki potensi untuk merevolusi tidak hanya bagaimana kita bepergian, tetapi bagaimana kita memandang dan berinteraksi dengan kecerdasan buatan dalam kehidupan sehari-hari.