Steve Nemzer, Sr. Direktur, Pertumbuhan & Inovasi AI, TELUS Digital – Seri Wawancara

Steve Nemzer, Sr. Direktur, Pertumbuhan & Inovasi AI, TELUS Digital, memimpin inisiatif yang berfokus pada pengembangan data pelatihan AI dan infrastruktur untuk sistem kecerdasan buatan generasi berikutnya. Pekerjaannya termasuk mengembangkan dataset untuk model penelitian mendalam, lingkungan pembelajaran penguatan, data model dunia, inisiatif kecerdasan buatan berdaulat, dan kerangka mitigasi risiko AI, dengan penekanan kuat pada praktik kecerdasan buatan yang bertanggung jawab seperti mengatasi bias dataset dan mendukung kondisi kerja yang adil untuk pelatih AI. Pada awal karirnya, Nemzer mendirikan VeriTest Labs, membantu pemimpin teknologi awal termasuk Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ), dan Sun Microsystems membangun ekosistem perangkat lunak pihak ketiga yang berkembang sebelum perusahaan tersebut diakuisisi oleh Lionbridge.

TELUS Digital adalah perusahaan layanan teknologi global yang membantu organisasi merancang, membangun, dan mengoperasikan platform digital dan solusi yang ditenagai AI. Beroperasi di seluruh dunia, perusahaan ini menyediakan layanan seperti data pelatihan AI dan anotasi, rekayasa produk digital, dan manajemen pengalaman pelanggan. Platform dan layanan mereka mendukung perusahaan di berbagai industri, termasuk teknologi, keuangan, kesehatan, telekomunikasi, dan gaming, saat mereka memodernisasi operasi dan menerapkan kemampuan AI yang canggih.

Dengan latar belakang Anda di pengujian AI, validasi data, dan penerapan yang bertanggung jawab, bagaimana Anda melihat pergeseran dari AI generatif yang didorong bahasa ke model dunia yang bertujuan untuk bernalar tentang situasi dan hasil dunia nyata, terutama dalam peran Anda saat ini di TELUS Digital?

Model bahasa besar (LLM) secara fundamental adalah sistem prediksi pola. Mereka menghasilkan respons dengan memprediksi token berikutnya berdasarkan pola yang dipelajari dari korpus besar dan statis. Meskipun ini dapat tampak seperti bernalar, model tersebut sebenarnya tidak memodelkan bagaimana tindakan mengubah keadaan dunia.

Model dunia mengambil pendekatan yang berbeda. Alih-alih memprediksi kata atau token berikutnya, mereka bertujuan untuk memprediksi keadaan berikutnya dari sebuah sistem dengan memodelkan transisi keadaan. Ini memungkinkan sistem untuk mensimulasikan bagaimana lingkungan berkembang sebagai respons terhadap tindakan. Dalam prakteknya, itu membuka pintu untuk bernalar hipotetis, di mana model dapat mengevaluasi hasil yang berbeda sebelum membuat keputusan. Untuk sistem interaktif, ini dapat mendukung pengambilan keputusan dan perencanaan yang lebih andal.

Perubahan ini juga mengubah cara kita berpikir tentang penerapan yang bertanggung jawab. Dengan sistem AI generatif tradisional, sebagian besar fokusnya telah terletak pada masalah seperti bias dan halusinasi. Ketika model beralih ke bernalar tentang lingkungan dan tindakan, risiko lain menjadi lebih menonjol.

Contohnya, organisasi perlu mempertimbangkan “kesenjangan sim-to-nyata”, di mana perilaku yang dipelajari dalam lingkungan simulasi mungkin tidak diterjemahkan dengan bersih ke dalam kondisi dunia nyata. Perubahan distribusi juga menjadi kekhawatiran utama, karena lingkungan yang dihadapi model dalam penerapan mungkin berbeda dari data yang digunakan untuk melatihnya.

Ini adalah tempat di mana pengujian dan validasi menjadi kritis, yang merupakan fokus besar dalam peran saya di TELUS Digital. Ketika sistem AI bergerak melampaui generasi bahasa ke sistem yang berinteraksi dengan lingkungan dan membuat keputusan, organisasi memerlukan kerangka evaluasi yang ketat untuk memastikan model berperilaku dengan andal dalam kondisi dunia nyata.

Banyak orang familiar dengan model bahasa besar, tetapi lebih sedikit yang memahami model dunia. Dalam istilah sederhana, apa masalah yang dicoba diselesaikan model dunia yang secara fundamental sulit diatasi oleh LLM?

Model dunia adalah sistem yang dapat memprediksi “apa yang terjadi selanjutnya” diberikan keadaan saat ini dan tindakan. Rumusnya adalah: Keadaan + Tindakan → Keadaan Berikutnya

Jika saya memegang apel dan melepaskannya, model dunia memprediksi apel itu jatuh. Ini tidak hanya tahu apa yang “terlihat seperti” apel atau apa yang orang “katakan tentang” menjatuhkan apel – itu memprediksi konsekuensi berdasarkan pemahaman fisika. Model dunia yang canggih akan memprediksi apa yang terjadi jika saya melakukan hal yang sama sementara di Stasiun Luar Angkasa Internasional versus berada di permukaan bumi.

Ini berbeda dari LLM. LLM memprediksi: “Diberikan urutan token ini, token apa yang datang selanjutnya?” Ini dilatih pada teks – apa yang manusia tulis tentang dunia, bukan dunia itu sendiri. Ini dapat mengatakan kepada Anda bahwa apel yang dijatuhkan jatuh karena telah membaca tentang hal itu. Tapi itu tidak memiliki mesin fisika internal yang mensimulasikan jatuhnya.

Model dunia bertujuan untuk memahami bagaimana situasi berkembang langkah demi langkah, apa yang merupakan keadaan berikutnya diberikan keadaan saat ini dan tindakan yang akan terjadi, apa batasan yang ada.

Model dunia sering digambarkan sebagai memungkinkan sistem AI untuk mensimulasikan hasil sebelum mengambil tindakan. Bagaimana ini terlihat dalam praktek, dan seberapa dekat kita untuk melihat ini bekerja dengan andal di luar lingkungan penelitian?

Tantangan dalam menjawab pertanyaan ini adalah bahwa istilah “model dunia” digunakan dengan longgar, dan maknanya cenderung berubah tergantung pada konteks. Definisi model dunia yang sederhana adalah bahwa mereka memungkinkan agen untuk mensimulasikan keadaan lingkungan saat ini dan memprediksi keadaan berikutnya, dan bernalar tentang konsekuensi hilir. Peneliti cenderung mengkategorikan model dunia sedikit lebih granular, berdasarkan metode representasi dan pemrosesan mereka.

Model dunia laten adalah yang sudah keluar dari laboratorium penelitian dan membantu dalam aplikasi seperti mengemudi otonom, operasi gudang, operasi industri, dan pertanian. Model dunia generatif menunjukkan diri dalam penciptaan data sintetis untuk pengembangan mesin game, untuk kasus penggunaan self-driving, kasus penggunaan AI yang menjelma untuk simulasi gerakan manusia, dan untuk membuat rendering arsitektur,

Pendekatan JEPA, yang disukai oleh tokoh industri seperti Yan LeCun, memprediksi hasil dalam ruang representasi abstrak daripada menghasilkan piksel. Robot telah sebagian besar terbatas pada lingkungan yang dikendalikan, tetapi JEPA mengubah itu, memungkinkan robot untuk bergeser ke arah pengaturan dunia nyata yang terbuka.

Dari sudut pandang perusahaan, di mana Anda mengharapkan model dunia untuk memberikan nilai yang signifikan pertama, apakah dalam robotika, sistem pengambilan keputusan otonom, digital twin, atau pengaturan bisnis yang lebih abstrak?

Perasaan saya adalah bahwa digital twin kemungkinan akan memberikan nilai praktis pertama. Mereplikasi keadaan sistem dunia nyata sehingga kita dapat menguji skenario sebelum bertindak. Misalnya, dalam sistem rantai pasokan, sebuah pabrikan dapat membangun kembaran dari jaringan mitra komponennya. Simulasi dapat diberi makan oleh data sensor, log, data telemetri, dan dapat menjawab pertanyaan seperti “Apa yang terjadi jika Selat Hormuz ditutup?” Jadi kita dapat menguji pengalihan pengiriman sebelum benar-benar mengubah logistik yang sebenarnya.

Banyak karir Anda telah berfokus pada pengumpulan dataset, anotasi, dan validasi. Bagaimana tantangan data berubah ketika beralih dari pelatihan teks statis ke mengajar sistem tentang bagaimana dunia berperilaku seiring waktu?

Situasi pengumpulan data untuk pemunguan model dunia memerlukan perubahan besar dari metode pelatihan LLM sebelumnya. Pertama-tama, kita tidak memiliki korpus data pra-pelatihan yang besar tersedia, petabyte dari Common Crawl dan miliaran halaman web. Beberapa peneliti robotika telah berspekulasi bahwa kita hanya memiliki 1/1000th jumlah data yang dibutuhkan untuk melatih kecerdasan fisik dan model dunia, untuk mencapai titik kinerja setara dengan GPT2.

Jadi ini akan memakan waktu untuk membangun dataset tersebut. Dalam kasus AI yang menjelma, kita akan membutuhkan jutaan jam dataset multi-sensor egosentris yang telah dianotasi. Beberapa dari mereka dioperasikan secara tele, beberapa dari lingkungan sintetis seperti Isaac Sim. Di TELUS Digital, kita telah membuat perubahan dari teks ke dataset multimodal dan multisensor, serta dataset simulasi. Tentu saja, kita dibantu oleh latar belakang yang kuat dalam pengumpulan data dan anotasi dalam penglihatan komputer.

Model dunia mempengaruhi keputusan daripada hanya menghasilkan output. Apa risiko keamanan atau tata kelola baru yang diperkenalkan dengan ini dibandingkan dengan sistem AI generatif?

Ada banyak risiko keamanan dan tata kelola, karena model dunia secara inheren dimaksudkan untuk mendukung operasi agen. Jadi, semua kekhawatiran yang kita miliki tentang generasi AI saat ini masih berlaku dalam skenario model dunia. Kita perlu pengawasan manusia untuk semua pengambilan keputusan penting, baik itu terkait keamanan transportasi, keselamatan kerja, kesehatan, keuangan, dan kegiatan sehari-hari.

Bias dan kepercayaan tetap menjadi hambatan besar bagi adopsi AI. Bagaimana kekhawatiran ini berkembang ketika sistem AI mulai memodelkan dan bertindak dalam lingkungan atau sosial yang kompleks?

Dari masyarakat umum hingga ruang C-suite, kepercayaan dan kepercayaan diri dalam model AI sudah cukup rendah dan saya tidak melihat perubahan besar dalam jangka pendek.

Di TELUS Digital, sebagian besar pekerjaan melibatkan penerapan AI secara besar-besaran untuk perusahaan dan pengguna nyata. Bagaimana ide seperti model dunia bertemu dengan kekhawatiran praktis seperti transparansi, dampak tenaga kerja, dan mempertahankan kepercayaan pelanggan?

Untuk memperjelas, TELUS Digital bekerja baik secara langsung dengan pembangun model dasar dan juga lebih jauh ke hilir dengan perusahaan yang menerapkan model AI. Lapangan permainan kita adalah ujung ke ujung:

Pertanyaan tentang kekhawatiran praktis terkait dengan pertanyaan sebelumnya tentang kepercayaan. Mari kita lihat kepercayaan tenaga kerja. Ketika AI yang ditenagai model dunia menjadi lebih umum, eksekutif perlu transparan dengan karyawan, kontraktor, dan pelanggan mereka. Komunikasi yang jelas diperlukan tentang apa yang modelnya baik, bagaimana mereka dilatih, apa data yang digunakan untuk melatih mereka, apa pengawasan yang telah ditempatkan, dan di mana pengawasan manusia masuk. Pemimpin perusahaan perlu menunjukkan nilai model baru kepada tenaga kerja saat ini, misalnya, melakukan semua pekerjaan yang membosankan dalam sebuah pekerjaan. Dan mereka perlu menunjukkan jalur transisi untuk pekerja yang terkena yang mungkin pindah ke pekerjaan baru yang muncul karena AI yang ditenagai model dunia semakin meluas.

Ada kesenjangan yang tumbuh antara apa yang peneliti AI pahami dan apa yang dipahami masyarakat umum. Bagaimana organisasi dapat berkomunikasi tentang kemajuan seperti model dunia dengan cara yang membangun kepercayaan tanpa melebih-lebihkan kemampuan mereka?

Lagi-lagi, ini turun ke transparansi tentang keterbatasan model dan tentang apa yang modelnya baik. Mengkomunikasikan bagaimana model telah dilatih untuk mitigasi potensial bias. Apa pengawasan manusia yang ada. Beberapa demonstrasi dunia nyata dari kemampuan model dan kasus penggunaan, dipasangkan dengan studi longitudinal, dapat membantu meningkatkan kepercayaan masyarakat umum dan tenaga kerja.

Akhirnya, apa salah satu kesalahpahaman umum tentang model dunia AI, apakah terlalu optimis atau terlalu hati-hati, yang Anda pikir perlu diperbaiki sekarang?

Sampai batas tertentu bahwa masyarakat umum terinformasikan tentang model dunia, salah satu kesalahpahaman adalah bahwa model dunia perlu memahami semua fisika dan ilmu pengetahuan untuk efektif. Model dunia akan diluncurkan lebih cepat dari yang diharapkan karena kasus penggunaan individual dapat dipersempit. Kendaraan otonom hanya perlu memahami dinamika lalu lintas dan fisika terkait jalan, dan bagaimana keadaan saat ini (misalnya, berada di dekat sekolah dasar, atau kehadiran SUV dengan siluet tinggi di dekatnya) akan mempengaruhi visi dan pengambilan keputusan mereka. Kendaraan otonom tidak perlu memahami fisika yang mendasari bagaimana membuat soufflé agar berfungsi.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi TELUS Digital.