Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital – Interview Series

Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital, memimpin inisiatif yang berfokus pada kemajuan data pelatihan dan infrastruktur AI untuk sistem kecerdasan buatan generasi berikutnya. Pekerjaannya mencakup pengembangan dataset untuk model penelitian mendalam, lingkungan pembelajaran penguatan, data model dunia, inisiatif AI berdaulat, dan kerangka mitigasi risiko AI, dengan penekanan kuat pada praktik AI yang bertanggung jawab seperti mengatasi bias dataset dan mendukung kondisi kerja yang adil bagi pelatih AI. Di awal karirnya, Nemzer mendirikan VeriTest Labs, membantu pemimpin teknologi awal termasuk Microsoft, Intel, Oracle, dan Sun Microsystems membangun ekosistem perangkat lunak pihak ketiga yang berkembang sebelum perusahaan diakuisisi oleh Lionbridge. TELUS Digital adalah perusahaan layanan teknologi global yang membantu organisasi merancang, membangun, dan mengoperasikan platform digital serta solusi berbasis AI. Beroperasi di puluhan negara, perusahaan ini menyediakan layanan seperti data pelatihan dan anotasi AI, rekayasa produk digital, dan manajemen pengalaman pelanggan. Platform dan layanannya mendukung perusahaan di berbagai industri termasuk teknologi, keuangan, kesehatan, telekomunikasi, dan game saat mereka memodernisasi operasi dan menerapkan kemampuan AI canggih. Mengingat latar belakang Anda dalam pengujian AI, validasi data, dan penerapan yang bertanggung jawab, bagaimana Anda melihat pergeseran dari AI generatif berbasis bahasa menuju model dunia yang bertujuan untuk bernalar tentang situasi dan hasil dunia nyata, terutama dalam peran Anda saat ini di TELUS Digital? Model bahasa besar (LLM) pada dasarnya adalah sistem prediksi pola. Mereka menghasilkan respons dengan memprediksi token berikutnya berdasarkan pola yang dipelajari dari korpus statis yang besar. Meskipun ini bisa tampak seperti penalaran, model tersebut sebenarnya tidak memodelkan bagaimana tindakan mengubah keadaan dunia. Model dunia mengambil pendekatan yang berbeda. Alih-alih memprediksi kata atau token berikutnya, mereka bertujuan untuk memprediksi keadaan berikutnya dari suatu sistem dengan memodelkan transisi keadaan. Hal ini memungkinkan sistem untuk mensimulasikan bagaimana lingkungan berevolusi sebagai respons terhadap tindakan. Dalam praktiknya, itu membuka pintu untuk penalaran hipotetis, di mana model dapat mengevaluasi berbagai kemungkinan hasil sebelum membuat keputusan. Untuk sistem interaktif, ini dapat mendukung pengambilan keputusan dan perencanaan yang lebih andal. Pergeseran ini juga mengubah cara kita berpikir tentang penerapan yang bertanggung jawab. Dengan sistem AI generatif tradisional, banyak fokus telah diberikan pada masalah seperti bias dan halusinasi. Saat model bergerak ke arah penalaran tentang lingkungan dan tindakan, risiko lain menjadi lebih menonjol. Misalnya, organisasi perlu mempertimbangkan kesenjangan “sim-to-real”, di mana perilaku yang dipelajari di lingkungan simulasi mungkin tidak diterjemahkan dengan bersih ke kondisi dunia nyata. Pergeseran distribusi juga menjadi perhatian utama, karena lingkungan yang dihadapi model dalam penerapan mungkin berbeda dari data yang digunakan untuk melatihnya. Di sinilah pengujian dan validasi menjadi kritis, yang merupakan fokus besar dalam peran saya di TELUS Digital. Saat sistem AI melampaui generasi bahasa menjadi sistem yang berinteraksi dengan lingkungan dan membuat keputusan, organisasi memerlukan kerangka evaluasi yang ketat untuk memastikan model berperilaku andal dalam kondisi dunia nyata. Banyak orang familiar dengan model bahasa besar, tetapi jauh lebih sedikit yang memahami model dunia. Secara sederhana, masalah apa yang coba dipecahkan oleh model dunia yang pada dasarnya sulit diatasi oleh LLM? Model dunia adalah sistem yang dapat memprediksi “apa yang terjadi selanjutnya” mengingat keadaan saat ini dan suatu tindakan. Rumusnya adalah: Keadaan + Tindakan → Keadaan Berikutnya Jika saya memegang apel dan saya melepaskannya, model dunia memprediksi apel itu jatuh. Ia tidak hanya tahu seperti apa apel “terlihat” atau apa yang orang “katakan tentang” menjatuhkan apel – ia memprediksi konsekuensinya berdasarkan pemahaman tentang fisika. Model dunia yang canggih akan memprediksi apa yang akan terjadi jika saya melakukan hal yang sama saat berada di Stasiun Luar Angkasa Internasional dibandingkan berada di permukaan bumi. Ini berbeda dari LLM. Sebuah LLM memprediksi: “Mengingat urutan token ini, token apa yang muncul berikutnya?” Ia dilatih pada teks – apa yang ditulis manusia tentang dunia, bukan dunia itu sendiri. Ia dapat memberi tahu Anda bahwa apel yang dijatuhkan akan jatuh karena telah membaca tentang itu. Tetapi ia tidak memiliki mesin fisika internal yang mensimulasikan jatuhnya. Dengan kata lain, LLM pandai memprediksi secara statistik kata berikutnya dalam jawaban atas suatu pertanyaan, tetapi memahami dunia nyata melampaui deskripsi dan kohesi bahasa. Model dunia bertujuan untuk memahami bagaimana situasi berkembang langkah demi langkah, apa keadaan berikutnya mengingat keadaan saat ini dan tindakan yang akan terjadi, kendala apa yang ada. Model dunia sering digambarkan sebagai yang memungkinkan sistem AI untuk mensimulasikan hasil sebelum mengambil tindakan. Seperti apa praktiknya, dan seberapa dekat kita untuk melihat ini bekerja dengan andal di luar lingkungan penelitian? Tantangan dalam menjawab pertanyaan ini adalah bahwa istilah “model dunia” digunakan agak longgar, dan maknanya cenderung berubah tergantung pada konteksnya. Definisi model dunia yang sederhana adalah bahwa mereka memungkinkan agen untuk mensimulasikan lingkungan keadaan saat ini dan memprediksi keadaan masa depan, dan bernalar tentang konsekuensi hilir. Para peneliti cenderung mengategorikan model dunia sedikit lebih granular, berdasarkan metode representasi dan pemrosesannya. Ada model dunia laten, yang menyaring “esensi” suatu lingkungan menjadi ruang terfokus yang kompak. Ada model dunia generatif yang “memahami” fisika untuk membuat representasi visual frame demi frame, dan ada model Joint-Embedding Predictive Architecture (JEPA) yang memprediksi hasil dari tindakan masa lalu. Model dunia laten sudah keluar dari lab penelitian dan membantu dalam aplikasi seperti mengemudi otonom, operasi gudang, operasi industri, dan pertanian. Model dunia generatif muncul dalam pembuatan data sintetis untuk pengembangan mesin game, untuk kasus penggunaan mengemudi mandiri, kasus penggunaan AI berwujud untuk simulasi video gerakan mirip manusia, dan untuk membuat rendering arsitektural. Pendekatan JEPA, yang disukai oleh tokoh industri seperti Yan LeCun, memprediksi hasil dalam ruang representasi abstrak daripada menghasilkan piksel. Robot sebagian besar terbatas pada lingkungan yang terkendali, tetapi JEPA mengubah itu, memungkinkan robot beralih ke pengaturan dunia nyata yang terbuka. Kendaraan otonom adalah contoh yang baik – beberapa memanfaatkan Genie 3 untuk menghasilkan simulasi interaktif yang hiper-realistis untuk pelatihan dan untuk menangani peristiwa langka seperti zona konstruksi dengan lebih baik. Jelas, diperlukan lebih banyak pengujian keamanan dan keandalan untuk meningkatkan skala memindahkan model-model ini keluar dari lingkungan sandbox dan ke dunia nyata. Dari sudut pandang perusahaan, di mana Anda mengharapkan model dunia memberikan nilai yang berarti terlebih dahulu, baik dalam robotika, sistem keputusan otonom, kembaran digital, atau pengaturan bisnis yang lebih abstrak? Perasaan saya adalah bahwa kembaran digital kemungkinan akan memberikan nilai praktis terlebih dahulu. Mereplikasi keadaan sistem dunia nyata sehingga kita dapat menguji skenario sebelum bertindak. Misalnya, dalam sistem rantai pasok, produsen dapat membangun kembaran dari jaringan mitra komponennya. Simulasi dapat diumpankan oleh data sensor, log, data telemetri dan dapat menjawab pertanyaan seperti “Apa yang akan terjadi jika Selat Hormuz ditutup?” Jadi kita dapat menguji pengalihan pengiriman sebelum benar-benar mengubah logistik yang sebenarnya. Ini membantu kita beralih dari memantau sistem langsung ke mensimulasikan sistem langsung. Nilai berarti dari model dunia untuk robotika bergerak sejajar. Memiliki robot yang memahami sifat dasar fisika, seperti gesekan pada permukaan saat mengambil objek, akan mendorong penerapan AI berwujud ke gigi tinggi. Sebagian besar karir Anda berfokus pada pengumpulan dataset, anotasi, dan validasi. Bagaimana tantangan data berubah ketika beralih dari pelatihan teks statis ke mengajarkan sistem bagaimana dunia berperilaku dari waktu ke waktu? Situasi pengumpulan data untuk pemberdayaan model dunia memerlukan perubahan besar dari metode pelatihan LLM kemarin. Pertama-tama, kita tidak memiliki korpus data pra-pelatihan yang sangat besar tersedia, petabyte dari Common Crawl dan miliaran halaman web. Beberapa peneliti robotika berspekulasi bahwa kita hanya memiliki 1/1000 dari jumlah data yang dibutuhkan untuk melatih kecerdasan fisik dan model dunia, untuk mencapai titik kinerja setara dengan misalnya GPT2. Jadi akan membutuhkan waktu untuk membangun dataset tersebut. Dalam kasus AI berwujud, kita akan membutuhkan jutaan jam dataset multi-sensor egosentris yang diberi anotasi. Beberapa dioperasikan dari jarak jauh, beberapa dari lingkungan sintetis seperti Isaac Sim. Di TELUS DIgital, kami telah beralih dari teks ke dataset multimodal ke dataset multisensor dan dataset simulasi. Tentu saja kami dibantu oleh latar belakang pengumpulan dan anotasi data yang kuat dalam visi komputer. Kami telah berada di garis depan di sana selama bertahun-tahun. Di luar kelangkaan data pra-pelatihan, dan data penyetelan halus yang diberi anotasi, akan ada banyak tantangan pelatihan lain dalam meningkatkan skala pembelajaran penguatan. Mungkin ada paradigma transformatif baru (bukan permainan kata) seperti konsep GPT dan RL yang diperlukan untuk mempercepat terobosan efisiensi dalam metode pelatihan model dunia. Model dunia mempengaruhi keputusan daripada hanya menghasilkan keluaran. Risiko keselamatan atau tata kelola baru apa yang diperkenalkan itu dibandingkan dengan sistem AI generatif? Ada banyak risiko keselamatan dan tata kelola, karena model dunia pada dasarnya dimaksudkan untuk mendukung operasi agen. Jadi semua kekhawatiran yang kita miliki tentang generasi agen AI saat ini masih berlaku dalam skenario model dunia. Kita perlu pengawasan manusia untuk semua pengambilan keputusan penting, baik yang terkait dengan keselamatan transportasi, keselamatan kerja, kesehatan, keuangan, dan aktivitas sehari-hari. Contoh spesifik untuk model dunia, adalah kesenjangan antara data pelatihan simulasi dengan lingkungan dunia nyata. Variasi permukaan mikroskopis dapat membuat dunia nyata berantakan bagi robot yang terlatih dengan baik dalam simulasi. Risiko lain terkait dengan perilaku manusia. Saat sistem menjadi semakin otonom, manusia akan mulai sangat mengandalkannya, dan pengawasan mungkin menjadi longgar, dan pada akhirnya sistem tidak akan mendapatkan kalibrasi ulang yang diperlukan. Bias dan kepercayaan tetap menjadi hambatan utama adopsi AI. Bagaimana kekhawatiran itu berkembang ketika sistem AI mulai memodelkan dan bertindak dalam lingkungan dunia nyata atau sosial yang kompleks? Dari masyarakat umum hingga jajaran eksekutif, kepercayaan dan keyakinan pada model AI sudah cukup rendah dan saya tidak melihatnya banyak berubah dalam jangka pendek. Kekhawatiran tentang kekuatan AI yang terkonsentrasi di terlalu sedikit tangan, tentang AI mengambil alih pekerjaan, bias dalam AI yang menempatkan kelompok yang kurang terwakili pada posisi yang kurang menguntungkan, model membuat keputusan yang mempengaruhi kesehatan, karir dan keuangan seseorang, model menggunakan IP tanpa izin, serta kekhawatiran tentang deepfake AI, sudah sangat tinggi. Para eksekutif khawatir tentang menangani transisi tenaga kerja, privasi data dan kepatuhan regulasi, dan kalah dari pesaing dalam “perlombaan senjata” AI. Perkembangan terbaru dalam berita tentang tekanan pemerintah pada pembangun model fondasional AI untuk melonggarkan syarat penggunaan mengenai hal-hal seperti senjata otonom atau pengawasan massal hanya memperkuat kekhawatiran tersebut. Penerapan yang lebih luas dari robot berbasis model dunia yang lebih cerdas dan lebih otonom akan melakukan hal yang sama. Di sisi lain, kami melihat kantong-kantong adopsi dan kepercayaan AI yang meluas. Contohnya adalah cara agen pengkodean meledak dalam beberapa bulan terakhir. Manajer pengembangan perangkat lunak memiliki kepercayaan tinggi pada agen pengkodean, dan ada perubahan mendasar dalam cara pengembangan perangkat lunak dilakukan, dari pengembangan PRD hingga pengujian regresi pasca-rilis. Dunia pengembangan perangkat lunak berkembang dengan kecepatan cahaya, dan banyak dari itu disebabkan oleh kepercayaan pada agen pengkodean berkinerja tinggi. Seiring kepercayaan pengguna tumbuh dalam kasus penggunaan lain, saya berharap adopsi akan meledak dengan cara yang serupa. Solusi untuk membangun kepercayaan termasuk dataset dan lingkungan yang beragam dalam fase pelatihan, dan red teaming serta pengujian stres yang ekstensif sebagai pagar pengaman sebelum penerapan. Pengawasan regulasi proaktif juga suatu keharusan. Beberapa menyarankan agar pembangun model fondasional diwajibkan untuk memberikan “Laporan Dampak Sosial”, mirip dengan Laporan Dampak Lingkungan (EIR), sebelum model baru dirilis. Di TELUS Digital, banyak pekerjaan melibatkan penerapan AI dalam skala besar untuk perusahaan dan pengguna nyata. Bagaimana ide-ide seperti model dunia bersinggungan dengan keprihatinan praktis seperti transparansi, dampak tenaga kerja, dan mempertahankan kepercayaan pelanggan? Untuk memperjelas, TELUS Digital bekerja baik di hulu langsung dengan pembangun model fondasional, dan juga lebih jauh di hilir dengan perusahaan yang menerapkan model AI. Bidang permainan kami adalah ujung ke ujung: Pertanyaan tentang keprihatinan praktis terkait dengan pertanyaan sebelumnya tentang kepercayaan. Mari kita lihat kepercayaan tenaga kerja. Saat AI yang didukung model dunia menjadi lebih meresap, para eksekutif perlu transparan dengan karyawan, kontraktor, dan pelanggan mereka. Komunikasi yang jelas diperlukan tentang apa kelebihan model tersebut, bagaimana mereka telah dilatih, data apa yang digunakan untuk melatih mereka, pagar pengaman apa yang telah diterapkan dan di mana pengawasan manusia masuk. Pemimpin perusahaan perlu menunjukkan kepada tenaga kerja saat ini nilai dari model baru, misalnya melakukan semua pekerjaan membosankan dalam suatu pekerjaan. Dan mereka perlu menunjukkan jalur transisi bagi pekerja yang terdampak yang mungkin pindah ke pekerjaan baru yang muncul karena pekerjaan sebelumnya semakin banyak dilakukan oleh AI model dunia. Pekerja kerah putih berurusan dengan ini secara real-time, dan banyak pekerjaan manual akan terpengaruh dalam beberapa tahun mendatang seiring meluasnya otomatisasi yang didukung model dunia. Ada kesenjangan yang semakin besar antara apa yang dipahami oleh peneliti AI dan apa yang dipersepsikan publik. Bagaimana organisasi dapat mengkomunikasikan kemajuan seperti model dunia dengan cara yang membangun kepercayaan tanpa melebih-lebihkan kemampuan mereka? Sekali lagi, ini bermuara pada transparansi tentang keterbatasan model dan tentang kelebihan model tersebut. Mengkomunikasikan bagaimana model telah dilatih untuk mengurangi bias potensial. Pengawasan manusia apa yang ada. Beberapa demonstrasi dunia nyata tentang kemampuan dan kasus penggunaan model, ditambah dengan studi longitudinal dapat sangat membantu meningkatkan kepercayaan masyarakat umum dan tenaga kerja. Akhirnya, apa satu kesalahpahaman umum tentang model dunia AI, apakah terlalu optimis atau terlalu berhati-hati, yang menurut Anda perlu dikoreksi sekarang? Sejauh masyarakat umum mengetahui tentang model dunia, satu kesalahpahaman adalah bahwa model dunia perlu memahami semua fisika dan sains agar efektif. Model dunia akan diluncurkan lebih cepat dari yang diduga karena kasus penggunaan individual dapat dipersempit. Kendaraan otonom hanya perlu memahami dinamika lalu lintas dan fisika terkait jalan raya, dan bagaimana kondisi keadaan saat ini (misalnya berada di dekat sekolah dasar, atau prevalensi SUV terdekat dengan siluet tinggi) akan mempengaruhi penglihatan dan pengambilan keputusan mereka. Kendaraan otonom tidak memerlukan fisika yang mendasari cara kerja memanggang souffle agar berfungsi. Terima kasih atas wawancara yang hebat, pembaca yang ingin belajar lebih lanjut harus mengunjungi TELUS Digital.