Rowan Stewart, Sr. Direktur Produk, AI Safety & Platform di Transcend – Seri Wawancara

Rowan Stewart, Sr. Direktur Produk, AI Safety & Platform di Transcend, memimpin inisiatif produk yang berfokus pada membantu organisasi menemukan, mengatur, dan menggunakan data dengan aman di sistem kecerdasan buatan. Ia membawa lebih dari satu dekade pengalaman yang meliputi pengembangan produk kecerdasan buatan dan pembelajaran mesin, perangkat lunak perusahaan, pemrosesan bahasa alami, strategi data, dan kepemimpinan produk dari nol hingga satu. Sebelum bergabung dengan Transcend, Stewart menghabiskan hampir enam tahun di BCG X, di mana ia membantu perusahaan besar mengembangkan strategi kecerdasan buatan, mereinventasi proses internal, dan membangun produk yang dirancang untuk menghasilkan hasil bisnis yang terukur. Pada awal karirnya, ia mengelola pengembangan API pemrosesan bahasa alami untuk intelijen pengaruh, termasuk analisis sentimen, grafik pengetahuan, penilaian kepribadian, deteksi bot, dan kemampuan keamanan merek.

Transcend adalah satu-satunya platform keputusan data otonom yang menjawab “apakah saya bisa menggunakan data ini?” untuk meningkatkan pertumbuhan pelanggan. Perusahaan Fortune 500 dan pemimpin kategori yang muncul menggunakan Transcend untuk mengkodekan izin penggunaan data secara langsung ke dalam sistem perusahaan yang memproses data pelanggan, memberikan sumber kebenaran waktu nyata untuk persetujuan, preferensi, dan aturan bisnis. Hasilnya adalah kualitas data yang superior, penggunaan etis yang melindungi merek, dan kepatuhan yang siap audit dengan skala. Dengan Transcend, perusahaan dapat membuka pendapatan dari kecerdasan buatan, personalisasi, dan inisiatif data pihak pertama lainnya dengan percaya diri. Didirikan pada tahun 2017 oleh Ben Brook (CEO) dan Mike Farrell (CTO), Transcend berkantor pusat di Kawasan Teluk San Francisco.

Anda menghabiskan hampir enam tahun di BCG X membantu beberapa organisasi terbesar di dunia menerapkan solusi kecerdasan buatan dan pembelajaran mesin sebelum pindah ke keamanan dan tata kelola kecerdasan buatan di Transcend. Apa kegagalan tata kelola atau titik buta yang berulang yang Anda amati yang membuat Anda yakin bahwa tata kelola kecerdasan buatan perlu dibangun ke dalam sistem dari hari pertama daripada ditambahkan kemudian?

Di BCG, saya bekerja dengan perusahaan di setiap tahap kematangan kecerdasan buatan, dan satu pola yang menempel pada saya: tata kelola selalu muncul terlambat. Tim bergerak cepat untuk mengirimkan model atau produk, dan percakapan tentang izin data, persetujuan, atau pengawasan benar-benar memasuki fokus tepat sebelum produksi dan terasa seperti ‘gotcha’. Apa pun yang dibangun pada titik itu berjumlah pada tambalan pada sistem yang tidak pernah dirancang dengan tata kelola dalam pikiran.

Itulah sebagian alasannya saya sangat bersemangat untuk bergabung dengan Transcend. Memberi saran kepada perusahaan tentang apa yang harus mereka lakukan hanya sampai batas tertentu. Saya ingin membantu membangun infrastruktur yang membuat tata kelola menjadi pilihan yang mudah.

Banyak organisasi berlomba untuk menerapkan agen kecerdasan buatan di seluruh dukungan pelanggan, operasional, dan pekerjaan pengetahuan. Bagaimana mengatur agen kecerdasan buatan yang otonom berbeda dari mengatur sistem perangkat lunak tradisional atau bahkan generasi kecerdasan buatan sebelumnya?

Arsitektur keamanan perusahaan sebagian besar menganggap bahwa ada manusia di ujung setiap tindakan, dan bahwa manusia dapat diidentifikasi, dipercaya, dan ketika sesuatu salah, dapat diminta pertanggungjawaban. Tetapi agen bukanlah orang. Mereka bertindak sendiri, mendelegasikan tugas kepada agen lain, dan menghubungkan keputusan bersama dengan cara yang jarang sesuai dengan satu orang yang bertanggung jawab.

Memberikan agen izin statis yang sama seperti yang Anda berikan kepada karyawan menciptakan ketidakcocokan karena agen kekurangan akal sehat. Tata kelola harus mengevaluasi tindakan spesifik yang akan diambil agen, pada saat itu, dengan data tertentu. Sebagian besar perusahaan masih menjalankan playbook manajemen identitas dan akses yang mereka bangun untuk manusia, dan banyak dari mereka akan menemukan celah ketika penerapan agen melampaui tata kelola yang dibangun untuk menanganinya.

Anda telah bekerja melintasi beberapa gelombang inovasi kecerdasan buatan, dari produk pemrosesan bahasa alami dan platform intelijen pengaruh hingga inisiatif transformasi kecerdasan buatan perusahaan. Bagaimana percakapan tentang keamanan kecerdasan buatan berevolusi selama dekade terakhir, dan apa yang masih mengkhawatirkan Anda?

Membandingkan kecerdasan buatan hari ini (dan besok!) dengan generasi sebelumnya sangat menarik karena ini adalah ruang yang bergerak sangat cepat. Evolusi paling penting dari tahun-tahun terakhir tentu saja adalah munculnya agen dan pentingnya manajemen memori jangka panjang (OpenClaw, siapa?). Agen-agen ini dapat melakukan begitu banyak lebih dengan kualitas yang lebih tinggi, yang membuat mereka lebih berharga dan, tentu saja, lebih berisiko.

Bagaimana perusahaan dapat mengatasi kesalahpahaman tentang persetujuan, izin, dan tata kelola data dalam lingkungan yang didorong kecerdasan buatan?

Kesalahpahaman paling umum adalah mengobati persetujuan sebagai sesuatu yang Anda tangkap sekali dan simpan. Seorang pelanggan menyetujui serangkaian ketentuan saat pendaftaran, dan perusahaan menganggap bahwa persetujuan itu berlaku selamanya, tidak peduli bagaimana data itu bergerak setelah itu atau sistem apa yang akhirnya memprosesnya. Persetujuan perlu mengikuti data. Jika seseorang memperbarui preferensinya, atau peraturan baru mengubah apa yang diizinkan, perubahan itu harus muncul di mana pun data itu hidup, bukan hanya di sistem di mana persetujuan awalnya dikumpulkan.

Kesalahpahaman kedua adalah mengobati izin sebagai detail teknis yang ditangani oleh tim IT atau hukum secara diam-diam di latar belakang. Ketika sistem kecerdasan buatan mulai membuat keputusan berdasarkan data itu, pemberian izin menjadi pertanyaan produk dan bisnis, dan setiap celah di dalamnya langsung diwariskan oleh inisiatif kecerdasan buatan yang berada di atasnya.

Banyak perusahaan masih mengandalkan kebijakan statis dan tinjauan kepatuhan berkala. Mengapa pendekatan tersebut bergelut dalam era di mana sistem kecerdasan buatan dapat terus belajar, beradaptasi, dan berinteraksi dengan agen lain?

Kebijakan statis menangkap apa yang terlihat pada sistem, dan apa yang dianggap dapat diterima, pada saat seseorang menulisnya. Kecerdasan buatan tidak diam cukup lama agar snapshot itu tetap akurat. Model yang kebijakan itu ditulis untuk mungkin tidak sama dengan model yang Anda jalankan enam bulan kemudian, dan tinjauan kepatuhan triwulanan atau tahunan tidak dapat mengikuti sistem yang membuat keputusan dan beradaptasi sepanjang waktu.

Mengatur sesuatu yang bergerak secepat ini memerlukan kebijakan yang bergerak dengan kecepatan yang sama. Artinya, menegakkan tata kelola pada titik di mana data sebenarnya digunakan, secara waktu nyata, bukan memeriksanya setelahnya melawan dokumen yang sudah usang sejak hari pertama dipublikasikan.

Apa yang terlihat seperti tata kelola yang efektif ketika organisasi mulai menerapkan jaringan agen kecerdasan buatan yang berkolaborasi satu sama lain dan mengakses beberapa sistem internal?

Ini adalah di mana batasan arsitektur keamanan tradisional menjadi jelas. Seorang agen mungkin diberi wewenang untuk membaca catatan, memanggil alat, dan menyerahkan hasil kepada agen lain, dan setiap langkah itu dapat terlihat masuk akal secara terpisah. Tindakan komposit (hal yang sebenarnya terjadi ketika Anda menghubungkan langkah-langkah tersebut bersama) sering kali merupakan sesuatu yang tidak pernah disetujui secara eksplisit oleh manusia. Tata kelola tradisional dapat mengonfirmasi apakah agen memiliki izin untuk menyentuh sistem, meskipun memiliki sedikit untuk dikatakan tentang apakah data yang disentuh dikumpulkan di bawah persetujuan yang mencakup penggunaan ini, atau apakah rantai tindakan yang dihasilkan pernah disetujui oleh seseorang.

Transcend berfokus pada mengintegrasikan izin penggunaan data secara langsung ke dalam alur kerja perusahaan. Seberapa penting infrastruktur tata kelola waktu nyata ketika organisasi berpindah dari eksperimen kecerdasan buatan ke penerapan skala produksi?

Selama pengujian, tim dapat sering kali mengandalkan tinjauan manual dan audit berkala, karena taruhannya rendah. Dalam produksi, terutama dengan kecerdasan buatan agen, itu rusak karena skala yang sangat besar. Sistem periksa-daftar dan pertemuan saat ini adalah lose-lose. Tim kepatuhan dan keamanan pada dasarnya mendapatkan janji yang tidak dapat dipercaya tanpa penegakan berkelanjutan, sementara tim produk sekarang berkomitmen pada tinjauan manual yang membosankan yang memberikan sedikit nilai nyata kepada pengguna akhir. Itulah saat infrastruktur waktu nyata menjadi satu-satunya pendekatan yang berhasil. Menegakkan izin pada saat data bergerak atau keputusan dibuat, bukan merekonstruksi apa yang terjadi setelah sesuatu sudah salah, adalah apa yang membuat tata kelola bermakna untuk kepatuhan, dan berharga bagi pengguna.

Menurut Anda, apa risiko paling signifikan yang terkait dengan kecerdasan buatan agen selama tiga hingga lima tahun ke depan, dan risiko mana yang saat ini kurang diperkirakan oleh pemimpin bisnis?

Saya pikir model memiliki agen yang mewarisi izin pengguna lebih berisiko daripada yang kita sadari. Manusia memiliki penilaian, tetapi kecerdasan buatan akan mengikuti instruksi Anda langsung ke tebing.

Bagaimana tim produk harus menyeimbangkan tekanan untuk mengirimkan fitur kecerdasan buatan dengan cepat dengan kebutuhan untuk membangun kerangka tata kelola, transparansi, dan akuntabilitas?

Saya pikir satu hal konkrit adalah perbaikan untuk apa yang saya sebut “Pajak Keterlambatan”.

Kami semua dengan cepat mengkalibrasi ulang respons kami untuk mengurangi validitas dan nilai output kecerdasan buatan. Itulah mengapa semua orang menyarankan Anda untuk menghapus tanda hubung (bahkan jika mereka tepat) dan mengapa situs yang menggunakan palet warna Claude standar terlihat murah (meskipun terlihat bagus) dan mengapa informasi yang disajikan oleh kecerdasan buatan dianggap mencurigakan (meskipun benar). Ini sangat memengaruhi nilai yang dirasakan dari produk Anda.

Perbaikan untuk Pajak Keterlambatan sebenarnya adalah tata kelola dan transparansi yang lebih baik. Misalnya, kami baru-baru ini mengirimkan fitur yang disebut Penggunaan Kecerdasan Buatan Vendor, yang mengambil informasi yang tersedia secara publik tentang fitur kecerdasan buatan dan postur tata kelola dari perusahaan teratas, untuk membantu tim pemberdayaan kecerdasan buatan, keamanan, dan tim pengadaan melakukan pekerjaan mereka lebih cepat. Kami menemukan bahwa menggunakan kerangka orkestrasi agen multi dan mengumpulkan serta menyajikan bukti dengan tautan sumber dan kutipan untuk temuan mereka, menghasilkan perbaikan besar dalam kualitas hasil kami. Praktik pengumpulan bukti dan QA agen ini adalah kemenangan karena hasil sebenarnya untuk pengguna lebih baik, dan kepatuhan lebih kuat.

Menghadap ke depan, apakah Anda percaya bahwa tata kelola kecerdasan buatan akhirnya akan menjadi keunggulan kompetitif daripada hanya persyaratan kepatuhan, dan apa yang akan membedakan organisasi yang berhasil dari mereka yang tertinggal?

Saya percaya, dan ini kembali ke pola yang sama yang saya lihat bermain di BCG. Perusahaan yang mengobati tata kelola sebagai sesuatu yang ditambahkan sekali produk sudah ada di pasar selalu tertangkap di menit terakhir sebelum penskalaan, dan cenderung terjebak dalam “Purgatorium Pilot”. Perusahaan yang membangun tata kelola ke dalam sistem dari hari pertama dapat bergerak dengan jenis kepercayaan diri yang kelompok lain tidak miliki, karena mereka tidak terus-menerus bertanya-tanya apa yang mereka temukan ketika mereka akhirnya melihat dengan dekat bagaimana kecerdasan buatan mereka sebenarnya menggunakan data.

Celah itu hanya akan melebar ketika penerapan agen mempercepat. Organisasi yang berlomba paling cepat untuk menerapkan agen tanpa memikirkan kembali bagaimana agen-agen itu diizinkan adalah mereka yang paling mungkin mengalami masalah, dan ketika mereka melakukannya, perusahaan yang mendapatkan infrastruktur yang tepat akan sudah beroperasi pada kecepatan yang terlambat datang tidak dapat dengan mudah diikuti. Tata kelola berhenti menjadi item kepatuhan sekali itu menjadi hal yang memungkinkan Anda menerapkan kecerdasan buatan lebih cepat dan dengan lebih percaya diri daripada semua orang yang masih melakukannya secara manual.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Transcend.