Navrina Singh, CEO dan Pendiri Credo AI – Seri Wawancara

Navrina Singh adalah CEO dan Pendiri Credo AI, sebuah perusahaan yang merancang platform SaaS tata kelola AI yang komprehensif pertama yang memungkinkan perusahaan dan individu untuk lebih memahami dan mengirimkan AI yang dapat dipercaya dan etis, tetap mendahului peraturan dan kebijakan baru dan menciptakan catatan AI yang dapat diaudit dan transparan di seluruh organisasi. Perusahaan ini telah berjalan dalam mode stealth dan diam-diam membangun portofolio pelanggan yang mengesankan yang termasuk salah satu kontraktor pemerintah terbesar dan perusahaan jasa keuangan di dunia, di antara merek Fortune 100 lainnya.

Anda tumbuh di sebuah kota kecil di India dengan awal yang sederhana, bagaimana Anda menemukan diri Anda tertarik dengan teknik dan bidang AI?

Saya berasal dari keluarga kelas menengah; ayah saya berada di militer selama empat dekade dan ibu saya adalah seorang guru yang kemudian menjadi desainer fashion. Sejak usia dini, mereka selalu mendorong rasa ingin tahu saya, cinta saya terhadap penemuan ilmiah, dan memberi saya tempat yang aman untuk menjelajahi “apa yang jika”.

Ketika saya tumbuh dewasa di India, perempuan tidak diberi banyak kesempatan seperti laki-laki. Banyak keputusan sudah dibuat untuk seorang gadis, berdasarkan apa yang diterima oleh masyarakat. Satu-satunya cara untuk memutuskan dan memberi kehidupan yang baik bagi keluarga Anda adalah melalui pendidikan.

Setelah lulus sekolah menengah, saya memiliki komputer pertama saya yang merupakan jendela ke dunia. Saya sangat tertarik dengan perangkat keras, dan menghabiskan berjam-jam online untuk mempelajari cara melepas motherboard, membangun aplikasi robotika, mempelajari cara mengkode, mengubah kembali listrik di rumah saya (yikes!) dan banyak lagi. Teknik menjadi ruang yang aman bagi saya, di mana saya bisa bereksperimen, menjelajahi, membangun, dan mengalami dunia yang saya inginkan melalui penemuan saya. Saya terinspirasi dan bersemangat tentang bagaimana teknologi bisa menjadi alat yang kuat untuk mempengaruhi perubahan, terutama bagi perempuan.

Ketika saya tumbuh dewasa, sarana saya terbatas, tetapi kemungkinannya tidak. Saya selalu bermimpi untuk datang ke Amerika Serikat untuk membangun fondasi yang lebih kuat dalam teknologi untuk menyelesaikan tantangan terbesar yang dihadapi umat manusia. Saya berimigrasi ke sini pada tahun 2001, untuk melanjutkan perjalanan teknik saya di Universitas Wisconsin Madison.

Selama hampir dua dekade di teknik, saya memiliki kehormatan untuk bekerja di berbagai teknologi pionir, dari mobile hingga augmented reality.

Pada tahun 2011, saya mulai menjelajahi Kecerdasan Buatan untuk membangun bisnis baru yang muncul di Qualcomm (QCOM ). Saya juga menghabiskan waktu membangun bisnis dan aplikasi di AI di bidang speech, vision, dan NLP di Microsoft (MSFT ) dan Qualcomm, selama dekade terakhir. Ketika saya mempelajari lebih banyak tentang AI dan pembelajaran mesin, menjadi jelas bahwa teknologi pionir ini akan sangat mengganggu kehidupan kita di luar apa yang bisa kita bayangkan.

Membangun skala perusahaan Kecerdasan Buatan juga membuat saya menyadari bahwa teknologi ini dapat melakukan kesalahan dan merugikan orang dan komunitas kita, jika tidak terkendali. Kami, sebagai pemimpin, harus mengambil tanggung jawab ekstrem untuk teknologi yang kami bangun. Kami harus proaktif dalam memaksimalkan manfaatnya bagi kemanusiaan dan meminimalkan risikonya. Setelah semua “Apa yang kita buat, membuat kita” Jadi membangun dengan bertanggung jawab sangat kritis, yang telah menginspirasi fase berikutnya dalam karir saya membangun tata kelola AI.

Kapan Anda pertama kali serius memikirkan tentang tata kelola AI?

Ketika saya menjadi kepala inovasi di Qualcomm, kami menjelajahi kemungkinan yang bisa dibawa AI ke bisnis baru kami. Pekerjaan awal kami berfokus pada robot kolaboratif yang digunakan dalam rantai pasokan. Ini adalah pengalaman pertama saya dengan “risiko nyata” AI, terutama dalam hal keselamatan fisik manusia yang mengoperasikan sistem robotik ini.

Ketika itu, kami menghabiskan waktu yang signifikan dengan startup, seperti Soul Machines, mempelajari kasus penggunaan baru dan menemukan cara untuk bermitra dengan mereka untuk mempercepat pekerjaan kami. Soul Machines telah merilis versi baru dari bayi avatar mereka, “Baby X”. Menonton bayi yang ditenagai oleh jaringan saraf ini, secara aktif belajar dari dunia di sekitarnya, membuat saya berhenti dan merefleksikan konsekuensi yang tidak disengaja dari teknologi ini. Putri saya Ziya lahir sekitar waktu yang sama, dan kami dengan hangat memanggilnya Baby “Z” setelah Soul Machines Baby “X”. Saya telah berbicara tentang ini banyak kali, termasuk di Women In Product Keynote pada 2019.

Perjalanan belajar Baby X dan Baby Z sangat mirip! Ketika Ziya tumbuh dewasa, kami memberinya kosakata awal dan alat untuk belajar. Seiring waktu, dia mulai memahami dunia dan menghubungkan hal-hal sendiri. Baby X, bayi yang ditenagai oleh jaringan saraf, juga belajar melalui sensor visi dan pengenalan suara, dan dengan cepat membangun pemahaman yang mendalam tentang dunia manusia.

Momen AI awal ini membuat saya menyadari bahwa sangat kritis untuk menemukan cara untuk mengelola risiko dan meletakkan pagar pengaman yang efektif di sekitar teknologi ini untuk memastikan bahwa itu diterapkan untuk kebaikan.

Bagaimana Anda bisa berbagi cerita asal-usul di balik Credo AI?

Setelah Qualcomm, saya direkrut untuk memimpin komersialisasi teknologi AI di Microsoft di grup pengembangan bisnis dan, kemudian, di grup produk. Selama masa jabatan saya, saya beruntung bekerja pada spektrum teknologi AI dengan aplikasi di kasus penggunaan dari AI Konversasional hingga kecerdasan kontrak, dan dari inspeksi visual hingga penemuan produk yang ditenagai oleh suara.

Namun, benih tata kelola AI yang ditanam di Qualcomm terus tumbuh ketika saya terus menyaksikan defisit pengawasan yang meningkat dalam pengembangan teknologi Kecerdasan Buatan. Sebagai pemimpin produk yang bekerja dengan tim ilmu data dan teknik, kami termotivasi untuk membangun aplikasi AI yang berkinerja tinggi yang ditenagai oleh pembelajaran mesin dan menerapkannya dengan cepat di pasar.

Kami memandang kepatuhan dan tata kelola sebagai pemeriksaan gerbang yang memperlambat laju inovasi. Namun, kekhawatiran saya yang terus tumbuh tentang defisit tata kelola antara profesional teknis dan pengawasan di bidang risiko, kepatuhan, dan audit, memotivasi saya untuk terus menjelajahi tantangan dalam mewujudkan tata kelola AI.

Semua pertanyaan yang tidak terjawab tentang tata kelola AI mendorong saya untuk mencari jawaban. Jadi saya mulai meletakkan dasar untuk organisasi nirlaba yang disebut MERAT (Marketplace for Ethical and Responsible AI tools) dengan tujuan untuk menciptakan ekosistem untuk startup dan Global 2000 yang fokus pada pengembangan AI yang bertanggung jawab.

Melalui eksperimen awal di MERAT, menjadi jelas bahwa tidak ada startup yang memungkinkan alat multistakeholder untuk memberdayakan tata kelola AI dan aplikasi ML yang komprehensif – sampai Credo AI. Kesenjangan ini adalah kesempatan saya untuk mewujudkan misi memandu AI secara sengaja. Hipotesis saya terus divalidasi bahwa frontier berikutnya dari revolusi AI akan dipandu oleh tata kelola. Perusahaan yang mengadopsi tata kelola akan muncul sebagai pemimpin dalam merek yang dipercaya.

Saya mendapat pendekatan dari AI Fund, sebuah inkubator yang didirikan oleh Andrew Ng, seorang ahli AI terkenal. AI Fund telah fokus pada topik-topik auditabilitas AI dan tata kelola yang sama yang telah saya konsumsi selama dekade terakhir.

Credo AI didirikan pada tanggal 28 Februari 2020, dengan pendanaan dari AI Fund.

Credo berarti “sebuah set nilai yang memandu tindakan Anda.” Dengan Credo AI, visi kami adalah memberdayakan perusahaan untuk menciptakan AI dengan standar etika tertinggi.

Di sebuah wawancara sebelumnya, Anda membahas bagaimana merek di masa depan akan dipercaya tidak hanya “hanya” berdasarkan bagaimana mereka membangun dan menerapkan AI, tetapi pada bagaimana mereka menskalakan AI sehingga berada di layanan kemanusiaan. Bisakah Anda menjelaskan lebih lanjut tentang ini?

Kecerdasan Buatan adalah salah satu teknologi perubahan permainan di abad ini dan menawarkan kesempatan transformasional bagi perekonomian dan masyarakat. Ini berada di jalur untuk memberikan kontribusi hampir $16 triliun untuk perekonomian global pada tahun 2030.

Namun, beberapa tahun terakhir telah memperlihatkan sorotan pada ancaman AI besar (dan tidak, itu bukan robot yang menguasai!) yang sudah ada. Misalnya, algoritma yudisial yang mengoptimalkan untuk minimalisasi kejahatan (kejahatan yang berulang) dapat memperkenalkan bias dan menolak parol untuk mereka yang layak.

Algoritma sosial yang mengoptimalkan untuk keterlibatan dapat membagi sebuah bangsa.

Algoritma yang tidak adil dapat menjadi alasan Anda tidak mendapatkan pekerjaan atau penerimaan di universitas.

Semakin banyak otonomi yang kita berikan kepada alat kita, semakin luas konsekuensi yang tidak disengaja. Skala luar biasa menghasilkan dampak luar biasa, tetapi tidak selalu dampak yang kita inginkan (Saya menulis tentang ini di Credo AI Manifesto).

Saya memprediksi bahwa perusahaan yang berinvestasi dalam tata kelola AI untuk membantu mereka membangun teknologi secara bertanggung jawab dan berkomitmen untuk menggunakan data secara etis, akan dapat membangun kepercayaan di seluruh pemangku kepentingan – pelanggan, konsumen, investor, karyawan, dan lain-lain.

Bagaimana Credo AI membantu menjaga perusahaan tetap bertanggung jawab?

Tanggung jawab berarti kewajiban untuk menerima tanggung jawab atas tindakan Anda. Dalam konteks pengembangan dan penerapan AI, ini berarti bahwa perusahaan perlu tidak hanya memiliki keselarasan tentang apa yang “baik” bagi mereka, tetapi mengambil langkah-langkah sengaja untuk menunjukkan tindakan pada tujuan yang selaras dan mengambil tanggung jawab atas hasilnya.

Credo AI bertujuan untuk menjadi sherpa bagi perusahaan dalam inisiatif AI etis dan bertanggung jawab mereka untuk mempertahankan mereka bertanggung jawab kepada pemangku kepentingan yang beragam: pengguna, karyawan, regulator, auditor, investor, eksekutif, dan lain-lain. Oleh karena itu, Credo AI telah mempelopori solusi yang komprehensif dan berkelanjutan untuk mengirimkan AI yang etis dan bertanggung jawab secara real-time.

Membangun akuntabilitas dan kepercayaan di AI adalah proses dinamis. Organisasi harus selaras dengan nilai perusahaan, mengkodekan nilai-nilai tersebut, membangunnya ke dalam infrastruktur organisasi, mengamati dampak, dan mengulangi proses dengan suara yang beragam memberikan input pada setiap tahap. Credo AI memungkinkan akuntabilitas ini melalui solusi komprehensif dan real-time untuk mengelola kepatuhan dan mengukur risiko untuk penerapan AI secara besar-besaran.

Menggunakan solusi tata kelola Credo AI, perusahaan dapat:

• Mengatur persyaratan tata kelola untuk kasus penggunaan AI dan model mereka, dengan paket kebijakan yang dapat disesuaikan dan alat dukungan keputusan untuk memilih metrik evaluasi model.
• Mengukur dan menginterogasi data dan model ML terhadap tujuan yang selaras.
• Menganalisis spesifikasi teknis menjadi dampak risiko yang dapat diambil untuk bisnis pada setiap tahap pengembangan dan penerapan model, sehingga Anda dapat menangkap dan memperbaiki masalah tata kelola sebelum mereka menjadi masalah besar.

Dengan merekam keputusan dan tindakan pada setiap titik, Credo AI menangkap asal-usul keputusan yang masuk ke dalam pembuatan model sebagai bukti. Bukti ini akan menjadi catatan yang dibagikan secara internal dengan pemangku kepentingan perusahaan dan secara eksternal dengan auditor yang membangun kepercayaan pada niat AI.

Bukti ini akan membantu tim pengembangan memprediksi dan mencegah konsekuensi yang tidak disengaja dan akan memstandarisasi cara kami menilai efikasi dan kepercayaan model AI.

Kami berada di awal memungkinkan tata kelola AI melalui penilaian komprehensif dan jaminan dan bersemangat untuk bekerja dengan lebih banyak perusahaan untuk mempromosikan akuntabilitas.

Bagaimana Credo AI membantu perusahaan untuk beralih dari tata kelola AI yang menjadi pemikiran setelahnya?

Di dunia saat ini, ada kekurangan kejelasan tentang apa yang benar-benar “bertanggung jawab”, “etis”, dan “dapat dipercaya” AI, dan bagaimana perusahaan dapat mengirimkannya. Kami membantu membingkai pertanyaan kunci ini untuk perusahaan, dengan menggunakan platform SaaS Credo AI untuk menunjukkan “ekonomi etika”.

Dengan Credo AI, perusahaan dapat tidak hanya mengirimkan AI yang adil, patuh, dan dapat diaudit, tetapi mereka juga dapat membangun kepercayaan pelanggan.

Membangun kepercayaan pelanggan dapat memperluas basis pelanggan perusahaan dan membuka lebih banyak penjualan. Misalnya, perusahaan dapat memberikan pengalaman pelanggan terbaik dengan menggunakan AI etis dalam chatbot layanan pelanggan mereka, atau menggunakan AI secara bertanggung jawab untuk memahami aktivitas pengguna dan menyarankan konten atau produk tambahan untuk mereka. Pelanggan yang sangat puas kemudian menawarkan iklan terbaik dengan berbagi pengalaman mereka dengan teman dan keluarga.

Perusahaan juga dapat melihat bagaimana kolaborasi antara fungsi teknis dan pengawasan dapat membantu mereka menghemat biaya karena waktu kepatuhan yang lebih cepat, manajemen risiko yang terinformasi, risiko merek dan regulasi yang lebih rendah. Kami membantu organisasi menerapkan AI etis dengan membangun jembatan antara metrik teknis dan hasil bisnis yang nyata. Ketika lebih banyak orang menyadari, mempromosikan AI etis melibatkan lebih dari sekadar memeriksa ” kotak kepatuhan regulasi”. Tetapi itu memiliki kekuatan untuk mengirimkan lebih dari kontribusi untuk dunia yang lebih adil, yang akan menjadi hasil yang berharga dengan sendirinya.

Ketika sebuah perusahaan mempertahankan standar etika yang tinggi, mereka dapat mengharapkan hasil bisnis nyata, seperti pendapatan yang meningkat. Menggeser perspektif dari konsep “lunak” abstrak ke keputusan bisnis yang objektif telah menjadi cara utama bagi kami untuk membantu memposisikan tata kelola AI sebagai bagian kritis dari mesin ekonomi dan sosial perusahaan.

Baru-baru ini, Administrasi Biden menciptakan Komite Penasihat Kecerdasan Buatan Nasional. Menurut Anda, apa implikasi dari ini untuk bisnis AI?

Pemerintah di seluruh dunia sedang bergerak penuh untuk mengatur AI, dan perusahaan perlu siap. Pembentukan komite penasihat AI nasional oleh administrasi Biden dan investasi di White House OSTP adalah langkah pertama yang baik untuk membawa tindakan ke diskusi sekitar tagihan hak untuk mengatur sistem AI. Namun, banyak pekerjaan perlu dilakukan untuk mewujudkan apa yang dimaksud dengan AI yang Bertanggung Jawab untuk negara dan perekonomian kita.

Saya percaya bahwa 2022 diposisikan untuk menjadi tahun aksi untuk AI yang bertanggung jawab. Ini adalah panggilan bangun untuk perusahaan yang ingin menerapkan atau memperkuat kerangka etika AI mereka. Sekarang adalah waktu bagi perusahaan untuk menilai kerangka yang ada untuk kesenjangan, atau, bagi perusahaan yang tidak memiliki pendekatan, untuk menerapkan kerangka yang solid untuk AI yang dapat dipercaya untuk mempersiapkan mereka untuk sukses dalam memimpin di era AI.

Kita harus mengharapkan lebih banyak regulasi yang keras dan lunak untuk muncul. Selain tindakan Gedung Putih, ada banyak momentum yang datang dari pembuat kebijakan dan lembaga lain, seperti Rancangan Undang-Undang Akuntabilitas Algoritma Senat, pedoman Komisi Perdagangan Federal (FTC) sekitar bias AI, dan lain-lain.

Jika kita melompat ke masa depan, seberapa pentingnya etika AI dan tata kelola AI akan dalam lima tahun?

Kita berada di awal tata kelola AI. Untuk menekankan seberapa kritis tata kelola AI, berikut adalah beberapa prediksi saya untuk beberapa tahun ke depan:

• Tata kelola AI etis akan menjadi prioritas organisasi teratas

Perusahaan terus berinvestasi dan memanen manfaat dari menggunakan AI dalam bisnis mereka. IDC telah memproyeksikan pengeluaran $340 miliar untuk AI pada tahun 2022. Tanpa tata kelola, perusahaan akan ragu-ragu untuk berinvestasi dalam AI karena kekhawatiran tentang bias, keamanan, akurasi, kepatuhan sistem ini.

Tanpa kepercayaan, konsumen juga akan ragu-ragu untuk menerima produk atau berbagi data untuk membangun sistem ini. Dalam lima tahun ke depan, tata kelola AI etis akan menjadi prioritas ruang rapat dan metrik penting yang perusahaan harus mengungkapkan dan melaporkan untuk membangun kepercayaan di seluruh pemangku kepentingan mereka.

• Kategori pekerjaan sosio-teknis baru akan muncul dalam sebuah perusahaan

Kita sudah melihat organisasi yang berorientasi pada etika berinvestasi secara signifikan dalam memastikan pengembangan mereka untuk memastikan AI yang adil, patuh, dan dapat diaudit.

Untuk memimpin dalam AI, perusahaan perlu mempercepat pembelajaran tentang lanskap regulasi AI dan implementasi struktur akuntabilitas secara besar-besaran. Ketika bidang yang muncul dari implementasi AI etis berkembang, kategori pekerjaan sosio-teknis baru bisa muncul untuk memfasilitasi percakapan ini dan mengambil tanggung jawab dalam area ini. Komponen kerja ini bisa berfungsi sebagai perantara antara teknis dan pengawasan, membantu mengembangkan standar dan tujuan yang umum.

• Pengalaman AI yang ditenagai baru akan menuntut tata kelola yang lebih ketat

Mengelola konsekuensi yang disengaja dan tidak disengaja dari kecerdasan buatan sangat kritis, terutama ketika kita memasuki Metaverse dan dunia web3. Risiko AI ada di dunia nyata dan dunia virtual, tetapi diperkuat di dunia virtual.

Dengan memasuki Metaverse dengan kekurangan pengawasan AI, perusahaan mempertaruhkan pelanggan mereka untuk tantangan seperti pencurian identitas dan penipuan. Sangat penting bahwa masalah AI dan tata kelola diselesaikan di dunia nyata sekarang untuk menjaga konsumen aman di Metaverse.

• Ekosistem baru dalam tata kelola AI etis akan muncul

Dunia telah terbangun dengan gagasan bahwa tata kelola AI mewakili blok bangunan dasar untuk mengoperasikan AI yang bertanggung jawab. Dalam beberapa tahun ke depan, kita akan melihat pasar yang kompetitif dan dinamis dari penyedia layanan yang muncul untuk memberikan alat, layanan, pendidikan, dan kemampuan lain untuk mendukung kebutuhan besar ini.

Di samping itu, kita juga akan melihat konsolidasi dan peningkatan platform MLOps dan GRC yang ada untuk membawa kemampuan tata kelola dan penilaian ke AI.

Apakah ada yang ingin Anda bagikan tentang Credo AI?

Tata kelola AI etis adalah investasi yang future-proof yang tidak dapat Anda hindari untuk dibuat, dan hari ini adalah hari terbaik untuk memulai.

Terima kasih atas wawancara yang terperinci dan berbagi semua wawasan Anda tentang tata kelola AI dan etika, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Credo AI.