Arjun Narayan, Kepala Keamanan dan Keselamatan Global untuk SmartNews – Seri Wawancara

Arjun Narayan, adalah Kepala Keamanan dan Keselamatan Global untuk SmartNews sebuah aplikasi pengumpul berita, ia juga seorang ahli etika AI dan kebijakan teknologi. SmartNews menggunakan AI dan tim editorial manusia saat mengumpulkan berita untuk pembaca.

Anda sangat berperan dalam membantu mendirikan Pusat Keamanan dan Keselamatan Asia Pasifik Google di Singapura, apa saja pelajaran penting yang Anda pelajari dari pengalaman ini?

Ketika membangun tim Keamanan dan Keselamatan, keahlian tingkat negara sangat penting karena penyalahgunaan sangat berbeda berdasarkan negara yang Anda regulasi. Misalnya, cara produk Google disalahgunakan di Jepang berbeda dengan cara mereka disalahgunakan di Asia Tenggara dan India. Ini berarti vektor penyalahgunaan sangat berbeda tergantung pada siapa yang menyalahgunakan, dan negara mana Anda berada; jadi, tidak ada homogenitas. Ini adalah sesuatu yang kita pelajari sejak awal.

Saya juga belajar bahwa keberagaman budaya sangat penting saat membangun tim Keamanan dan Keselamatan di luar negeri. Di Google, kami memastikan ada keberagaman budaya dan pemahaman yang cukup dalam orang-orang yang kami rekrut. Kami mencari orang-orang dengan keahlian domain tertentu, tetapi juga untuk keahlian bahasa dan pasar.

Saya juga menemukan bahwa imersi budaya sangat penting. Ketika kami membangun tim Keamanan dan Keselamatan di perbatasan, kami perlu memastikan tim teknik dan bisnis kami dapat memahami budaya setempat. Ini membantu memastikan semua orang lebih dekat dengan masalah yang kami coba atasi. Untuk melakukan ini, kami melakukan sesi imersi triwulanan dengan staf kunci, dan itu membantu meningkatkan kemampuan budaya semua orang.

Akhirnya, pemahaman antar budaya sangat penting. Saya mengelola tim di Jepang, Australia, India, dan Asia Tenggara, dan cara mereka berinteraksi sangat berbeda. Sebagai pemimpin, Anda ingin memastikan semua orang dapat menemukan suaranya. Pada akhirnya, semua ini dirancang untuk membangun tim dengan kinerja tinggi yang dapat menyelesaikan tugas-tugas sensitif seperti Keamanan dan Keselamatan.

Sebelumnya, Anda juga bekerja di tim Keamanan dan Keselamatan ByteDance untuk aplikasi TikTok, bagaimana video yang seringkali lebih pendek dari satu menit dipantau secara efektif untuk keamanan?

Saya ingin merubah pertanyaan ini sedikit, karena tidak benar-benar penting apakah video itu pendek atau panjang. Itu tidak menjadi faktor ketika kami mengevaluasi keamanan video, dan durasi tidak memiliki bobot nyata pada apakah video dapat menyebarkan penyalahgunaan.

Ketika saya memikirkan penyalahgunaan, saya memikirkan penyalahgunaan sebagai “masalah”. Apa saja masalah yang pengguna rentan terhadapnya? Misinformasi? Disinformasi? Apakah video itu satu menit atau satu jam, masih ada misinformasi yang dibagikan dan tingkat penyalahgunaan tetap setara.

Bergantung pada jenis masalah, Anda mulai memikirkan tentang penerapan kebijakan dan pengamanan keamanan dan bagaimana Anda dapat melindungi pengguna yang rentan. Sebagai contoh, katakanlah ada video seseorang yang melakukan self-harm. Ketika kami menerima notifikasi video itu ada, Anda harus bertindak dengan urgensi, karena seseorang bisa kehilangan nyawa. Kami sangat mengandalkan machine learning untuk melakukan deteksi jenis ini. Langkah pertama adalah selalu menghubungi otoritas untuk mencoba menyelamatkan nyawa itu, tidak ada yang lebih penting. Dari sana, kami bertujuan untuk menangguhkan video, siaran langsung, atau format apa pun yang dibagikan. Kami perlu memastikan kami meminimalkan paparan terhadap konten berbahaya seperti itu secepat mungkin.

Demikian pula, jika itu ucapaan kebencian, ada cara-cara berbeda untuk mengatasi itu. Atau dalam kasus pelecehan dan penganiayaan, itu sangat bergantung pada jenis masalah, dan tergantung pada itu, kami akan menyesuaikan pilihan penerapan kebijakan dan pengamanan keamanan. Contoh lain dari pengamanan keamanan yang baik adalah bahwa kami mengimplementasikan machine learning yang dapat mendeteksi ketika seseorang menulis sesuatu yang tidak pantas di komentar dan memberikan prompt untuk membuat mereka berpikir dua kali sebelum memposting komentar itu. Kami tidak akan menghentikan mereka secara langsung, tetapi harapan kami adalah orang-orang akan berpikir dua kali sebelum membagikan sesuatu yang tidak baik.

Itu semua bergantung pada kombinasi machine learning dan aturan kata kunci. Namun, ketika datang ke siaran langsung, kami juga memiliki moderator manusia yang meninjau aliran yang diberi tanda oleh AI sehingga mereka dapat melaporkan segera dan menerapkan protokol. Karena mereka terjadi secara real-time, tidak cukup untuk mengandalkan pengguna untuk melaporkan, jadi kami perlu memiliki manusia yang memantau secara real-time.

Sejak 2021, Anda telah menjadi Kepala Keamanan, Keselamatan, dan Pengalaman Pelanggan di SmartNews, sebuah aplikasi pengumpul berita. Bisakah Anda membahas bagaimana SmartNews menggunakan machine learning dan pemrosesan bahasa alami untuk mengidentifikasi dan memprioritaskan konten berita berkualitas tinggi?

Konsep sentral adalah bahwa kami memiliki “aturan” atau teknologi machine learning yang dapat memparse artikel atau iklan dan memahami apa yang dibicarakan dalam artikel itu.

Kapanpun ada sesuatu yang melanggar “aturan” kami, katakanlah sesuatu yang tidak akurat atau menyesatkan, kami memiliki machine learning yang menandai konten itu ke reviewer manusia di tim editorial kami. Pada tahap itu, mereka memahami nilai-nilai editorial kami dan dapat dengan cepat meninjau artikel dan membuat penilaian tentang kesesuaiannya atau kualitasnya. Dari sana, tindakan diambil untuk mengatasi itu.

Bagaimana SmartNews menggunakan AI untuk memastikan platformnya aman, inklusif, dan objektif?

SmartNews didirikan atas dasar bahwa hiper-personalisasi baik untuk ego tetapi juga mempolarisasi kita semua dengan memperkuat bias dan meletakkan orang dalam gelembung filter.

Cara SmartNews menggunakan AI sedikit berbeda karena kami tidak secara eksklusif mengoptimalkan untuk keterlibatan. Mesin AI kami ingin memahami Anda, tetapi tidak secara hyper-personalisasi untuk selera Anda. Itu karena kami percaya pada memperluas perspektif. Mesin AI kami akan memperkenalkan Anda pada konsep dan artikel di luar konsep yang berdekatan.

Gagasan itu adalah bahwa ada hal-hal yang orang perlu tahu dalam kepentingan publik, dan ada hal-hal yang orang perlu tahu untuk memperluas cakrawala mereka. Keseimbangan yang kami coba capai adalah untuk menyediakan analisis kontekstual tanpa menjadi seperti “big brother”. Terkadang orang tidak akan menyukai hal-hal yang mesin AI kami letakkan di feed mereka. Ketika itu terjadi, orang dapat memilih untuk tidak membaca artikel itu. Namun, kami bangga dengan kemampuan mesin AI kami untuk mempromosikan kebetulan, rasa ingin tahu, atau apapun yang Anda inginkan.

Di sisi keamanan, SmartNews memiliki sesuatu yang disebut “Skor Penerbit,” ini adalah algoritma yang dirancang untuk terus mengevaluasi apakah penerbit aman atau tidak. Pada akhirnya, kami ingin menetapkan apakah penerbit memiliki suara yang berwenang. Sebagai contoh, kami semua dapat sepakat bahwa ESPN adalah otoritas dalam olahraga. Namun, jika Anda adalah blog acak yang menyalin konten ESPN, kami perlu memastikan bahwa ESPN menduduki peringkat lebih tinggi dari blog acak itu. Skor penerbit juga mempertimbangkan faktor-faktor seperti orisinalitas, kapan artikel diposting, bagaimana ulasan pengguna terlihat, dll. Ini pada akhirnya adalah spektrum dari banyak faktor yang kami pertimbangkan.

Satu hal yang mengalahkan semua adalah “Apa yang pengguna ingin baca?” Jika pengguna ingin melihat artikel clickbait, kami tidak akan menghentikan mereka jika itu tidak ilegal atau melanggar pedoman kami. Kami tidak memaksakan pada pengguna, tetapi jika sesuatu tidak aman atau tidak pantas, kami memiliki tanggung jawab untuk melakukan due diligence sebelum sesuatu masuk ke feed.

Apa pandangan Anda tentang jurnalis menggunakan AI generatif untuk membantu mereka dalam menghasilkan konten?

Saya percaya bahwa pertanyaan ini adalah etis, dan sesuatu yang kami debatkan saat ini di SmartNews. Bagaimana SmartNews harus memandang penerbit yang mengirimkan konten yang dibentuk oleh AI generatif bukan oleh jurnalis yang menulisnya?

Saya percaya bahwa kereta itu sudah berangkat. Hari ini, jurnalis menggunakan AI untuk melengkapi penulisan mereka. Ini adalah fungsi dari skala, kami tidak memiliki waktu di dunia untuk menghasilkan artikel dengan tingkat komersial yang layak, terutama karena organisasi berita terus memotong staf. Pertanyaan kemudian menjadi, berapa banyak kreativitas yang masuk ke dalamnya? Apakah artikel itu dipoles oleh jurnalis? Atau apakah jurnalis sepenuhnya bergantung?

Pada titik ini, AI generatif tidak dapat menulis artikel tentang peristiwa berita yang sedang berlangsung karena tidak ada data pelatihan untuk itu. Namun, itu masih dapat memberikan jurnalis template generik yang baik untuk melakukan itu. Sebagai contoh, penembakan di sekolah sangat umum, kami bisa berasumsi bahwa AI generatif dapat memberikan jurnalis prompt tentang penembakan di sekolah dan jurnalis dapat memasukkan sekolah yang terkena untuk menerima template lengkap.

Dari sudut pandang saya bekerja dengan SmartNews, ada dua prinsip yang saya pikir patut dipertimbangkan. Pertama, kami ingin penerbit untuk jujur dalam mengatakan kepada kami ketika konten dihasilkan oleh AI, dan kami ingin melabelinya sebagai such. Ini cara ketika orang membaca artikel, mereka tidak akan tertipu tentang siapa yang menulis artikel itu. Ini adalah transparansi tertinggi.

Kedua, kami ingin artikel itu faktualmente benar. Kami tahu bahwa AI generatif cenderung membuat hal-hal yang diinginkan ketika mereka ingin, dan artikel apa pun yang ditulis oleh AI generatif perlu diperiksa oleh jurnalis atau staf editorial.

Anda sebelumnya telah berargumen bahwa platform teknologi harus bersatu dan membuat standar umum untuk melawan toksisitas digital, seberapa pentingkah isu ini?

Saya percaya bahwa isu ini sangat penting, tidak hanya untuk perusahaan untuk beroperasi secara etis, tetapi juga untuk mempertahankan tingkat martabat dan kesopanan. Menurut pendapat saya, platform harus bersatu dan mengembangkan standar tertentu untuk mempertahankan kemanusiaan ini. Sebagai contoh, tidak seorang pun harus pernah didorong untuk mengambil nyawa mereka sendiri, tetapi dalam beberapa situasi, kami menemukan jenis penyalahgunaan ini di platform, dan saya percaya bahwa itu adalah sesuatu yang perusahaan harus bersatu untuk melindungi terhadapnya.

Pada akhirnya, ketika datang ke masalah kemanusiaan, tidak boleh ada kompetisi. Tidak boleh ada kompetisi tentang siapa yang memiliki komunitas paling bersih atau paling aman – kita semua harus bertujuan untuk memastikan pengguna kita merasa aman dan dipahami. Mari kita kompetisi pada fitur, bukan eksploitasi.

Bagaimana perusahaan digital dapat bekerja sama?

Perusahaan harus bersatu ketika ada nilai-nilai yang sama dan kemungkinan kolaborasi. Ada ruang-ruang di mana ada interseksionalitas di seluruh perusahaan dan industri, terutama ketika datang ke melawan penyalahgunaan, memastikan kesopanan di platform, atau mengurangi polarisasi. Ini adalah momen-momen ketika perusahaan harus bekerja sama.

Tentu saja ada sudut komersial dengan kompetisi, dan biasanya kompetisi itu baik. Ini membantu memastikan kekuatan dan diferensiasi di seluruh perusahaan dan memberikan solusi dengan tingkat efikasi yang monopoli tidak dapat menjamin.

Namun, ketika datang ke melindungi pengguna, atau mempromosikan kesopanan, atau mengurangi vektor penyalahgunaan, ini adalah topik yang inti bagi kita untuk melestarikan dunia bebas. Ini adalah hal-hal yang kita perlu lakukan untuk memastikan kita melindungi apa yang sakral bagi kita, dan kemanusiaan kita. Menurut pendapat saya, semua platform memiliki tanggung jawab untuk berkolaborasi dalam pertahanan nilai-nilai manusia dan nilai-nilai yang membuat kita menjadi dunia bebas.

Apa pandangan Anda saat ini tentang AI yang bertanggung jawab?

Kami berada di awal sesuatu yang sangat meresap dalam kehidupan kita. Fase AI generatif berikutnya adalah masalah yang kita tidak sepenuhnya pahami, atau hanya dapat memahami sebagian pada titik ini.

Ketika datang ke AI yang bertanggung jawab, sangat penting bahwa kita mengembangkan pengamanan yang kuat, atau kita mungkin berakhir dengan monster Frankenstein dari teknologi AI generatif. Kami perlu menghabiskan waktu untuk memikirkan semua yang bisa salah. Apakah itu bias yang meresap ke dalam algoritma, atau model bahasa besar yang digunakan oleh orang-orang yang salah untuk melakukan tindakan jahat.

Teknologi itu sendiri tidak baik atau buruk, tetapi dapat digunakan oleh orang-orang yang salah untuk melakukan hal-hal yang salah. Ini adalah mengapa menginvestasikan waktu dan sumber daya dalam etika AI untuk melakukan pengujian adversarial untuk memahami kesalahan desain sangat kritis. Ini akan membantu kita memahami bagaimana mencegah penyalahgunaan, dan saya pikir itu mungkin aspek paling penting dari AI yang bertanggung jawab.

Karena AI belum bisa berpikir sendiri, kita perlu orang-orang pintar yang dapat membangun default-default ketika AI diprogram. Aspek penting untuk dipertimbangkan sekarang adalah waktu – kita perlu aktor-aktor positif melakukan hal-hal ini SEKARANG sebelum terlambat.

Tidak seperti sistem lain yang telah kita desain dan bangun di masa lalu, AI berbeda karena dapat berulang dan belajar sendiri, jadi jika Anda tidak menetapkan pengamanan yang kuat tentang apa dan bagaimana itu belajar, kita tidak dapat mengontrol apa yang mungkin menjadi.

Saat ini, kita melihat beberapa perusahaan besar memecat dewan etika dan tim AI yang bertanggung jawab sebagai bagian dari pemutusan hubungan kerja besar-besaran. Tersisa untuk dilihat seberapa serius perusahaan-perusahaan teknologi besar ini mengambil teknologi dan seberapa serius mereka meninjau kelemahan potensial AI dalam pengambilan keputusan mereka.

Apakah ada yang lain yang Anda ingin bagikan tentang pekerjaan Anda dengan SmartNews?

Saya bergabung dengan SmartNews karena saya percaya pada misinya, misi itu memiliki kesucian tertentu. Saya sangat percaya bahwa dunia menjadi lebih polar, dan tidak ada cukup literasi media hari ini untuk membantu melawan tren itu.

Sayangnya, ada terlalu banyak orang yang mengambil pesan WhatsApp sebagai injil dan percaya pada nilai nominal. Ini dapat menyebabkan konsekuensi yang luar biasa, termasuk – dan terutama – kekerasan. Ini semua berkaitan dengan orang-orang yang tidak memahami apa yang mereka konsumsi. Jika kita tidak mendidik orang, atau memberi tahu mereka tentang bagaimana membuat keputusan tentang kepercayaan apa yang mereka konsumsi. Jika kita tidak memperkenalkan literasi media untuk membedakan antara berita dan berita palsu, kita akan terus mempromosikan masalah dan meningkatkan masalah yang sejarah telah mengajarkan kita untuk tidak melakukan.

Salah satu komponen paling penting dari pekerjaan saya di SmartNews adalah untuk membantu mengurangi polarisasi di dunia. Saya ingin memenuhi misi pendiri untuk meningkatkan literasi media di mana mereka dapat memahami apa yang mereka konsumsi dan membuat pendapat yang terinformasi tentang dunia dan banyak perspektif yang beragam.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut atau ingin mencoba jenis aplikasi berita yang berbeda harus mengunjungi SmartNews.