Арджун Нараян, Голова глобальної довірчої безпеки для SmartNews – Серія інтерв’ю

Арджун Нараян, є Головою глобальної довірчої безпеки для SmartNews новинного агрегатора, він також є експертом з етики штучного інтелекту та політики технологій. SmartNews використовує штучний інтелект і команду редакторів для агрегації новин для читачів.

Ви були інструментальними в допомозі створити хаб довірчої безпеки Google в Сінгапурі, які були деякими ключовими уроками, які ви вивчили з цього досвіду?

При створенні команд довірчої безпеки експертиза на рівні країни є критично важливою, оскільки зловживання дуже відрізняється залежно від країни, яку ви регулюєте. Наприклад, спосіб, яким продукти Google (GOOGL ) були зловживлені в Японії, відрізнявся від того, як вони були зловживлені в Південно-Східній Азії та Індії. Це означає, що вектори зловживання дуже відрізняються залежно від того, хто зловживає, і в якій країні ви базуєтеся; тому немає однорідності. Це було щось, що ми вивчили рано.

Я також вивчив, що культурне розмаїття надзвичайно важливо при створенні команд довірчої безпеки за кордоном. У Google ми забезпечили, щоб було достатньо культурного розмаїття та розуміння серед людей, яких ми приймали. Ми шукали людей з певною експертизою в галузі, але також з мовною та ринковою експертизою.

Я також виявив, що культурне занурення є надзвичайно важливим. Коли ми створюємо команди довірчої безпеки через кордони, нам потрібно забезпечити, щоб наші інженерні та бізнес-команди могли зануритися. Це допомагає забезпечити, щоб всі були ближче до питань, які ми намагалися керувати. Для цього ми проводили щоквартальні сесії занурення з ключовим персоналом, і це допомогло підвищити рівень культурної освіти всіх.

Нарешті, міжкультурне розуміння було так важливо. Я керував командою в Японії, Австралії, Індії та Південно-Східній Азії, і спосіб, яким вони взаємодіяли, був дуже різним. Як лідер, ви хочете забезпечити, щоб кожен міг знайти свій голос. У кінцевому підсумку, все це призначено для створення високоефективної команди, яка може виконувати чутливі завдання, такі як довірча безпека.

Раніше ви також були в команді довірчої безпеки з ByteDance для додатка TikTok, як відео, які часто коротші однієї хвилини, моніторяться ефективно для безпеки?

Я хочу трохи переформулювати це питання, оскільки це не має великого значення, чи відео коротке чи довге. Це не фактор, який ми оцінюємо при оцінці безпеки відео, і тривалість не має реальної ваги щодо того, чи може відео поширити зловживання.

Коли я думаю про зловживання, я думаю про зловживання як “проблеми”. Які деякі проблеми, до яких користувачі вразливі? Дезінформація? Містифікація? Чи відео тривалістю 1 хвилини або 1 години, все одно поширюється дезінформація, і рівень зловживання залишається порівняним.

Залежно від типу проблеми, ви починаєте думати про забезпечення політики та безпечних бар’єрів і про те, як ви можете захистити вразливих користувачів. Як приклад, скажімо, є відео людини, яка вчиняє самогубство. Коли ми отримуємо повідомлення про існування цього відео, нам потрібно діяти з терміновістю, оскільки хтось може загинути. Ми залежимо від штучного інтелекту для виявлення цього типу відео. Перший крок завжди полягає у контакті з органами влади, щоб спробувати врятувати життя, нічого не є більш важливим. Потім ми намагаємося призупинити відео, прямий ефір або будь-який інший формат, у якому воно поширюється. Нам потрібно забезпечити, щоб ми мінімізували вплив на такий шкідливий контент якомога швидше.

Аналогічно, якщо це ненависть, є різні способи розібрати це. Або у випадку з булінгом і переслідуванням, все залежить від типу проблеми, і залежно від цього, ми коригуємо наші варіанти забезпечення та безпечні бар’єри. Інший приклад хорошого безпечного бар’єру був те, що ми реалізували штучний інтелект, який міг виявити, коли хтось написав щось недоречне у коментарях, і надав提示, щоб вони двічі подумали, перш ніж опублікувати цей коментар. Ми б не зупинили їх обов’язково, але наша надія полягала в тому, що люди двічі подумали, перш ніж поділитися чимось злим.

Все це зводиться до поєднання штучного інтелекту та правил ключових слів. Але коли йдеться про прямий ефір, у нас також були люди-модератори, які переглядали ці трансляції, які були позначені штучним інтелектом, щоб вони могли негайно повідомити та реалізувати протоколи. Через те, що вони відбуваються в режимі реального часу, недостатньо покладатися на користувачів, щоб вони повідомили, тому нам потрібно мати людей, які моніторять в режимі реального часу.

З 2021 року ви є Головою довірчої безпеки та досвіду клієнта в SmartNews, новинному агрегаторі. Чи можете ви обговорити, як SmartNews використовує штучний інтелект та обробку природної мови для ідентифікації та пріоритезації високоякісного новинного контенту?

Центральна концепція полягає в тому, що у нас є певні “правила” або технологія штучного інтелекту, яка може розібрати статтю чи рекламу та зрозуміти, про що це.

Коли є щось, що порушує наші “правила”, скажімо, щось фактично неправильне або оманливе, у нас є штучний інтелект, який позначає цей контент для людини-редактора в нашій редакційній команді. На цьому етапі вони розуміють наші редакційні цінності та можуть швидко переглянути статтю та прийняти рішення про її придатність або якість. З цього моменту приймаються дії для вирішення цього питання.

Як SmartNews використовує штучний інтелект, щоб забезпечити, що платформа є безпечною, інклюзивною та об’єктивною?

SmartNews був заснований на принципі, що гіперперсоналізація є хорошою для его, але також поляризує нас усіх, підкріплюючи упередження та поміщаючи людей у бульбульку фільтра.

Штучний інтелект SmartNews працює трохи інакше, оскільки ми не виключно оптимізуємо для участі. Наш алгоритм хоче зрозуміти вас, але він не обов’язково гіперперсоналізується до вашого смаку. Це тому, що ми віримо у розширення перспектив. Наш двигун штучного інтелекту познайомить вас з концепціями та статтями за межами суміжних концепцій.

Ідея полягає в тому, що є речі, які люди повинні знати в громадських інтересах, і є речі, які люди повинні знати, щоб розширити свій обсяг. Баланс, який ми намагаємося досягти, полягає в тому, щоб надати ці контекстні аналізи без того, щоб бути великим братом. Іноді люди не будуть подобатися речі, які наш алгоритм ставить у їхній стрічці. Коли це відбувається, люди можуть вирішити не читати цю статтю. Однак ми пишаємося здатністю нашого двигуна штучного інтелекту сприяти випадковості, цікавості, як би ви це не назвали.

На безпечній стороні речей SmartNews має щось на звіть “Балл довірчої безпеки видавця,” це алгоритм, розроблений для постійного оцінювання того, чи є видавець безпечним чи ні. У кінцевому підсумку, ми хочемо встановити, чи має видавець авторитетний голос. Як приклад, ми всі можемо колективно погодитися, що ESPN є авторитетом у спорті. Але якщо ви випадковий блог, який копіює контент ESPN, нам потрібно забезпечити, щоб ESPN займав вище місце, ніж цей випадковий блог. Балл довірчої безпеки видавця також враховує фактори, такі як оригінальність, коли статті були опубліковані, як виглядають відгуки користувачів тощо. У кінцевому підсумку, це спектр багатьох факторів, які ми розглядаємо.

Одна річ, яка перевершує все, це “Що хоче читати користувач?” Якщо користувач хоче переглянути статті-клікбейт, ми не зупинимо їх, якщо це не є незаконним або не порушує наших керівних принципів. Ми не нав’язуємо користувачеві, але якщо щось є небезпечним або недоречним, ми маємо нашу належну повагу до цього, перш ніж щось потрапить у стрічку.

Які ваші погляди на журналістів, які використовують генеративний штучний інтелект для допомоги у створенні контенту?

Я вважаю, що це питання є етичним, і це щось, про що ми зараз дискутуємо в SmartNews. Як SmartNews повинен ставитися до видавців, які подають контент, створений генеративним штучним інтелектом, а не журналістами, які його написали?

Я вважаю, що той поїзд вже відправився. Сьогодні журналісти використовують штучний інтелект, щоб доповнити свою писані. Це функція масштабу, у нас немає часу у світі, щоб створювати статті у комерційно життєздатному темпі, особливо оскільки новинні організації продовжують скорочувати штат. Питання тоді стає, скільки творчості вкладається в це? Чи стаття відполірована журналістом? Чи журналіст повністю залежить?

На цьому етапі генеративний штучний інтелект не може написати статті про події, які відбуваються, оскільки немає навчальних даних для цього. Однак він все одно може дати журналістові досить хороший загальний шаблон, щоб зробити це. Як приклад, шкільні стрілянини настільки поширені, що ми могли б припустити, що генеративний штучний інтелект міг би дати журналістові提示 про шкільні стрілянини, і журналіст міг би вставити школу, яка постраждала, щоб отримати повний шаблон.

З моєї точки зору, працюючи з SmartNews, є два принципи, які, я думаю, варто розглянути. По-перше, ми хочемо, щоб видавці були відкритими щодо того, коли контент був створений штучним інтелектом, і ми хочемо позначити його як такий. Це означає, що коли люди читають статтю, вони не обмануті щодо того, хто написав статтю. Це прозорість на вищому рівні.

По-друге, ми хочемо, щоб ця стаття була фактично правильною. Ми знаємо, що генеративний штучний інтелект має тенденцію вигадувати речі, коли він хоче, і будь-яка стаття, написана генеративним штучним інтелектом, повинна бути переглянута журналістом або редакційним персоналом.

Ви раніше стверджували, що технологічні платформи повинні об’єднатися та створити загальні стандарти для боротьби з цифровою токсичністю, наскільки важливим є це питання?

Я вважаю, що це питання є критично важливим, не тільки для того, щоб компанії працювали етично, але й для того, щоб підтримувати рівень гідності та цивілізації. На моє думку, платформи повинні об’єднатися та розробити певні стандарти для підтримання цієї людяності. Як приклад, ніхто ніколи не повинен бути заохочений до того, щоб покінчити з життям, але в деяких ситуаціях ми знаходимо цей тип зловживання на платформах, і я вважаю, що це щось, проти чого компанії повинні об’єднатися, щоб захистити.

У кінцевому підсумку, коли йдеться про проблеми людяності, не повинно бути конкуренції. Не повинно бути навіть конкуренції щодо того, хто є найчистішим або найбезпечнішим співтовариством – ми повинні всі прагнути до того, щоб наші користувачі відчували себе в безпеці та зрозуміли. Давайте конкуруємо на функціях, а не на експлуатації.

Які є деякі способи, якими цифрові компанії можуть працювати разом?

Компанії повинні об’єднатися, коли є спільні цінності та можливість співпраці. Є завжди простори, де є перехрестя між компаніями та галузями, особливо коли йдеться про боротьбу з зловживанням, забезпечення цивілізації на платформах або зменшення поляризації. Це моменти, коли компанії повинні працювати разом.

Є, звичайно, комерційний кут, пов’язаний з конкуренцією, і зазвичай конкуренція є доброю. Вона допомагає забезпечити силу та диференціацію між компаніями та забезпечує рішення з певним рівнем ефективності, який монополії не можуть гарантувати.

Але коли йдеться про захист користувачів, або про сприяння цивілізації, або про зменшення векторів зловживання, ці є питання, які є центральними для нас для збереження вільного світу. Це речі, які нам потрібно зробити, щоб забезпечити, що ми захищаємо те, що є священним для нас, і нашу людяність. На моє думку, всі платформи мають відповідальність співпрацювати в захисті людських цінностей та цінностей, які роблять нас вільним світом.

Які ваші поточні погляди на відповідальний штучний інтелект?

Ми находимося на початку чогось дуже поширального в наших життях. Ця наступна фаза генеративного штучного інтелекту є проблемою, яку ми не повністю розуміємо, або можемо тільки частково зрозуміти на цьому етапі.

Коли йдеться про відповідальний штучний інтелект, це надзвичайно важливо, що ми розробимо сильні бар’єри, або ж ми можемо закінчитися з монстром Франкенштейна технологій генеративного штучного інтелекту. Нам потрібно витратити час на те, щоб подумати про все, що може піти не так. Чи це упередження, яке проникає в алгоритми, або чи великі мовні моделі самі використовуються неправильними людьми для виконання злих вчинків.

Сама технологія не є доброю чи поганою, але вона може бути використана неправильними людьми для виконання поганих дій. Це чому інвестування часу та ресурсів у етиків штучного інтелекту для проведення адверсарного тестування для розуміння проектних дефектів є так критично важливим. Це допоможе нам зрозуміти, як запобігти зловживанню, і я думаю, що це, ймовірно, найважливіший аспект відповідального штучного інтелекту.

Через те, що штучний інтелект ще не може думати самостійно, нам потрібно мати розумних людей, які можуть будувати ці значення за замовчуванням під час програмування штучного інтелекту. Найважливіший аспект, який потрібно розглянути зараз, це час – нам потрібно, щоб ці позитивні актори робили ці речі зараз, перш ніж буде занадто пізно.

На відміну від інших систем, які ми розробили та побудували в минулому, штучний інтелект є іншим, оскільки він може ітеруватися та навчатися самостійно, тому якщо ви не встановите сильні бар’єри щодо того, що та як він вчиться, ми не можемо контролювати, чим він може стати.

Зараз ми бачимо, як великі компанії звільняють етичні ради та команди відповідального штучного інтелекту в рамках великих звільнень. Залишається побачити, наскільки серйозно ці технологічні гіганти сприймають цю технологію та наскільки серйозно вони розглядають потенційні недоліки штучного інтелекту у своєму процесі прийняття рішень.

Чи є щось ще, що ви хотіли б поділитися про свою роботу з SmartNews?

Я приєднався до SmartNews, оскільки я вірю в його місію, місія має певну чистоту. Я сильно вірю, що світ стає все більш поляризованим, і немає достатньої медійної грамотності сьогодні, щоб допомогти протидіяти цій тенденції.

На жаль, є занадто багато людей, які приймають повідомлення WhatsApp як євангеліє та вірять їм на слово. Це може привести до величезних наслідків, включаючи – і особливо – насильство. Все це зводиться до того, що люди не розуміють, що вони можуть і не можуть вірити.

Якщо ми не навчаємо людей або не інформуємо їх про те, як приймати рішення щодо довірчої безпеки того, що вони споживають. Якщо ми не вводимо рівень медійної грамотності, щоб розрізняти новини та фейкові новини, ми продовжимо захищати проблему та збільшувати питання, які історія навчила нас не робити.

Одна з найважливіших складових моєї роботи в SmartNews полягає в тому, щоб допомогти зменшити поляризацію у світі. Я хочу виконати місію засновника щодо покращення медійної грамотності, щоб люди могли зрозуміти, що вони споживають, і приймати обґрунтовані рішення про світ та різні перспективи.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше або хочуть спробувати інший тип новинного додатка, слід відвідати SmartNews.