Арджун Нараян, Голова Глобальної Довіри та Безпеки для SmartNews – Серія Інтерв’ю

Арджун Нараян, є Головою Глобальної Довіри та Безпеки для SmartNews – агрегатора новин, він також є експертом з етики штучного інтелекту та політики технологій. SmartNews використовує штучний інтелект та команду людських редакторів для агрегації новин для читачів.

Ви були інструментальними в допомозі створити Центр довіри та безпеки Google в Сінгапурі, які були деякими ключовими уроками, які ви вивчили з цього досвіду?

Під час будівництва команд довіри та безпеки експертиза на рівні країни є критично важливою, оскільки зловживання дуже відрізняється залежно від країни, яку ви регулюєте. Наприклад, спосіб, яким продукти Google були зловживані в Японії, був khác від того, як вони були зловживані в Південно-Східній Азії та Індії. Це означає, що вектори зловживання дуже відрізняються залежно від того, хто зловживає, і в якій країні ви знаходитеся; тому немає однорідності. Це було щось, що ми вивчили на початку.

Я також вивчив, що культурне розмаїття надзвичайно важливо при будівництві команд довіри та безпеки за кордоном. У Google ми забезпечили, щоб було достатньо культурного розмаїття та розуміння серед людей, яких ми приймали. Ми шукали людей з певною експертизою в галузі, але також з мовною та ринковою експертизою.

Я також знайшов культурне занурення надзвичайно важливим. Коли ми будували команди довіри та безпеки через кордони, нам потрібно було забезпечити, щоб наші інженерні та бізнес-команди могли зануритися. Це допомагає забезпечити, щоб всі були ближче до питань, які ми намагалися керувати. Для цього ми проводили квартальні сесії занурення з ключовим персоналом, і це допомогло підвищити культурний рівень усіх.

Нарешті, міжкультурне розуміння було так важливо. Я керував командою в Японії, Австралії, Індії та Південно-Східній Азії, і спосіб, яким вони взаємодіяли, був абсолютно різним. Як лідер, ви хочете забезпечити, щоб кожен міг знайти свій голос. У кінцевому підсумку, все це призначено для будівництва високоефективної команди, яка може виконувати чутливі завдання, такі як довіра та безпека.

Раніше ви також були в команді довіри та безпеки з ByteDance для застосунку TikTok, як відео, які часто коротші за одну хвилину, контролюються ефективно за безпекою?

Я хочу переформулювати це питання трохи, тому що це не має значення, чи відео коротке чи довге. Це не є фактором, коли ми оцінюємо безпеку відео, і довжина не має реальної ваги щодо того, чи може відео поширити зловживання.

Коли я думаю про зловживання, я думаю про зловживання як “проблеми”. Які деякі проблеми, з якими користувачі можуть зіткнутися? Дезінформація? Дезінформація? Чи відео триває 1 хвилину або 1 годину, все одно поширюється дезінформація, і рівень зловживання залишається порівняним.

Залежно від типу проблеми, ви починаєте думати про виконання політики та безпечних порогів і про те, як ви можете захистити вразливих користувачів. Наприклад, скажімо, є відео, на якому хтось вчиняє самогубство. Коли ми отримуємо повідомлення про те, що це відео існує, потрібно діяти з терміновістю, тому що хтось може втратити життя. Ми залежимо від машинного навчання, щоб зробити цей тип виявлення. Перший крок завжди контактувати з органами влади, щоб спробувати врятувати це життя, нічого не є більш важливим. Звідти ми намагаємося призупинити відео, прямий ефір або будь-який формат, в якому воно поширюється. Нам потрібно забезпечити, щоб ми мінімізували вплив на такий шкідливий контент якомога швидше.

Аналогічно, якщо це ненависть, є різні способи розібрати це. Або у випадку з булінгом та переслідуванням, це залежить від типу проблеми, і залежно від цього, ми регулюємо наші варіанти виконання та безпечні пороги. Інший приклад хорошого безпечного порогу був те, що ми реалізували машинне навчання, яке могло виявити, коли хтось написав щось недоречне в коментарях і надати提示, щоб вони подумали двічі, перш ніж опублікувати цей коментар. Ми б не зупинили їх обов’язково, але наша надія була в тому, що люди подумали б двічі, перш ніж поділитися чимось злим.

Це залежить від комбінації машинного навчання та правил ключових слів. Але коли йдеться про прямий ефір, у нас також були люди-редактори, які переглядали ці потоки, які були позначені штучним інтелектом, щоб вони могли повідомити негайно та реалізувати протоколи. Через те, що вони відбуваються в реальному часі, це не достатньо, щоб покладатися на користувачів, щоб вони повідомили, тому нам потрібно було мати людей, які контролювали в реальному часі.

З 2021 року ви є Головою Довіри, Безпеки та клієнтського досвіду в SmartNews, агрегаторі новин. Чи можете ви обговорити, як SmartNews використовує машинне навчання та обробку природної мови для визначення та пріоритезації високоякісного контенту новин?

Центральна концепція полягає в тому, що у нас є певні “правила” або технологія машинного навчання, яка може розібрати статтю або рекламу та зрозуміти, про що ця стаття.

Коли є щось, що порушує наші “правила”, скажімо, щось фактучно неправильне або оманливе, ми маємо машинне навчання, яке позначає цей контент людині-редактору в нашій редакційній команді. На цьому етапі вони розуміють наші редакційні цінності та можуть швидко переглянути статтю та зробити висновок про її придатність або якість. Звідти дії приймаються для вирішення цієї проблеми.

Як SmartNews використовує штучний інтелект, щоб забезпечити, що платформа є безпечною, інклюзивною та об’єктивною?

SmartNews була заснована на передмові, що гіперперсоналізація є хорошою для его, але також поляризує нас усіх, посилюючи упередження та поміщаючи людей у бульбульку фільтра.

Спосіб, яким SmartNews використовує штучний інтелект, трохи відрізняється, тому що ми не виключно оптимізуємо для участі. Наш алгоритм хоче зрозуміти вас, але він не обов’язково гіперперсоналізується до вашого смаку. Це тому, що ми віримо в розширення перспектив. Наш двигун штучного інтелекту представить вам концепції та статті за межами суміжних концепцій.

Ідея полягає в тому, що є речі, які люди повинні знати в громадських інтересах, і є речі, які люди повинні знати, щоб розширити свій обсяг. Баланс, який ми намагаємося досягти, полягає в тому, щоб надати ці контекстні аналізи без того, щоб бути великим братом. Іноді люди не будуть подобатися речі, які наш алгоритм покладає в їхній потік. Коли це відбувається, люди можуть обрати не читати цю статтю. Однак ми пишаємося здатністю нашого двигуна штучного інтелекту сприяти серендипності, цікавості, чим би ви не назвали це.

На стороні безпеки SmartNews є щось, що називається “Балл.publisher”, це алгоритм, призначений для постійного оцінювання того, чи є видавець безпечним чи ні. У кінцевому підсумку, ми хочемо встановити, чи має видавець авторитетний голос. Наприклад, ми всі колективно можемо погодитися, що ESPN є авторитетом у спорті. Але якщо ви випадковий блог, який копіює контент ESPN, нам потрібно забезпечити, щоб ESPN займав вище місце, ніж цей випадковий блог. Балл видавця також враховує фактори, такі як оригінальність, коли статті були опубліковані, як виглядають відгуки користувачів тощо. Це в кінцевому підсумку спектр багатьох факторів, які ми розглядаємо.

Одна річ, яка перевершує все, це “Що хоче користувач читати?” Якщо користувач хоче переглянути статті-клікбейт, ми не зупинимо їх, якщо це не є незаконним або не порушує наші керівні принципи. Ми не нав’язуємо користувачеві, але якщо щось є небезпечним або недоречним, ми маємо нашу належну повагу до того, як щось потрапляє в потік.

Які ваші погляди на журналістів, які використовують генеративний штучний інтелект для допомоги у виробництві контенту?

Я вважаю, що це питання є етичним, і це щось, про що ми зараз дискутуємо в SmartNews. Як SmartNews повинна розглядати видавців, які подають контент, створений генеративним штучним інтелектом, а не журналістами, які його написали?

Я вважаю, що цей потяг офіційно покинув станцію. Сьогодні журналісти використовують штучний інтелект, щоб доповнити свою писемну діяльність. Це функція масштабу, у нас немає часу у світі, щоб виробляти статті на комерційно життєздатному рівні, особливо як організації новин продовжують скорочувати персонал. Питання тоді стає, скільки творчості вкладається в це? Чи стаття відполірована журналістом? Чи журналіст повністю залежить?

На цьому етапі генеративний штучний інтелект не може написати статті про події, які відбуваються, оскільки немає навчальних даних для цього. Однак він все одно може дати журналістові提示 про те, як зробити це. Наприклад, шкільні стрілянини настільки поширені, ми могли б припустити, що генеративний штучний інтелект міг би дати журналістові提示 про шкільні стрілянини, і журналіст міг би вставити школу, яка постраждала, щоб отримати повний шаблон.

З моєї точки зору, працюючи з SmartNews, є два принципи, які, я вважаю, варто розглянути. По-перше, ми хочемо, щоб видавці були відкритими щодо того, коли контент був створений штучним інтелектом, і ми хочемо позначити його як такий. Це дозволить людям, які читають статтю, не бути обманутими щодо того, хто написав статтю. Це прозорість на вищому рівні.

По-друге, ми хочемо, щоб ця стаття була фактологічно правильною. Ми знаємо, що генеративний штучний інтелект схильний вигадувати речі, коли він хоче, і будь-яка стаття, написана генеративним штучним інтелектом, повинна бути переглянута журналістом або редакційним персоналом.

Ви раніше стверджували, що технологічні платформи повинні об’єднатися та створити спільні стандарти для боротьби з цифровою токсичністю, наскільки важливим є це питання?

Я вважаю, що це питання є критично важливим, не тільки для того, щоб компанії працювали етично, але й для того, щоб підтримувати рівень гідності та цивілізованості. На мою думку, платформи повинні об’єднатися та створити певні стандарти для підтримання цієї людяності. Наприклад, ніхто ніколи не повинен бути заохочений до того, щоб покінчити з життям, але в деяких ситуаціях ми знаходимо цей тип зловживання на платформах, і я вважаю, що це щось, проти чого компанії повинні об’єднатися.

У кінцевому підсумку, коли йдеться про проблеми людства, не повинно бути конкуренції. Не повинно бути навіть конкуренції щодо того, хто є найчистішим або найбезпечнішим співтовариством – ми повинні всі прагнути до того, щоб наші користувачі відчували себе в безпеці та зрозуміли. Давайте конкуруємо на функціях, а не експлуатації.

Які є способи, за допомогою яких цифрові компанії можуть працювати разом?

Компанії повинні об’єднуватися, коли є спільні цінності та можливість співробітництва. Зазвичай є простори, де є перехрестя між компаніями та галузями, особливо коли йдеться про боротьбу зі зловживанням, забезпечення цивілізованості на платформах або зменшення поляризації. Це моменти, коли компанії повинні працювати разом.

Є, звичайно, комерційний кут, з конкуренцією, і зазвичай конкуренція є доброю. Це допомагає забезпечити силу та диференціацію між компаніями та надає рішення з певним рівнем ефективності, який монополії не можуть гарантувати.

Але коли йдеться про захист користувачів, або про сприяння цивілізованості, або про зменшення векторів зловживання, це є теми, які є основними для того, щоб ми зберегли вільний світ. Це є речі, які ми повинні зробити, щоб забезпечити захист того, що є священним для нас, і нашої людяності. На мою думку, всі платформи мають відповідальність співпрацювати в захисті людських цінностей та цінностей, які роблять нас вільним світом.

Які ваші поточні погляди на відповідальний штучний інтелект?

Ми находимося на початку чогось дуже поширеного в нашому житті. Ця наступна фаза генеративного штучного інтелекту є проблемою, яку ми не повністю розуміємо, або можемо тільки частково зрозуміти на цьому етапі.

Коли йдеться про відповідальний штучний інтелект, це надзвичайно важливо, що ми розробимо сильні пороги, або ж ми можемо закінчитися з монстром Франкенштейна технологій генеративного штучного інтелекту. Нам потрібно витратити час на те, щоб подумати про все, що може піти не так. Чи це упередження, яке проникає в алгоритми, або великі мовні моделі самі по собі використовуються неправильними людьми для здійснення злих вчинків.

Технологія сама по собі не є доброю чи поганою, але її можна використовувати поганими людьми для здійснення поганих речей. Це pourquoi інвестиції часу та ресурсів в етиків штучного інтелекту для проведення тестів на ворогів для розуміння проектних дефектів є так критично важливими. Це допоможе нам зрозуміти, як запобігти зловживанню, і я вважаю, що це, ймовірно, найважливіший аспект відповідального штучного інтелекту.

Через те, що штучний інтелект ще не може думати самостійно, нам потрібно розумних людей, які можуть будувати ці значення за замовчуванням, коли штучний інтелект програмується. Найважливіший аспект, який потрібно розглянути зараз, це час – нам потрібно, щоб ці позитивні актори робили ці речі зараз, перш ніж буде надто пізно.

На відміну від інших систем, які ми розробили та побудували в минулому, штучний інтелект є іншим, тому що він може ітеруватися та навчатися самостійно, тому якщо ви не встановите сильні пороги щодо того, що та як він вчиться, ми не можемо контролювати, чим він може стати.

Зараз ми бачимо деякі великі компанії, які звільняють етичні ради та команди відповідального штучного інтелекту в рамках великих звільнень. Залишається побачити, наскільки серйозно ці технологічні мейджори сприймають технологію та наскільки серйозно вони переглядають потенційні недоліки штучного інтелекту у своєму процесі прийняття рішень.

Чи є щось інше, що ви хотіли б поділитися про свою роботу з SmartNews?

Я приєднався до SmartNews, тому що я вірю в її місію, місія має певну чистоту. Я сильно вірю, що світ стає все більш поляризованим, і немає достатньої медійної грамотності сьогодні, щоб допомогти боротися з цією тенденцією.

На жаль, є занадто багато людей, які приймають повідомлення WhatsApp як Євангеліє та вірять їм на слово. Це може привести до величезних наслідків, включаючи – і особливо – насильство. Все це зводиться до того, що люди не розуміють, що вони можуть і не можуть вірити.

Якщо ми не будемо навчати людей або інформувати їх про те, як приймати рішення щодо довіри до того, що вони споживають. Якщо ми не введемо рівні медійної грамотності, щоб розрізняти новини та фейкові новини, ми продовжимо захищати проблему та збільшувати питання, які історія навчила нас не робити.

Одним з найважливіших компонентів моєї роботи в SmartNews є допомога у зменшенні поляризації у світі. Я хочу виконати місію засновника щодо покращення медійної грамотності, щоб люди могли зрозуміти, що вони споживають, і приймати обґрунтовані рішення про світ та багато різних перспектив.

Дякую за велике інтерв’ю, читачам, які хочуть дізнатися більше або хочуть спробувати інший тип програми новин, повинні відвідати SmartNews.