Arjun Narayan, vedúci oddelenia globálnej dôvery a bezpečnosti pre SmartNews – séria rozhovorov

Arjun Narayan, je vedúcou oddelenia globálnej dôvery a bezpečnosti pre SmartNews aplikácia na agregátor správ, je tiež odborníkom na etiku AI a technickú politiku. SmartNews využíva AI a ľudský redakčný tím, keď zhromažďuje správy pre čitateľov.

Boli ste nápomocní pri zriaďovaní ázijsko-pacifického centra spoločnosti Google Trust & Safety v Singapure. Aké kľúčové ponaučenia ste sa z tejto skúsenosti naučili?

Pri budovaní tímov dôvery a bezpečnosti je dôležitá odbornosť na úrovni krajiny, pretože zneužívanie je veľmi odlišné v závislosti od krajiny, ktorú regulujete. Napríklad spôsob, akým boli produkty Google zneužívané v Japonsku, bol odlišný od toho, ako boli zneužívané v juhovýchodnej Ázii a Indii. To znamená, že vektory zneužívania sú veľmi odlišné v závislosti od toho, kto zneužíva a v akej krajine sídlite; takže neexistuje žiadna homogénnosť. Toto sme sa naučili skoro.

Tiež som sa naučil, že kultúrna rozmanitosť je nesmierne dôležitá pri budovaní tímov dôvery a bezpečnosti v zahraničí. V spoločnosti Google sme zabezpečili dostatočnú kultúrnu rozmanitosť a porozumenie medzi ľuďmi, ktorých sme najali. Hľadali sme ľudí so špecifickou odbornosťou v danej oblasti, ale aj s jazykovými a trhovými znalosťami.

Tiež som zistil, že kultúrne ponorenie je neuveriteľne dôležité. Keď budujeme cezhraničné tímy dôvery a bezpečnosti, potrebovali sme zabezpečiť, aby sa naše inžinierske a obchodné tímy dokázali ponoriť do seba. Pomáha to zabezpečiť, aby boli všetci bližšie k problémom, ktoré sme sa snažili riešiť. Aby sme to dosiahli, robili sme štvrťročné stretnutia s kľúčovým personálom, čo pomohlo zvýšiť kultúrne IQ každého.

Napokon, medzikultúrne porozumenie bolo také dôležité. Riadil som tím v Japonsku, Austrálii, Indii a juhovýchodnej Ázii a spôsob, akým interagovali, bol úplne odlišný. Ako vodca chcete zabezpečiť, aby každý našiel svoj hlas. V konečnom dôsledku je to všetko navrhnuté na vybudovanie vysokovýkonného tímu, ktorý dokáže vykonávať citlivé úlohy, ako je dôvera a bezpečnosť.

Predtým ste boli tiež v tíme Trust & Safety s ByteDance pre aplikáciu TikTok. Ako sa z hľadiska bezpečnosti efektívne monitorujú videá, ktoré sú často kratšie ako jedna minúta?

Chcem túto otázku trochu prerámcovať, pretože v podstate nezáleží na tom, či je video krátke alebo dlhé. To nie je faktor, keď hodnotíme bezpečnosť videa, a dĺžka nemá skutočnú váhu na to, či video môže šíriť zneužívanie.

Keď myslím na zneužívanie, myslím na zneužívanie ako na „problémy“. Aké sú niektoré z problémov, na ktoré sú používatelia zraniteľní? dezinformácie? dezinformácie? Či už má toto video 1 minútu alebo 1 hodinu, stále sa zdieľajú dezinformácie a úroveň zneužitia zostáva porovnateľná.

V závislosti od typu problému začnete premýšľať o presadzovaní pravidiel a bezpečnostných zábranách a o tom, ako môžete chrániť zraniteľných používateľov. Povedzme napríklad, že existuje video, na ktorom sa niekto dopúšťa sebapoškodzovania. Keď dostaneme upozornenie, že toto video existuje, musíme konať urýchlene, pretože niekto môže prísť o život. Pri vykonávaní tohto typu detekcie veľmi závisíme od strojového učenia. Prvým krokom je vždy kontaktovať úrady, aby sa pokúsili zachrániť život, nič nie je dôležitejšie. Odtiaľ sa snažíme pozastaviť video, priamy prenos alebo akýkoľvek formát, v ktorom sa zdieľa. Musíme zabezpečiť, aby sme čo najskôr minimalizovali vystavenie tomuto druhu škodlivého obsahu.

Podobne, ak ide o nenávistné prejavy, existujú rôzne spôsoby, ako to rozbaliť. Alebo v prípade šikanovania a obťažovania to skutočne závisí od typu problému a v závislosti od toho by sme upravili naše možnosti presadzovania a bezpečnostné zábradlia. Ďalším príkladom dobrého bezpečnostného zábradlia bolo, že sme zaviedli strojové učenie, ktoré dokázalo zistiť, keď niekto do komentárov napíše niečo nevhodné, a poskytnúť mu výzvu, aby si dvakrát rozmyslel, či komentár uverejní. Nevyhnutne by sme ich zastavili, ale dúfali sme, že ľudia si dvakrát rozmyslia, kým budú zdieľať niečo zlé.

Ide o kombináciu strojového učenia a pravidiel kľúčových slov. Ale pokiaľ ide o živé prenosy, mali sme aj ľudských moderátorov, ktorí kontrolovali tie streamy, ktoré boli označené AI, aby mohli okamžite nahlásiť a implementovať protokoly. Pretože sa dejú v reálnom čase, nestačí sa spoliehať na to, že používatelia budú podávať správy, takže musíme mať ľudí, ktorí budú monitorovať v reálnom čase.

Od roku 2021 ste vedúcim oddelenia dôvery, bezpečnosti a zákazníckej skúsenosti v SmartNews, aplikácii na agregátor správ. Mohli by ste diskutovať o tom, ako SmartNews využíva strojové učenie a spracovanie prirodzeného jazyka na identifikáciu a uprednostňovanie vysokokvalitného spravodajského obsahu?

Ústredným konceptom je, že máme určité „pravidlá“ alebo technológiu strojového učenia, ktorá dokáže analyzovať článok alebo reklamu a pochopiť, o čom tento článok je.

Vždy, keď sa vyskytne niečo, čo porušuje naše „pravidlá“, povedzme, že je niečo fakticky nesprávne alebo zavádzajúce, strojové učenie tento obsah nahlási ľudskému recenzentovi v našom redakčnom tíme. V tomto štádiu rozumejú našim redakčným hodnotám a môžu si článok rýchlo prezrieť a urobiť úsudok o jeho vhodnosti alebo kvalite. Odtiaľ sa prijímajú opatrenia na jej riešenie.

Ako SmartNews používa AI na zabezpečenie toho, aby platforma bola bezpečná, inkluzívna a objektívna?

SmartNews bol založený na predpoklade, že hyperpersonalizácia je dobrá pre ego, ale zároveň nás všetkých polarizuje tým, že posilňuje predsudky a stavia ľudí do filtračnej bubliny.

Spôsob, akým SmartNews používa AI, je trochu odlišný, pretože neoptimalizujeme výlučne na zapojenie. Náš algoritmus vám chce porozumieť, ale nie je nevyhnutne prispôsobený vášmu vkusu. Je to preto, že veríme v rozširovanie perspektív. Náš AI engine vám predstaví koncepty a články nad rámec susedných konceptov.

Ide o to, že sú veci, ktoré ľudia potrebujú vedieť vo verejnom záujme, a sú veci, ktoré ľudia potrebujú vedieť, aby si rozšírili svoj záber. Rovnováha, ktorú sa snažíme dosiahnuť, je poskytnúť tieto kontextové analýzy bez toho, aby sme boli veľkým bratom. Niekedy sa ľuďom nebudú páčiť veci, ktoré náš algoritmus vloží do ich feedu. Keď sa to stane, ľudia sa môžu rozhodnúť, že tento článok nebudú čítať. Sme však hrdí na schopnosť umelej inteligencie podporovať náhodnosť, zvedavosť, akokoľvek to chcete nazvať.

Pokiaľ ide o bezpečnosť, SmartNews má niečo, čo sa nazýva „Skóre vydavateľa“, je to algoritmus navrhnutý tak, aby neustále vyhodnocoval, či je vydavateľ bezpečný alebo nie. Nakoniec chceme zistiť, či má vydavateľ autoritatívny hlas. Ako príklad môžeme všetci spoločne súhlasiť, že ESPN je autorita v oblasti športu. Ak ste však náhodný blog, ktorý kopíruje obsah ESPN, musíme sa uistiť, že ESPN má vyššie hodnotenie ako tento náhodný blog. Skóre vydavateľa zohľadňuje aj faktory, ako je originalita, kedy boli články uverejnené, ako vyzerajú recenzie používateľov atď. V konečnom dôsledku ide o spektrum mnohých faktorov, ktoré zvažujeme.

Jedna vec, ktorá prevyšuje všetko, je „Čo chce používateľ čítať?“ Ak si chce používateľ pozrieť články o clickbaitoch, nezastavíme ich, ak to nie je nezákonné alebo porušuje naše pokyny. Používateľovi nič nenútime, ale ak je niečo nebezpečné alebo nevhodné, musíme vykonať náležitú starostlivosť predtým, ako sa niečo dostane do informačného kanála.

Aký je váš názor na novinárov, ktorí používajú generatívnu AI na pomoc pri vytváraní obsahu?

Domnievam sa, že táto otázka je etická a o niečom, o čom tu v súčasnosti v SmartNews diskutujeme. Ako by sa mal SmartNews pozerať na vydavateľov odosielajúcich obsah vytvorený generatívnou AI namiesto toho, aby ho písali novinári?

Verím, že vlak oficiálne opustil stanicu. Dnes novinári používajú AI na rozšírenie svojho písania. Je to funkcia rozsahu, vo svete nemáme čas vyrábať články komerčne životaschopným tempom, najmä keď spravodajské organizácie pokračujú v znižovaní počtu zamestnancov. Otázkou potom je, koľko kreativity sa v tom skrýva? Je článok vyleštený novinárom? Alebo je novinár úplne odkázaný?

V tomto momente generatívna AI nie je schopná písať články o najnovších udalostiach, pretože pre ňu neexistujú žiadne tréningové údaje. Stále vám však môže poskytnúť celkom dobrú všeobecnú šablónu. Napríklad streľba v škole je taká bežná, že by sme mohli predpokladať, že generatívna umelá inteligencia by mohla dať novinárovi výzvu na streľbu v škole a novinár by mohol vložiť školu, ktorej sa to týkalo, aby dostal kompletnú šablónu.

Z môjho pohľadu pri práci so SmartNews existujú dva princípy, ktoré podľa mňa stoja za zváženie. Po prvé, chceme, aby nám vydavatelia dopredu povedali, kedy bol obsah vygenerovaný AI, a chceme to tak označiť. Týmto spôsobom, keď ľudia čítajú článok, nie sú zavádzaní o tom, kto článok napísal. Toto je transparentnosť na najvyššej úrovni.

Po druhé, chceme, aby bol tento článok vecne správny. Vieme, že generatívna AI má tendenciu vymýšľať veci, keď chce, a každý článok napísaný generatívnou AI musí byť korigovaný novinárom alebo redakciou.

Predtým ste tvrdili, že technologické platformy by sa mali zjednotiť a vytvoriť spoločné štandardy na boj proti digitálnej toxicite. Aký dôležitý je tento problém?

Domnievam sa, že táto otázka je mimoriadne dôležitá nielen pre etické fungovanie spoločností, ale aj pre zachovanie úrovne dôstojnosti a zdvorilosti. Podľa môjho názoru by sa platformy mali spojiť a vyvinúť určité štandardy na udržanie tejto ľudskosti. Napríklad nikto by nikdy nemal byť povzbudzovaný, aby si vzal život, ale v niektorých situáciách na platformách nájdeme tento typ zneužívania a myslím si, že je to niečo, pred čím by sa spoločnosti mali spojiť, aby sa chránili.

Nakoniec, pokiaľ ide o problémy ľudstva, nemala by existovať konkurencia. Dokonca by nemala nevyhnutne existovať súťaž o to, kto je najčistejšia alebo najbezpečnejšia komunita – všetci by sme sa mali snažiť zabezpečiť, aby sa naši používatelia cítili bezpečne a boli im porozumení. Súťažme vo funkciách, nie vo využívaní.

Akými spôsobmi môžu digitálne spoločnosti spolupracovať?

Spoločnosti by sa mali spojiť, keď existujú spoločné hodnoty a možnosť spolupráce. Vždy existujú priestory, v ktorých existuje prienik medzi spoločnosťami a odvetviami, najmä pokiaľ ide o boj proti zneužívaniu, zabezpečenie zdvorilosti na platformách alebo zníženie polarizácie. Toto sú momenty, keď by spoločnosti mali spolupracovať.

Samozrejme, existuje komerčný uhol konkurencie a konkurencia je zvyčajne dobrá. Pomáha zabezpečiť silu a diferenciáciu medzi spoločnosťami a poskytuje riešenia s úrovňou účinnosti, ktorú monopoly nemôžu zaručiť.

Ale pokiaľ ide o ochranu používateľov, podporu zdvorilosti alebo zníženie vektorov zneužívania, toto sú témy, ktoré sú pre nás pri zachovávaní slobodného sveta kľúčové. Toto sú veci, ktoré musíme urobiť, aby sme zabezpečili ochranu toho, čo je pre nás a našu ľudskosť posvätné. Podľa môjho názoru sú všetky platformy zodpovedné za spoluprácu pri obrane ľudských hodnôt a hodnôt, ktoré z nás robia slobodný svet.

Aký je váš súčasný názor na zodpovednú AI?

Sme na začiatku niečoho veľmi prenikavého v našich životoch. Táto ďalšia fáza generatívnej AI je problém, ktorému úplne nerozumieme, alebo ho v tejto chvíli môžeme pochopiť len čiastočne.

Pokiaľ ide o zodpovednú AI, je tak neuveriteľne dôležité, aby sme vyvinuli silné mantinely, inak môžeme skončiť s Frankensteinovým monštrom generatívnych technológií AI. Musíme stráviť čas premýšľaním nad všetkým, čo sa môže pokaziť. Či už je to zaujatosť vkrádajúca sa do algoritmov, alebo samotné veľké jazykové modely používané nesprávnymi ľuďmi na páchanie nekalých činov.

Technológia sama o sebe nie je dobrá alebo zlá, no môžu ju použiť zlí ľudia na zlé veci. To je dôvod, prečo je investovanie času a zdrojov do etiky AI na testovanie protivníkov, aby pochopili chyby dizajnu, také kritické. Pomôže nám to pochopiť, ako zabrániť zneužívaniu, a myslím si, že to je pravdepodobne najdôležitejší aspekt zodpovednej AI.

Keďže AI ešte nedokáže myslieť sama za seba, potrebujeme šikovných ľudí, ktorí dokážu vytvoriť tieto predvolené hodnoty, keď sa AI programuje. Dôležitým aspektom, ktorý treba zvážiť práve teraz, je načasovanie – potrebujeme, aby títo pozitívni aktéri robili tieto veci HNEĎ, kým nebude príliš neskoro.

Na rozdiel od iných systémov, ktoré sme navrhli a vytvorili v minulosti, je AI iná, pretože dokáže iterovať a učiť sa sama, takže ak nenastavíte silné mantinely na to, čo a ako sa učí, nemôžeme kontrolovať, čím sa môže stať. .

Práve teraz vidíme, ako niektoré veľké spoločnosti prepúšťajú etické rady a zodpovedné tímy AI v rámci veľkého prepúšťania. Zostáva vidieť, ako vážne berú tieto technologické spoločnosti túto technológiu a ako vážne prehodnocujú potenciálne pády AI pri svojom rozhodovaní.

Je ešte niečo, o čo by ste sa chceli podeliť o svojej práci so Smartnews?

Do SmartNews som vstúpil, pretože verím v jeho poslanie, poslanie má v sebe určitú čistotu. Pevne verím, že svet sa čoraz viac polarizuje a dnes nie je dostatok mediálnej gramotnosti, ktorá by pomohla tomuto trendu bojovať.

Bohužiaľ, existuje príliš veľa ľudí, ktorí berú správy WhatsApp ako evanjelium a veria im v nominálnej hodnote. To môže viesť k obrovským následkom, vrátane – a najmä – násilia. To všetko sa scvrkáva na to, že ľudia nechápu, čomu môžu a nemôžu veriť.

Ak ľudí nevzdelávame alebo ich neinformujeme o tom, ako sa rozhodovať o dôveryhodnosti toho, čo konzumujú. Ak nezavedieme úrovne mediálnej gramotnosti, aby sme rozlíšili medzi správami a falošnými správami, budeme pokračovať v obhajovaní problému a zväčšovať problémy, ktoré nás história naučila nerobiť.

Jednou z najdôležitejších súčastí mojej práce v SmartNews je pomáhať znižovať polarizáciu vo svete. Chcem naplniť poslanie zakladateľa zlepšiť mediálnu gramotnosť, kde môžu porozumieť tomu, čo konzumujú, a vytvárať informované názory na svet a množstvo rôznych perspektív.

Ďakujeme za skvelý rozhovor, čitatelia, ktorí sa chcú dozvedieť viac alebo chcú vyskúšať iný typ spravodajskej aplikácie, by mali navštíviť SmartNews.