Arjun Narayan, Head of Global Trust and Safety for SmartNews – Interview Series

Arjun Narayan, je Head of Global Trust and Safety pro SmartNews a news aggregator app, je také odborník na AI etiku a tech politiku. SmartNews používá AI a lidský editorní tým, protože agreguje zprávy pro čtenáře.

Byl jsteinstrumentální při pomoci založit Google’s Trust & Safety Asia Pacific hub v Singapuru, co byly některé klíčové lekce, které jste se naučil z této zkušenosti?

Při budování Trust and Safety týmu je kritické mít znalosti na úrovni země, protože zneužívání je velmi odlišné na základě země, kterou regulujete. Například, způsobem, jakým byly produkty Google zneužity v Japonsku, se lišilo od toho, jak byly zneužity v jihovýchodní Asii a Indii. To znamená, že vektory zneužívání jsou velmi odlišné v závislosti na tom, kdo zneužívá a v jaké zemi jste; takže neexistuje žádná homogenita. To byla něco, co jsme se naučili brzy.

Také jsem se naučil, že kulturní rozmanitost je neuvěřitelně důležitá při budování Trust and Safety týmů v zahraničí. V Google jsme zajistili, aby byla dostatečná kulturní rozmanitost a porozumění u lidí, které jsme najali. Hledali jsme lidi s konkrétními znalostmi v oblasti, ale také s jazykovými a tržními znalostmi.

Také jsem zjistil, že kulturní imerze je neuvěřitelně důležitá. Když budujeme Trust and Safety týmy přes hranice, potřebovali jsme zajistit, aby naše inženýrské a obchodní týmy mohly být imerzní. To pomáhá zajistit, aby všichni byli blíže k problémům, které jsme se snažili řešit. To jsme dělali prostřednictvím čtvrtletních imerzních sezení s klíčovým personálem, a to pomohlo zvýšit kulturní IQ všech.

Nakonec, mezikulturní porozumění bylo tak důležité. Řídil jsem tým v Japonsku, Austrálii, Indii a jihovýchodní Asii, a způsob, jakým komunikovali, byl divoce odlišný. Jako leader, chcete zajistit, aby všichni mohli najít svůj hlas. V konečném důsledku, tohle je vše navrženo k vytvoření high-performance týmu, který může vykonávat citlivé úkoly, jako je Trust and Safety.

Předtím jste také pracoval v Trust & Safety týmu s ByteDance pro aplikaci TikTok, jak jsou videa, která jsou často kratší než jedna minuta, monitorována pro bezpečnost?

Chci trochu reformulovat tuto otázku, protože to vlastně nezáleží na tom, zda je video krátké nebo dlouhé. To není faktor, který hodnotíme, když vyhodnocujeme bezpečnost videa, a délka nemá žádný skutečný vliv na to, zda video může šířit zneužívání.

Když myslím na zneužívání, myslím na “problémy”. Jaké jsou některé problémy, kterým jsou uživatelé vystaveni? Dezinformace? Šíření nepravdivých informací? Bez ohledu na to, zda je video 1 minuta nebo 1 hodina, stále existuje dezinformace, která je sdílena, a úroveň zneužívání zůstává srovnatelná.

V závislosti na typu problému začnete思考ovat o vymáhání politiky a bezpečnostních zábranách a o tom, jak můžete chránit zranitelné uživatele. Jako příklad, řekněme, že existuje video někoho, kdo se snaží o sebepoškozování. Když dostaneme oznámení, že toto video existuje, musíme jednat s naléhavostí, protože někdo mohl ztratit život. Spoléháme se hodně na strojové učení, abychom provedli toto typu detekce. První krok je vždy kontaktovat úřady, aby se pokusily zachránit ten život, nic není důležitější. Odtud se snažíme pozastavit video, livestream nebo jakýkoli formát, ve kterém je sdíleno. Musíme zajistit, aby jsme minimalizovali expozici takového škodlivého obsahu co nejdříve.

Podobně, pokud jde o hate speech, existují různé způsoby, jak toho dosáhnout. Nebo v případě šikany a obtěžování, skutečně záleží na typu problému, a v závislosti na tom, bychom upravili naše vymáhání možností a bezpečnostní zábrany. Další příklad dobrých bezpečnostních zábran je, že jsme implementovali strojové učení, které mohlo detekovat, když někdo napíše něco nevhodného v komentářích a poskytnout prompt, aby je donutili dvakrát přemýšlet, než zveřejní ten komentář. Nenutíme je nutně, ale naše naděje je, že lidé budou dvakrát přemýšlet, než sdílí něco zlého.

To se snižuje na kombinaci strojového učení a pravidel klíčových slov. Ale, když jde o livestreamy, jsme také měli lidské moderátory, kteří přehlíželi tyto streamy, které byly označeny AI, aby mohli okamžitě hlásit a implementovat protokoly. Protože se dějí v reálném čase, nestačí spoléhat se na uživatele, aby je nahlásili, takže potřebujeme mít lidi, kteří monitorují v reálném čase.

Od roku 2021 jste Head of Trust, Safety, and Customer experience ve SmartNews, news aggregator app. Můžete diskutovat o tom, jak SmartNews využívá strojové učení a přírodní jazykové zpracování k identifikaci a priorizaci high-quality zpravodajského obsahu?

Centrální koncept je, že máme určitá “pravidla” nebo strojové učení technologie, které mohou analyzovat článek nebo reklamu a pochopit, o čem je ten článek.

Kdykoli je něco, co porušuje naše “pravidla”, řekněme, něco, co je fakticky nesprávné nebo zavádějící, máme strojové učení, které označí ten obsah pro lidského recenzenta na našem editorním týmu. V té fázi, oni rozumí našim editorním hodnotám a mohou rychle přezkoumat článek a učinit soud o jeho vhodnosti nebo kvalitě. Odtud jsou podniknuty kroky, aby se tomu zabránilo.

Jak SmartNews používá AI, aby zajistilo, že platforma je bezpečná, inkluzivní a objektivní?

SmartNews byl založen na předpokladu, že hyper-personalizace je dobrá pro ega, ale je také polarizující nás všechny tím, že posiluje předpojatosti a lidi umístí do filtrační bubliny.

Způsob, jakým SmartNews používá AI, je trochu odlišný, protože neoptimalizujeme výhradně pro zapojení. Naše algoritmus chce pochopit vás, ale není nutně hyper-personalizován pro váš vkus. To je proto, že věříme v broadening perspektiv. Naše AI engine bude představovat vám koncepty a články za hranicemi adjacentských konceptů.

Nápad je, že existují věci, které lidé potřebují vědět ve veřejném zájmu, a existují věci, které lidé potřebují vědět, aby rozšířily své obzory. Rovnováha, kterou se snažíme dosáhnout, je poskytnout tyto kontextové analýzy bez toho, aby byly big-brotherly. Někdy lidé nebudou mít rádi věci, které náš algoritmus umístí do jejich feedu. Když se to stane, lidé si mohou zvolit, zda ten článek nebudou číst. Nicméně, jsme hrdí na schopnost našeho AI engine propagovat serendipitu, zvědavost, cokoliv chcete nazvat.

Na bezpečnostní straně věcí, SmartNews má něco, co se nazývá “Publisher Score,” což je algoritmus navržen tak, aby neustále vyhodnocoval, zda je vydavatel bezpečný nebo ne. V konečném důsledku, chceme stanovit, zda má vydavatel autoritativní hlas. Jako příklad, můžeme všichni kolektivně souhlasit, že ESPN je autoritou ve sportu. Ale, pokud jste náhodný blog, který kopíruje obsah ESPN, potřebujeme zajistit, aby ESPN byl hodnocen výše než ten náhodný blog. Publisher score také zohledňuje faktory, jako je originalita, kdy byly články zveřejněny, co vypadají uživatelské recenze, atd. Je to nakonec spektrum mnoha faktorů, které zvažujeme.

Jedna věc, která překonává všechno, je “Co chce uživatel číst?” Pokud chce uživatel zobrazit clickbait články, nezastavíme je, pokud nejsou nezákonné nebo porušují naše směrnice. Nevnucujeme se uživateli, ale pokud je něco nebezpečné nebo nevhodné, máme naší due diligence, než něco zasáhne feed.

Jaké jsou vaše názory na to, že novináři používají generativní AI k asistenci při produkci obsahu?

Věřím, že tato otázka je etická, a něco, o čem debatujeme zde ve SmartNews. Jak by SmartNews měl pohlížet na vydavatele, kteří předkládají obsah vytvořený generativní AI místo novinářů, kteří jej píší?

Věřím, že ten vlak už oficiálně odjel. Dnes, novináři používají AI k augmentaci svého psaní. Je to funkce rozsahu, nemáme čas na světě produkovat články na komerčně životaschopné rychlosti, zejména když zpravodajské organizace pokračují ve snižování personálu. Otázka se pak stává, kolik kreativity jde do toho? Je článek leštil novinářem? Nebo je novinář zcela závislý?

V této fázi, generativní AI není schopna psát články o aktuálních událostech, protože neexistuje žádný tréninkový data pro to. Nicméně, může vám dát docela dobrý generický šablonu, aby to udělal. Jako příklad, školské střelby jsou tak časté, mohli bychom předpokládat, že generativní AI by mohla dát novináři prompt o školských střelbách a novinář by mohl vložit školu, která byla postižena, aby obdržel kompletní šablonu.

Z mého pohledu, pracujícího se SmartNews, existují dva principy, o kterých si myslím, že stojí za to uvažovat. Zaprvé, chceme, aby vydavatelé byli upřímní a říkali nám, kdy byl obsah generován AI, a chceme jej označit jako takový. Tímto způsobem, když lidé čtou článek, nejsou oklamaní o tom, kdo článek napsal. To je transparentnost na nejvyšší úrovni.

Zadruhé, chceme, aby ten článek byl fakticky správný. Vědíme, že generativní AI má tendenci vymýšlet věci, když chce, a jakýkoli článek napsaný generativní AI potřebuje být přečten novinářem nebo editorním personálem.

Předtím jste také argumentoval, že technologické platformy by měly sjednotit a vytvořit společné standardy pro boj proti digitální toxicitě, jak důležité je toto téma?

Věřím, že toto téma je kritické důležitosti, nejen pro to, aby společnosti fungovaly eticky, ale také aby udržely úroveň důstojnosti a civilizace. Podle mého názoru, platformy by měly přijít вместе a vyvinout určitá standardy, aby udržely tuto lidskost. Jako příklad, nikdo by neměl být nikdy povzbuzen k tomu, aby si vzal život, ale v některých situacích, nacházíme tento typ zneužívání na platformách, a věřím, že je to něco, proti čemu by společnosti měly spolupracovat.

V konečném důsledku, když jde o problémy lidstva, neměl by existovat žádný soutěž. Neměl by existovat ani soutěž o to, kdo má nejčistější nebo nejbezpečnější komunitu – měli bychom všichni snažit se zajistit, aby naši uživatelé se cítili bezpečně a rozuměli. Soutěžíme se o funkce, ne o zneužívání.

Jakým způsobem mohou digitální společnosti spolupracovat?

Společnosti by měly spolupracovat, když existují sdílené hodnoty a možnost spolupráce. Existují vždy prostory, kde existuje intersectionality napříč společnostmi a průmysly, zejména když jde o boj proti zneužívání, zajištění civilizace na platformách nebo snižování polarizace. Tyto jsou momenty, kdy společnosti by měly spolupracovat.

Existuje samozřejmě komerční úhel se soutěží, a typicky soutěž je dobrá. Pomáhá zajistit sílu a diferenciaci napříč společnostmi a dodává řešení s úrovní efektivity, kterou monopoly nemohou zaručit.

Ale, když jde o ochranu uživatelů, nebo propagaci civilizace, nebo snižování zneužívání, tyto jsou témata, která jsou jádrem našeho uchování svobodného světa. Tyto jsou věci, které potřebujeme udělat, abychom chránili to, co je posvátné pro nás, a naše lidskost. Podle mého názoru, všechny platformy mají odpovědnost spolupracovat v obraně lidských hodnot a hodnot, které činí nás svobodným světem.

Jaké jsou vaše současné názory na odpovědnou AI?

Jsme na začátku něčeho velmi všudypřítomného v našich životech. Tato další fáze generativní AI je problém, který jsme ještě plně nerozumíme, nebo můžeme pouze částečně pochopit v této fázi.

Když jde o odpovědnou AI, je to neuvěřitelně důležité, abychom vyvinuli silné zábrany, nebo riskujeme, že skončíme s Frankensteinovým monstrem generativní AI technologií. Potřebujeme strávit čas思考ováním o všem, co by mohlo go wrong. Bez ohledu na to, zda je to bias, který se dostává do algoritmů, nebo velké jazykové modely, které jsou používány špatnými lidmi, aby dělali zlé věci.

Samotná technologie není dobrá nebo špatná, ale může být použita špatnými lidmi, aby dělali špatné věci. To je důvod, proč je investování času a zdrojů do AI etiků, aby provedli adversarial testing, aby pochopili designové chyby, tak kritické. To nám pomůže pochopit, jak zabránit zneužívání, a myslím, že je to pravděpodobně nejimportnější aspekt odpovědné AI.

Protože AI nemůže zatím myslet samo za sebe, potřebujeme chytré lidi, kteří mohou postavit tyto výchozí hodnoty, když je AI programováno. Důležitý aspekt, který je třeba vzít v úvahu právě teď, je timing – potřebujeme tyto pozitivní aktéry, aby dělali tyto věci právě teď, než bude příliš pozdě.

Na rozdíl od ostatních systémů, které jsme navrhli a postavili v minulosti, je AI odlišné, protože může iterovat a učit se samo. Pokud tedy nezavedete silné zábrany pro to, co a jak se učí, nemůžete kontrolovat, co by se mohlo stát.

Je něco jiného, co byste chtěl sdílet o své práci se SmartNews?

Připojil jsem se k SmartNews, protože věřím v jeho misi, mise má určitou čistotu. Silně věřím, že svět se stává více polarizovaným, a není dostatečné mediální gramotnosti dnes, aby pomohla bojovat proti tomuto trendu.

Bohužel, existuje příliš mnoho lidí, kteří berou WhatsApp zprávy jako evangelium a věří jim na face value. To může vést k obrovským následkům, včetně – a zejména – násilí. To vše se snižuje na to, že lidé nerozumí tomu, co mohou a nemohou věřit.

Pokud nevzděláme lidi, nebo je neinformujeme o tom, jak učinit rozhodnutí o důvěryhodnosti toho, co konzumují. Pokud nezavedeme úroveň mediální gramotnosti, abychom rozlišili mezi zprávami a falešnými zprávami, budeme pokračovat v propagaci problému a zvyšovat problémy, které historie naučila nás nedělat.

Jedním z nejdůležitějších součástí mé práce ve SmartNews je pomoci snižovat polarizaci ve světě. Chci naplnit misi zakladatele, aby zlepšil mediální gramotnost, aby mohli lidé rozumět tomu, co konzumují, a učinit informovaná rozhodnutí o světě a mnoha rozmanitých perspektivách.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více nebo chtějí vyzkoušet jiný typ zpravodajské aplikace, by měli navštívit SmartNews.