Arjun Narayan, Head of Global Trust and Safety for SmartNews – Rozhovorová série

Arjun Narayan, je Head of Global Trust and Safety for SmartNews a news aggregator app, je také odborník na AI etiku a tech politiku. SmartNews používá AI a lidský editorní tým, aby agregoval zprávy pro čtenáře.

Byl jsteinstrumentální při zřízení asijsko-pacifického centra důvěry a bezpečnosti Googlu v Singapuru, jaké byly některé klíčové lekce, které jste se z této zkušenosti naučil?

Při budování týmů Trust and Safety je kritická zeměpisná odbornost, protože zneužívání se velmi liší v závislosti na zemi, kterou regulujete. Například, způsobem, jakým byly produkty Googlu zneužívány v Japonsku, se lišily od toho, jak byly zneužívány v jihovýchodní Asii a Indii. To znamená, že vektory zneužívání jsou velmi odlišné v závislosti na tom, kdo je zneužívá a v jaké zemi jste, takže neexistuje žádná homogenita. To byla něco, co jsme se naučili brzy.

Já jsem také naučil, že kulturní rozmanitost je neuvěřitelně důležitá při budování týmů Trust and Safety v zahraničí. V Googlu jsme zajistili, aby byla dostatečná kulturní rozmanitost a porozumění mezi lidmi, které jsme najali. Hledali jsme lidi se specifickými znalostmi, ale také s jazykovými a tržními znalostmi.

Já jsem také zjistil, že kulturní imerze je neuvěřitelně důležitá. Když budujeme týmy Trust and Safety přes hranice, potřebujeme zajistit, aby naše inženýrské a obchodní týmy mohly být imerzní. To pomáhá zajistit, aby všichni byli blíže k problémům, které jsme se snažili řešit. To jsme dělali prostřednictvím čtvrtletních imerzních sezení s klíčovým personálem, a to pomohlo zvýšit kulturní IQ všech.

Nakonec, mezikulturní porozumění bylo tak důležité. Já jsem vedl tým v Japonsku, Austrálii, Indii a jihovýchodní Asii, a způsob, jakým se navzájem komunikovali, byl velmi odlišný. Jako leader, chcete zajistit, aby všichni mohli najít svůj hlas. Nakonec, vše je navrženo tak, aby se vytvořil vysoce výkonný tým, který může vykonávat citlivé úkoly, jako je Trust and Safety.

Předtím jste také pracoval v týmu Trust & Safety pro ByteDance pro aplikaci TikTok, jak jsou videa, která jsou často kratší než jedna minuta, monitorována pro bezpečnost?

Chci trochu reformulovat tuto otázku, protože vlastně nezáleží na tom, zda je video krátké nebo dlouhé. To není faktor, který hodnotíme při posuzování bezpečnosti videa, a délka nemá žádný skutečný vliv na to, zda může video šířit zneužívání.

Když přemýšlím o zneužívání, přemýšlím o “problémech”. Jaké jsou některé problémy, kterým jsou uživatelé vystaveni? Dezinformace? Šíření nepravdivých informací? Bez ohledu na to, zda je video 1 minuta nebo 1 hodina, stále existuje dezinformace, která je sdílena, a úroveň zneužívání zůstává srovnatelná.

V závislosti na typu problému začnete přemýšlet o politice prosazování a bezpečnostních zábranách a o tom, jak můžete chránit zranitelné uživatele. Například, pokud existuje video někoho, kdo se snaží spáchat sebevraždu. Když dostaneme oznámení, že toto video existuje, musíme jednat s naléhavostí, protože někdo může ztratit život. Spoléháme se hodně na strojové učení, abychom toto tipo detekce provedli. První krok je vždy kontaktovat úřady, aby se pokusily zachránit ten život, nic není důležitější. Od té doby se snažíme pozastavit video, livestream nebo jakýkoli formát, ve kterém je sdíleno. Musíme zajistit, aby minimalizovali expozici takového škodlivého obsahu co nejdříve.

Podobně, pokud jde o hate speech, existují různé způsoby, jak to rozbalit. Nebo v případě šikany a obtěžování, skutečně záleží na typu problému, a v závislosti na tom, bychom upravili naše prosazovací možnosti a bezpečnostní zábrany. Další příklad dobrého bezpečnostního zábrany byl, že jsme implementovali strojové učení, které mohlo detekovat, když někdo napsal něco nevhodného v komentářích a poskytnout výzvu, aby se dvakrát rozmyslel, než zveřejnil ten komentář. Nemuseli bychom je nutně zastavit, ale naše naděje byla, že lidé budou dvakrát přemýšlet, než sdílejí něco zlého.

To se nakonec sníží na kombinaci strojového učení a pravidel klíčových slov. Ale, pokud jde o livestreamy, jsme také měli lidské moderátory, kteří kontrolovali tyto streamy, které byly označeny AI, aby mohli okamžitě hlásit a implementovat protokoly. Protože se dějí v reálném čase, nestačí spoléhat se na uživatele, aby je nahlásili, takže potřebujeme mít lidi, kteří monitorují v reálném čase.

Od roku 2021 jste Head of Trust, Safety, a Customer experience ve SmartNews, news aggregator app. Můžete diskutovat o tom, jak SmartNews využívá strojové učení a přirozenou jazykovou zpracování k identifikaci a priorizaci vysoce kvalitního zpravodajského obsahu?

Centrální koncept je, že máme určitá “pravidla” nebo strojové učení technologie, které mohou analyzovat článek nebo reklamu a pochopit, o čem je.

Kdykoli je něco, co porušuje naše “pravidla”, řekněme, že něco je fakticky nesprávné nebo zavádějící, máme strojové učení, které označí tento obsah lidskému recenzentovi na našem editorním týmu. V té fázi rozumí naši editorní hodnoty a mohou rychle posoudit článek a učinit rozhodnutí o jeho vhodnosti nebo kvalitě. Od té doby jsou podniknuty kroky, aby se tomu zabránilo.

Jak SmartNews používá AI, aby zajistil, že platforma je bezpečná, inkluzivní a objektivní?

SmartNews byl založen na předpokladu, že hyper-personalizace je dobrá pro ego, ale také polarizuje nás všechny tím, že posiluje předpojatosti a staví lidi do filter bubble.

Způsob, jakým SmartNews používá AI, je trochu jiný, protože neoptimalizujeme výhradně pro zapojení. Naše algoritmus chce pochopit vás, ale není nutně hyper-personalizován na vaši chuť. To je proto, že věříme v rozšiřování perspektiv. Naše AI engine vám představí koncepty a články za hranice sousedních konceptů.

Nápad je, že existují věci, které lidé potřebují vědět ve veřejném zájmu, a existují věci, které lidé potřebují vědět, aby rozšířili svůj rozsah. Rovnováha, kterou se snažíme dosáhnout, je poskytnout tyto kontextové analýzy bez toho, aby byly big-brotherly. Někdy lidé nebudou rádi články, které náš algoritmus vloží do jejich feedu. Když se to stane, lidé si mohou vybrat, zda nebudou číst ten článek. Nicméně, jsme hrdí na schopnost našeho AI engine propagovat serendipitu, zvědavost, cokoliv chcete nazvat.

Na bezpečnostní straně věcí má SmartNews něco, co se nazývá “Publisher Score,” což je algoritmus, který neustále vyhodnocuje, zda je vydavatel bezpečný nebo ne. Nakonec, chceme stanovit, zda má vydavatel autoritativní hlas. Například, všichni můžeme shodně souhlasit, že ESPN je autoritou ve sportu. Ale, pokud jste náhodný blog, který kopíruje obsah ESPN, potřebujeme zajistit, aby ESPN byl hodnocen výše než ten náhodný blog. Skóre vydavatele také zohledňuje faktory, jako je originalita, kdy byly články zveřejněny, co vypadají uživatelské recenze, atd. Je to nakonec spektrum mnoha faktorů, které zvažujeme.

Jedna věc, která překonává všechno, je “Co chce uživatel číst?” Pokud chce uživatel zobrazit clickbait články, nezastavíme je, pokud nejsou nezákonné nebo porušují naše směrnice. Nevnucujeme se uživatelům, ale pokud je něco nebezpečné nebo nevhodné, máme svou povinnost předtím, než něco zasáhne feed.

Jaké jsou vaše názory na použití generativního AI novináři při produkci obsahu?

Věřím, že tato otázka je etická, a něco, o čem se aktuálně debatuje zde ve SmartNews. Jak by měl SmartNews pohlížet na vydavatele, kteří předkládají obsah vytvořený generativním AI místo novinářů, kteří jej píší?

Věřím, že ten vlak už oficialně odjel. Dnes novináři používají AI, aby doplnili své psaní. Je to otázka rozsahu, nemáme čas na světě produkovat články komerčně životaschopným tempem, zejména když novinové organizace pokračují ve snižování personálu. Otázka se pak stává, kolik kreativity se do toho vkládá? Je článek vylepšen novinářem? Nebo je novinář zcela závislý?

V této fázi je generativní AI není schopný psát články o aktuálních událostech, protože pro to neexistuje žádný tréninkový data. Nicméně, může poskytnout khá dobrý generický šablonu, aby to udělal. Například, školní střelby jsou tak časté, můžeme předpokládat, že generativní AI by mohl poskytnout novináři prompt o školních střelbách a novinář by mohl vložit školu, která byla postižena, aby obdržel kompletní šablonu.

Ze mého pohledu, pracujícího se SmartNews, existují dva principy, které jsou hodny zvažování. První, chceme, aby vydavatelé byli otevření a sdělovali nám, kdy byl obsah vytvořen AI, a chceme je označit jako takové. To umožňuje lidem, kteří čtou článek, aby nebyli oklamaní o tom, kdo článek napsal. To je transparentnost na nejvyšší úrovni.

Druhý, chceme, aby ten článek byl fakticky správný. Věděli jsme, že generativní AI má tendenci vymýšlet věci, když chce, a jakýkoli článek napsaný generativním AI potřebuje být přečten novinářem nebo editorním týmem.

Předtím jste argumentoval, že technologické platformy by se měly sjednotit a vytvořit společné standardy pro boj proti digitální toxicitě, jak důležité je toto téma?

Věřím, že toto téma je kriticky důležité, nejen pro to, aby společnosti fungovaly eticky, ale také pro udržení určité úrovně důstojnosti a civilizace. Podle mého názoru by platformy měly spolupracovat a vyvinout určité standardy, aby udržely tuto lidskost. Například, nikdo by neměl být nikdy povzbuzen k tomu, aby si vzal život, ale v některých situacích najdeme tento typ zneužívání na platformách, a věřím, že je to něco, co by společnosti měly spolupracovat, aby chránily proti němu.

Nakonec, když jde o problémy lidskosti, neměl by existovat žádný soutěž. Neměl by existovat ani soutěž o to, kdo je nejčistější nebo nejbezpečnější komunitou – měli bychom všichni usilovat o to, aby se naši uživatelé cítili bezpečně a rozuměli jim. Měli bychom soutěžit o funkce, ne oexploataci.

Jakým způsobem mohou digitální společnosti spolupracovat?

Společnosti by se měly spojit, když existují sdílené hodnoty a možnost spolupráce. Existují vždy prostory, kde existuje intersekce mezi společnostmi a odvětvími, zejména když jde o boj proti zneužívání, zajištění civilizace na platformách nebo snížení polarizace. Tyto jsou momenty, kdy společnosti by měly spolupracovat.

Existuje samozřejmě komerční úhel se soutěží, a typicky soutěž je dobrá. Pomáhá zajistit sílu a diferenciaci mezi společnostmi a dodává řešení s určitou účinností, kterou monopoly nemohou zaručit.

Ale, když jde o ochranu uživatelů, nebo propagaci civilizace, nebo snížení vektorů zneužívání, tyto jsou témata, která jsou jádrem našeho zachování svobodného světa. Tyto jsou věci, které potřebujeme udělat, abychom chránili to, co je pro nás posvátné, a naše lidskost. Podle mého názoru, všechny platformy mají odpovědnost spolupracovat v obraně lidských hodnot a hodnot, které nás dělají svobodným světem.

Jaké jsou vaše současné názory na odpovědnou AI?

Jsme na začátku něčeho, co je velmi rozšířené v našich životech. Tato další fáze generativního AI je problém, který plně nerozumíme, nebo můžeme pouze částečně pochopit v této fázi.

Když jde o odpovědnou AI, je to neuvěřitelně důležité, abychom vyvinuli silné zábrany, nebo bychom mohli skončit s Frankensteinovým monstrem generativních AI technologií. Potřebujeme strávit čas přemýšlením o všem, co by mohlo go wrong. Zda je to bias, který se dostává do algoritmů, nebo velké jazykové modely, které jsou používány špatnými lidmi k provedení zlých aktů.

Samotná technologie není dobrá nebo špatná, ale může být použita špatnými lidmi, aby provedli špatné věci. To je důvod, proč je investice času a zdrojů do AI etiků, aby provedli adversativní testování, aby pochopili designové chyby, kriticky důležitá. To nám pomůže pochopit, jak zabránit zneužívání, a myslím, že to je pravděpodobně nejimportnější aspekt odpovědné AI.

Protože AI nemůže zatím myslet samo za sebe, potřebujeme chytré lidi, kteří mohou vybudovat tyto výchozí hodnoty, když je AI programováno. Důležitý aspekt, který je třeba vzít v úvahu právě teď, je timing – potřebujeme tyto pozitivní aktéry, aby dělali tyto věci TEĎ, než bude příliš pozdě.

Na rozdíl od jiných systémů, které jsme navrhli a postavili v minulosti, je AI jiné, protože může iterovat a učit se samo, takže pokud nezavedete silné zábrany pro to, co a jak se učí, nemůžeme kontrolovat, co by se mohlo stát.

Právě teď vidíme, jak velké společnosti ruší etické rady a odpovědné AI týmy jako součást velkých propouštění. Zůstává vidět, jak vážně tyto technologické giganty berou technologii a jak vážně přezkoumávají potenciální pády AI ve svém rozhodování.

Je něco jiného, co byste chtěli sdílet o své práci se SmartNews?

Připojil jsem se k SmartNews, protože věřím v jeho misi, mise má určitou čistotu. Silně věřím, že svět se stává více polarizovaným, a není dostatečné mediální gramotnosti dnes, aby pomohla bojovat proti tomuto trendu.

Bohužel, existuje příliš mnoho lidí, kteří berou WhatsApp zprávy jako evangelium a věří jim na face value. To může vést k obrovským následkům, včetně – a zejména – násilí. To vše se sníží na to, že lidé nerozumí, co mohou a nemohou věřit.

Jestliže nebudeme vzdělávat lidi, nebo je informovat o tom, jak učinit rozhodnutí o důvěryhodnosti toho, co konzumují. Jestliže nebudeme zavádět úrovně mediální gramotnosti, abychom rozlišovali mezi zprávami a falešnými zprávami, budeme pokračovat v propagaci problému a zvyšovat problémy, které historie naučila nás nedělat.

Jedním z nejimportnějších komponentů mé práce ve SmartNews je pomoci snížit polarizaci ve světě. Chci naplnit misi zakladatele, aby zlepšil mediální gramotnost, kde mohou lidé rozumět tomu, co konzumují, a učinit informovaná rozhodnutí o světě a mnoha rozmanitých perspektivách.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více nebo chtějí vyzkoušet jiný typ news app, by měli navštívit SmartNews.