Arjun Narayan, Hoofd van Globale Vertrouwen en Veiligheid voor SmartNews – Interviewreeks

Arjun Narayan, is het Hoofd van Globale Vertrouwen en Veiligheid voor SmartNews een nieuwsaggregatie-app, hij is ook een expert op het gebied van AI-ethiek en technisch beleid. SmartNews gebruikt AI en een menselijke redactionele ploeg om nieuws voor lezers te aggregeren.

U was van cruciaal belang bij het helpen oprichten van Google’s Trust & Safety Asia Pacific-hub in Singapore, wat waren enkele belangrijke lessen die u uit deze ervaring hebt geleerd?

Bij het opbouwen van Trust en Safety-teams is landenspecifieke expertise cruciaal omdat misbruik heel anders is afhankelijk van het land waarin u reguleert. Bijvoorbeeld, de manier waarop Google-producten in Japan werden misbruikt, was anders dan hoe ze in Zuidoost-Azië en India werden misbruikt. Dit betekent dat misbruikvectoren heel verschillend zijn, afhankelijk van wie het misbruikt en in welk land u gevestigd bent; dus er is geen homogeniteit. Dit was iets wat we vroeg leerden.

Ik leerde ook dat culturele diversiteit ontzettend belangrijk is bij het opbouwen van Trust en Safety-teams in het buitenland. Bij Google zorgden we ervoor dat er voldoende culturele diversiteit en begrip was binnen de mensen die we in dienst namen. We zochten naar mensen met specifieke domeinexpertise, maar ook naar taal- en marktexpertise.

Ik vond ook culturele immersie ontzettend belangrijk. Wanneer we Trust en Safety-teams over grenzen heen opbouwen, moeten we ervoor zorgen dat onze technische en zakelijke teams zich kunnen immerseren. Dit helpt ervoor zorgen dat iedereen dichter bij de problemen staat die we proberen te beheersen. Om dit te doen, deden we elk kwartaal immersiesessies met belangrijk personeel, en dat hielp om ieders culturele IQ te verhogen.

Ten slotte was cross-culturele begrip zo belangrijk. Ik beheerde een team in Japan, Australië, India en Zuidoost-Azië, en de manier waarop ze interacteerden was wild verschillend. Als leider wilt u ervoor zorgen dat iedereen zijn stem kan vinden. Uiteindelijk is dit allemaal ontworpen om een high-performance team te bouwen dat gevoelige taken zoals Trust en Safety kan uitvoeren.

Eerder was u ook onderdeel van het Trust & Safety-team met ByteDance voor de TikTok-applicatie, hoe worden video’s die vaak korter zijn dan een minuut effectief gemonitord voor veiligheid?

Ik wil deze vraag een beetje herschrijven, omdat het niet echt uitmaakt of een video kort of lang is. Dat is geen factor bij het beoordelen van videoveiligheid, en de lengte heeft geen echte invloed op of een video misbruik kan verspreiden.

Wanneer ik denk aan misbruik, denk ik aan “problemen”. Wat zijn enkele van de problemen waar gebruikers kwetsbaar voor zijn? Desinformatie? Misinformatie? Of het nu een video van 1 minuut of 1 uur is, er wordt nog steeds misinformatie gedeeld en het niveau van misbruik blijft vergelijkbaar.

Afhankelijk van het type probleem, ga je nadenken over het afdwingen van beleid en veiligheidsmaatregelen en hoe je kwetsbare gebruikers kunt beschermen. Als voorbeeld, stel dat er een video is van iemand die zelfmoord pleegt. Wanneer we een melding ontvangen dat deze video bestaat, moet je met urgentie handelen, omdat iemand zijn leven kan verliezen. We vertrouwen sterk op machine learning om dit type detectie te doen. De eerste stap is altijd om de autoriteiten te contacteren om dat leven te redden, niets is belangrijker. Vervolgens streven we ernaar om de video, livestream of welk formaat dan ook waarin het wordt gedeeld, te schorsen. We moeten ervoor zorgen dat we de blootstelling aan dit soort schadelijke inhoud zo snel mogelijk minimaliseren.

Evenzo, als het haatzaaiende taalgebruik is, zijn er verschillende manieren om dat uit te pakken. Of in het geval van pesten en intimidatie, hangt het echt af van het type probleem, en afhankelijk daarvan, zouden we onze afdwingingsmogelijkheden en veiligheidsmaatregelen aanpassen. Een ander voorbeeld van een goede veiligheidsmaatregel was dat we machine learning implementeerden die kon detecteren wanneer iemand iets ongepasts schreef in de comments en een prompt kon geven om hen te laten nadenken voordat ze die opmerking plaatsten. We zouden hen niet noodzakelijkerwijs tegenhouden, maar onze hoop was dat mensen twee keer zouden nadenken voordat ze iets gemeens zouden delen.

Het komt neer op een combinatie van machine learning en trefwoordregels. Maar bij livestreams hadden we ook menselijke moderators die de streams bekeken die door AI waren gemarkeerd, zodat ze onmiddellijk konden rapporteren en protocollen konden implementeren. Omdat ze in real-time gebeuren, is het niet genoeg om te vertrouwen op gebruikers om te melden, dus we moeten menselijke moderators hebben die in real-time toezicht houden.

Sinds 2021 bent u het Hoofd van Vertrouwen, Veiligheid en Klantbeleving bij SmartNews, een nieuwsaggregatie-app. Kunt u discussiëren over hoe SmartNews machine learning en natuurlijke taalverwerking gebruikt om hoogwaardige nieuwsinhoud te identificeren en prioriteren?

Het centrale concept is dat we bepaalde “regels” of machine learning-technologie hebben die een artikel of advertentie kunnen parseren en begrijpen waar het artikel over gaat.

Wanneer er iets is dat onze “regels” schendt, laten we zeggen dat iets feitelijk onjuist of misleidend is, hebben we machine learning die die inhoud markeert voor een menselijke reviewer op ons redactionele team. Op dat moment begrijpt de reviewer onze redactionele waarden en kan snel een oordeel vellen over de geschiktheid of kwaliteit van het artikel. Vervolgens worden acties ondernomen om het aan te pakken.

Hoe gebruikt SmartNews AI om ervoor te zorgen dat het platform veilig, inclusief en objectief is?

SmartNews is opgericht met het idee dat hyperpersonalisatie goed is voor het ego, maar ons ook polariseert door onze voorkeuren te versterken en ons in een filterbubbel te plaatsen.

De manier waarop SmartNews AI gebruikt, is een beetje anders, omdat we niet exclusief optimaliseren voor betrokkenheid. Ons algoritme wil je begrijpen, maar het personaliseert niet noodzakelijkerwijs tot je smaak. Dat komt omdat we geloven in het verbreden van perspectieven. Ons AI-engine zal je kennis laten maken met concepten en artikelen die verder gaan dan aangrenzende concepten.

Het idee is dat er dingen zijn die mensen moeten weten in het publieke belang, en er zijn dingen die mensen moeten weten om hun perspectief te verbreden. De balans die we proberen te vinden, is om deze contextuele analyses te bieden zonder big brotherlijk te zijn. Soms zullen mensen de dingen die ons algoritme in hun feed plaatst, niet leuk vinden. Wanneer dat gebeurt, kunnen mensen ervoor kiezen om dat artikel niet te lezen. Maar we zijn trots op de mogelijkheid van ons AI-engine om serendipiteit, nieuwsgierigheid, of hoe je het ook wilt noemen, te bevorderen.

Aan de veiligheidskant van de dingen heeft SmartNews iets dat “Uitgeverscore” heet, dit is een algoritme ontworpen om constant te evalueren of een uitgever veilig is of niet. Uiteindelijk willen we vaststellen of een uitgever een gezaghebbende stem heeft. Als voorbeeld, we kunnen allemaal collectief overeenkomen dat ESPN een autoriteit is op het gebied van sport. Maar als je een willekeurige blog bent die ESPN-inhoud kopieert, moeten we ervoor zorgen dat ESPN hoger scoort dan die willekeurige blog. De uitgeverscore houdt ook rekening met factoren zoals originaliteit, wanneer artikelen werden gepost, hoe gebruikersbeoordelingen eruitzien, enz. Het is uiteindelijk een spectrum van veel factoren die we overwegen.

Een ding dat alles overtreft, is “Wat wil de gebruiker lezen?” Als een gebruiker clickbait-artikelen wil bekijken, zullen we hen niet tegenhouden als het niet illegaal is of onze richtlijnen schendt. We leggen geen druk op de gebruiker, maar als iets onveilig of ongepast is, doen we onze due diligence voordat het in de feed terechtkomt.

Wat zijn uw meningen over journalisten die generatieve AI gebruiken om hen te helpen bij het produceren van inhoud?

Ik geloof dat deze vraag een ethische is, en iets waar we momenteel over debatteren hier bij SmartNews. Hoe moet SmartNews uitgevers beschouwen die inhoud indienen die is gevormd door generatieve AI in plaats van door journalisten geschreven?

Ik geloof dat de trein officieel het station heeft verlaten. Vandaag gebruiken journalisten AI om hun schrijven aan te vullen. Het is een kwestie van schaal, we hebben niet de tijd in de wereld om artikelen te produceren tegen een commercieel haalbare tarief, vooral omdat nieuwsorganisaties blijven snijden in hun personeel. De vraag wordt dan, hoeveel creativiteit gaat hierin? Is het artikel gepolijst door de journalist? Of is de journalist volledig afhankelijk?

Op dit moment kan generatieve AI nog geen artikelen schrijven over actuele gebeurtenissen, omdat er geen trainingsdata voor is. Maar het kan je nog steeds een behoorlijk goed generiek sjabloon geven om dat te doen. Als voorbeeld, schoolshootings zijn zo gewoon, we kunnen aannemen dat generatieve AI een journalist een prompt kan geven over schoolshootings en een journalist kan de school invoegen die werd getroffen om een compleet sjabloon te krijgen.

Vanuit mijn standpunt, werkend met SmartNews, zijn er twee principes die ik denk dat het overwegen waard zijn. Ten eerste, we willen dat uitgevers openhartig zijn over het feit wanneer inhoud door AI is gegenereerd, en we willen het als zodanig labelen. Zo weten mensen die het artikel lezen niet dat ze worden misleid over wie het artikel heeft geschreven. Dit is transparantie van de hoogste orde.

Ten tweede, we willen dat dat artikel feitelijk correct is. We weten dat generatieve AI de neiging heeft om dingen te verzinnen als het dat wil, en elk artikel dat door generatieve AI is geschreven, moet worden nagelopen door een journalist of redactioneel personeel.

U heeft eerder betoogd dat technologieplatforms moeten samenwerken en gemeenschappelijke normen moeten creëren om digitale toxiciteit te bestrijden, hoe belangrijk is dit?

Ik geloof dat dit een kwestie van cruciaal belang is, niet alleen voor bedrijven om ethisch te opereren, maar om een niveau van waardigheid en beschaving te behouden. Volgens mij moeten platforms samenwerken en bepaalde normen ontwikkelen om deze menselijkheid te behouden. Als voorbeeld, niemand zou ooit aangemoedigd moeten worden om zijn eigen leven te nemen, maar in sommige situaties vinden we dit type misbruik op platforms, en ik geloof dat dit iets is waar bedrijven samen moeten komen om tegen te beschermen.

Uiteindelijk, wanneer het gaat om problemen van de mensheid, zou er geen concurrentie moeten zijn. Er zou zelfs geen concurrentie moeten zijn over wie de schoonste of veiligste gemeenschap is – we moeten allemaal streven naar het waarborgen dat onze gebruikers zich veilig en begrepen voelen. Laten we concurreren op functies, niet op exploitatie.

Op welke manieren kunnen digitale bedrijven samenwerken?

Bedrijven moeten samenwerken wanneer er gedeelde waarden zijn en de mogelijkheid tot samenwerking. Er zijn altijd ruimtes waar er intersecties zijn tussen bedrijven en industrieën, vooral wanneer het gaat om het bestrijden van misbruik, het waarborgen van beschaving op platforms, of het verminderen van polarisatie. Dit zijn momenten waarop bedrijven moeten samenwerken.

Er is natuurlijk een commercieel aspect met concurrentie, en concurrentie is meestal goed. Het helpt ervoor zorgen dat er kracht en differentiatie is tussen bedrijven en oplossingen met een niveau van effectiviteit dat monopolies niet kunnen garanderen.

Maar wanneer het gaat om het beschermen van gebruikers, of het bevorderen van beschaving, of het verminderen van misbruik, zijn dit onderwerpen die essentieel zijn voor het behouden van de vrije wereld. Dit zijn dingen die we moeten doen om onze menselijkheid te beschermen en de waarden die ons een vrije wereld maken. Volgens mij hebben alle platforms de verantwoordelijkheid om samen te werken in de verdediging van menselijke waarden en de waarden die ons een vrije wereld maken.

Wat zijn uw huidige meningen over verantwoorde AI?

We zijn aan het begin van iets dat heel ingrijpend is in ons leven. Deze volgende fase van generatieve AI is een probleem dat we niet volledig begrijpen, of slechts gedeeltelijk kunnen begrijpen op dit moment.

Wanneer het gaat om verantwoorde AI, is het zo ontzettend belangrijk dat we sterke veiligheidsmaatregelen ontwikkelen, of anders kunnen we eindigen met een Frankenstein-monster van generatieve AI-technologieën. We moeten de tijd nemen om na te denken over alles wat fout kan gaan. Of het nu gaat om vooroordelen die in de algoritmes sluipen, of grote taalmodellen die door de verkeerde mensen worden gebruikt om slechte dingen te doen.

De technologie zelf is niet goed of slecht, maar het kan worden gebruikt door slechte mensen om slechte dingen te doen. Dit is waarom het investeren van tijd en middelen in AI-ethici om tegenstrijdige tests uit te voeren om de ontwerpfouten te begrijpen, zo kritiek is. Dit zal ons helpen begrijpen hoe we misbruik kunnen voorkomen, en ik denk dat dat het meest belangrijke aspect van verantwoorde AI is.

Omdat AI nog niet voor zichzelf kan denken, hebben we slimme mensen nodig die deze standaarden kunnen bouwen wanneer AI wordt geprogrammeerd. Het belangrijke aspect om nu te overwegen, is timing – we hebben deze positieve actoren nodig die deze dingen NU doen, voordat het te laat is.

Anders dan andere systemen die we in het verleden hebben ontworpen en gebouwd, is AI anders omdat het kan itereren en leren op zichzelf, dus als je geen sterke veiligheidsmaatregelen instelt over wat en hoe het leert, kunnen we niet controleren wat het zou kunnen worden.

Op dit moment zien we enkele grote bedrijven die ethische raden en verantwoorde AI-teams als onderdeel van grote ontslagen laten gaan. Het moet nog worden gezien hoe serieus deze technologie-giganten de technologie nemen en hoe serieus ze de potentiële valkuilen van AI in hun besluitvorming bekijken.

Is er nog iets anders dat u zou willen delen over uw werk met SmartNews?

Ik ben bij SmartNews gekomen omdat ik geloof in de missie, de missie heeft een bepaalde puurheid. Ik geloof sterk dat de wereld polariserender wordt, en er is niet genoeg mediawijsheid vandaag om die trend te helpen bestrijden.

Helaas zijn er te veel mensen die WhatsApp-berichten als evangelie nemen en ze voor waar aannemen. Dat kan leiden tot enorme gevolgen, inclusief – en vooral – geweld. Dit alles komt neer op het feit dat mensen niet begrijpen wat ze wel en niet kunnen geloven.

Als we mensen niet onderwijzen, of informeren over hoe ze beslissingen kunnen nemen over de betrouwbaarheid van wat ze consumeren, zullen we het probleem blijven verergeren en de problemen die de geschiedenis ons heeft geleerd om te vermijden, verder verergeren.

Een van de meest belangrijke componenten van mijn werk bij SmartNews is om te helpen bij het verminderen van polarisatie in de wereld. Ik wil de missie van de oprichter vervullen om mediawijsheid te verbeteren, zodat ze kunnen begrijpen wat ze consumeren en geïnformeerde meningen kunnen vormen over de wereld en de vele diverse perspectieven.

Bedankt voor het geweldige interview, lezers die meer willen leren of een andere soort nieuws-app willen proberen, moeten SmartNews bezoeken.