Arjun Narayan, Hoofd van Globale Vertrouwen en Veiligheid voor SmartNews – Interviewreeks

Arjun Narayan, is het Hoofd van Globale Vertrouwen en Veiligheid voor SmartNews een nieuwsaggregatie-app, hij is ook een expert op het gebied van AI-ethiek en technisch beleid. SmartNews gebruikt AI en een menselijk redactioneel team om nieuws voor lezers te aggregeren.

U was van grote waarde bij het helpen om Google’s Trust & Safety Asia Pacific-hub in Singapore te vestigen, wat waren enkele belangrijke lessen die u uit deze ervaring hebt geleerd?

Bij het opbouwen van Trust en Safety-teams is landelijke expertise cruciaal omdat misbruik heel anders is op basis van het land waarin u reguleert. Bijvoorbeeld, de manier waarop Google (GOOGL ) -producten in Japan werden misbruikt, was anders dan hoe ze in Zuidoost-Azië en India werden misbruikt. Dit betekent dat misbruikvectoren heel anders zijn, afhankelijk van wie het misbruikt en in welk land u gevestigd bent; dus er is geen homogeniteit. Dit was iets wat we vroeg hebben geleerd.

Ik leerde ook dat culturele diversiteit ontzettend belangrijk is bij het opbouwen van Trust en Safety-teams in het buitenland. Bij Google zorgden we ervoor dat er voldoende culturele diversiteit en begrip was binnen de mensen die we inhuurden. We zochten naar mensen met specifieke domeinexpertise, maar ook naar taal- en marktexpertise.

Ik vond ook culturele immersie ontzettend belangrijk. Wanneer we Trust en Safety-teams over grenzen heen opbouwen, moesten we ervoor zorgen dat onze technische en bedrijfsteams zich konden immerseren. Dit helpt ervoor zorgen dat iedereen dichter bij de problemen staat die we proberen te beheren. Om dit te doen, deden we kwartaalimmersiesessies met sleutelpersoneel, en dat hielp om ieders culturele IQ te verhogen.

Ten slotte was cross-culturele begrip zo belangrijk. Ik beheerde een team in Japan, Australië, India en Zuidoost-Azië, en de manier waarop ze interacteerden was wild verschillend. Als leider wilt u ervoor zorgen dat iedereen zijn stem kan vinden. Uiteindelijk is dit allemaal bedoeld om een hoogpresterend team te bouwen dat gevoelige taken zoals Trust en Safety kan uitvoeren.

Eerder was u ook lid van het Trust & Safety-team met ByteDance voor de TikTok-applicatie, hoe worden video’s die vaak korter zijn dan een minuut effectief gemonitord voor veiligheid?

Ik wil deze vraag een beetje herschikken, omdat het niet echt uitmaakt of een video kort of lang is. Dat is geen factor bij het beoordelen van de veiligheid van video’s, en de lengte heeft geen echte invloed op of een video misbruik kan verspreiden.

Wanneer ik denk aan misbruik, denk ik aan “problemen”. Wat zijn enkele van de problemen waar gebruikers kwetsbaar voor zijn? Desinformatie? Misinformatie? Of het nu een video van 1 minuut of 1 uur is, er wordt nog steeds misinformatie gedeeld en het niveau van misbruik blijft vergelijkbaar.

Afhankelijk van het type probleem, ga je nadenken over het handhaven van beleid en veiligheidsmaatregelen en hoe je kwetsbare gebruikers kunt beschermen. Als voorbeeld, stel dat er een video is van iemand die zelfmoord pleegt. Wanneer we een melding ontvangen dat deze video bestaat, moet je met urgentie handelen, omdat iemands leven op het spel staat. We vertrouwen sterk op machine learning om dit type detectie te doen. De eerste stap is om altijd contact op te nemen met de autoriteiten om te proberen dat leven te redden, niets is belangrijker. Vervolgens proberen we de video, livestream of welk formaat dan ook waarin het wordt gedeeld, te schorsen. We moeten ervoor zorgen dat we de blootstelling aan dit soort schadelijke inhoud zo snel mogelijk minimaliseren.

Evenzo, als het haatzaaiende taal is, zijn er verschillende manieren om dat uit te pakken. Of in het geval van pesten en intimidatie, hangt het echt af van het type probleem, en afhankelijk daarvan, zouden we onze handhavingsmogelijkheden en veiligheidsmaatregelen aanpassen. Een ander voorbeeld van een goede veiligheidsmaatregel was dat we machine learning hebben geïmplementeerd die kan detecteren wanneer iemand iets ongepasts schrijft in de comments en een prompt kan geven om hen te laten nadenken voordat ze die comment plaatsen. We zouden hen niet noodzakelijkerwijs tegenhouden, maar onze hoop was dat mensen twee keer na zouden denken voordat ze iets gemeens zouden delen.

Het komt neer op een combinatie van machine learning en keywordregels. Maar wanneer het gaat om livestreams, hadden we ook menselijke moderators die de streams die door AI waren gemarkeerd, beoordeelden, zodat ze onmiddellijk konden rapporteren en protocollen konden implementeren. Omdat ze in real-time gebeuren, is het niet genoeg om alleen op gebruikers te vertrouwen om te melden, dus we moeten menselijke moderators hebben die in real-time monitoren.

Sinds 2021 bent u het Hoofd van Vertrouwen, Veiligheid en Klantervaring bij SmartNews, een nieuwsaggregatie-app. Kunt u bespreken hoe SmartNews machine learning en natuurlijke taalverwerking gebruikt om hoogwaardige nieuwsinhoud te identificeren en prioriteren?

Het centrale concept is dat we bepaalde “regels” of machine learning-technologie hebben die een artikel of advertentie kunnen parseren en begrijpen waar het artikel over gaat.

Wanneer er iets is dat onze “regels” schendt, laten we zeggen dat iets feitelijk onjuist of misleidend is, hebben we machine learning die die inhoud markeert voor een menselijke reviewer op ons redactioneel team. Op dat moment begrijpt de reviewer onze redactionele waarden en kan snel een oordeel vellen over de geschiktheid of kwaliteit van het artikel. Vervolgens worden acties ondernomen om het aan te pakken.

Hoe gebruikt SmartNews AI om ervoor te zorgen dat het platform veilig, inclusief en objectief is?

SmartNews is opgericht met het idee dat hyperpersonalisatie goed is voor het ego, maar ook polariseert ons allemaal door onze voorkeuren te versterken en ons in een filterbubbel te plaatsen.

De manier waarop SmartNews AI gebruikt, is een beetje anders, omdat we niet exclusief optimaliseren voor betrokkenheid. Onze algoritme wil je begrijpen, maar het personaliseert niet noodzakelijkerwijs naar jouw smaak. Dat komt omdat we geloven in het verbreden van perspectieven. Onze AI-engine zal je introduceren tot concepten en artikelen buiten aangrenzende concepten.

Het idee is dat er dingen zijn die mensen moeten weten in het publieke belang, en er zijn dingen die mensen moeten weten om hun horizon te verbreden. De balans die we proberen te vinden, is om deze contextuele analyses te bieden zonder big brotherlijk te zijn. Soms zullen mensen de dingen die onze algoritme in hun feed plaatst, niet leuk vinden. Wanneer dat gebeurt, kunnen mensen ervoor kiezen dat artikel niet te lezen. Toch zijn we trots op de mogelijkheid van onze AI-engine om serendipiteit, nieuwsgierigheid, of hoe je het ook wilt noemen, te bevorderen.

Op de veiligheidskant van de dingen heeft SmartNews iets dat “Uitgever Score” heet, dit is een algoritme ontworpen om constant te evalueren of een uitgever veilig is of niet. Uiteindelijk willen we vaststellen of een uitgever een autoritatieve stem heeft. Als voorbeeld, we kunnen allemaal collectief overeenkomen dat ESPN een autoriteit is op het gebied van sport. Maar als je een willekeurige blog bent die ESPN-inhoud kopieert, moeten we ervoor zorgen dat ESPN hoger scoort dan die willekeurige blog. De uitgever score houdt ook rekening met factoren zoals originaliteit, wanneer artikelen werden gepubliceerd, hoe gebruikersrecensies eruitzien, enz. Het is uiteindelijk een spectrum van veel factoren die we overwegen.

Een ding dat alles overtreft, is “Wat wil de gebruiker lezen?” Als een gebruiker clickbait-artikelen wil bekijken, zullen we hen niet tegenhouden als het niet illegaal is of onze richtlijnen schendt. We leggen geen druk op de gebruiker, maar als iets onveilig of ongepast is, doen we onze due diligence voordat het in de feed terechtkomt.

Wat zijn uw mening over journalisten die generatieve AI gebruiken om hen te helpen bij het produceren van inhoud?

Ik geloof dat deze vraag een ethische is, en iets waar we momenteel over debatteren bij SmartNews. Hoe moet SmartNews uitgevers beschouwen die inhoud indienen die is gevormd door generatieve AI in plaats van door journalisten geschreven?

Ik geloof dat die trein officieel het station is uitgereden. Vandaag gebruiken journalisten AI om hun schrijven te ondersteunen. Het is een kwestie van schaal, we hebben niet de tijd in de wereld om artikelen te produceren tegen een commercieel haalbare snelheid, vooral omdat nieuwsorganisaties blijven snijden in hun personeel. De vraag wordt dan, hoeveel creativiteit gaat hierin zitten? Is het artikel gepolijst door de journalist? Of is de journalist volledig afhankelijk?

Op dit moment kan generatieve AI nog niet schrijven over actuele gebeurtenissen omdat er geen trainingsdata voor is. Maar het kan je nog steeds een behoorlijk goed generiek sjabloon geven om dat te doen. Als voorbeeld, schoolshootings zijn zo gewoon, we kunnen aannemen dat generatieve AI een journalist een prompt kan geven over schoolshootings en een journalist kan de school invoeren die getroffen is om een volledig sjabloon te krijgen.

Vanuit mijn standpunt, werkend met SmartNews, zijn er twee principes die ik denk dat het overwegen waard zijn. Ten eerste willen we dat uitgevers openhartig zijn over wanneer inhoud is gegenereerd door AI, en we willen het als zodanig labelen. Zo weten mensen die het artikel lezen dat ze niet worden misleid over wie het artikel heeft geschreven. Dit is transparantie van de hoogste orde.

Ten tweede willen we dat dat artikel feitelijk correct is. We weten dat generatieve AI de neiging heeft om dingen te verzinnen als het dat wil, en elk artikel dat door generatieve AI is geschreven, moet worden nagekeken door een journalist of redactioneel personeel.

U hebt eerder betoogd dat technologieplatforms moeten samenwerken en gemeenschappelijke normen moeten creëren om digitale toxiciteit te bestrijden, hoe belangrijk is dit?

Ik geloof dat dit een kwestie van kritiek belang is, niet alleen voor bedrijven om ethisch te opereren, maar om een niveau van waardigheid en beschaving te behouden. In mijn mening zouden platforms samen moeten komen en bepaalde normen moeten ontwikkelen om deze menselijkheid te behouden. Als voorbeeld, niemand zou ooit moeten worden aangemoedigd om zijn eigen leven te nemen, maar in sommige situaties vinden we dit soort misbruik op platforms, en ik geloof dat dit iets is waar bedrijven samen tegen moeten komen.

Uiteindelijk, wanneer het gaat om problemen van menselijkheid, zou er geen concurrentie moeten zijn. Er zou geen concurrentie moeten zijn over wie de schoonste of veiligste gemeenschap is – we zouden allemaal moeten streven naar het zorgen dat onze gebruikers zich veilig en begrepen voelen. Laten we concurreren op functionaliteiten, niet op exploitatie.

Wat zijn enkele manieren waarop digitale bedrijven samen kunnen werken?

Bedrijven zouden samen moeten komen wanneer er gedeelde waarden zijn en de mogelijkheid tot samenwerking. Er zijn altijd ruimtes waar er intersectie is tussen bedrijven en industrieën, vooral wanneer het gaat om het bestrijden van misbruik, het waarborgen van beschaving op platforms, of het verminderen van polarisatie. Dit zijn momenten waarop bedrijven samen zouden moeten werken.

Er is natuurlijk een commercieel aspect met concurrentie, en typisch is concurrentie goed. Het helpt ervoor zorgen dat er kracht en differentiatie is tussen bedrijven en levert oplossingen met een niveau van effectiviteit dat monopolies niet kunnen garanderen.

Maar wanneer het gaat om het beschermen van gebruikers, of het bevorderen van beschaving, of het verminderen van misbruik, zijn dit onderwerpen die core zijn voor ons om de vrije wereld te behouden. Dit zijn dingen die we moeten doen om te zorgen dat we wat heilig is voor ons, en onze menselijkheid, beschermen. In mijn mening hebben alle platforms de verantwoordelijkheid om samen te werken in de verdediging van menselijke waarden en de waarden die ons een vrije wereld maken.

Wat zijn uw huidige meningen over verantwoorde AI?

We zijn aan het begin van iets dat heel ingrijpend is in ons leven. Deze volgende fase van generatieve AI is een probleem dat we niet volledig begrijpen, of slechts gedeeltelijk kunnen begrijpen op dit moment.

Wanneer het gaat om verantwoorde AI, is het zo ontzettend belangrijk dat we sterke veiligheidsmaatregelen ontwikkelen, of we kunnen eindigen met een Frankenstein-monster van generatieve AI-technologie. We moeten de tijd nemen om na te denken over alles dat mis kan gaan. Of het nu gaat om vooroordelen die in de algoritmes sluipen, of grote taalmodellen die door de verkeerde mensen worden gebruikt om slechte dingen te doen.

De technologie zelf is niet goed of slecht, maar het kan worden gebruikt door slechte mensen om slechte dingen te doen. Dit is waarom het investeren van tijd en middelen in AI-ethici om tegenstrijdige tests uit te voeren om ontwerpfouten te begrijpen, zo kritiek is. Dit zal ons helpen begrijpen hoe we misbruik kunnen voorkomen, en ik denk dat dat waarschijnlijk het belangrijkste aspect van verantwoorde AI is.

Omdat AI nog niet voor zichzelf kan denken, hebben we slimme mensen nodig die deze standaarden kunnen bouwen wanneer AI wordt geprogrammeerd. Het belangrijkste aspect om nu te overwegen, is timing – we hebben deze positieve actoren nodig die deze dingen nu doen, voordat het te laat is.

Anders dan andere systemen die we in het verleden hebben ontworpen en gebouwd, is AI anders omdat het kan itereren en leren op zichzelf, dus als je geen sterke veiligheidsmaatregelen instelt over wat en hoe het leert, kunnen we niet controleren wat het zou kunnen worden.

Op dit moment zien we enkele grote bedrijven die ethische raden en verantwoorde AI-teams ontslaan als onderdeel van grote ontslagen. Het blijft te zien hoe serieus deze technische majors de technologie nemen en hoe serieus ze de potentiële valkuilen van AI in hun besluitvorming bekijken.

Is er nog iets anders dat u zou willen delen over uw werk met SmartNews?

Ik ben bij SmartNews gekomen omdat ik geloof in de missie, de missie heeft een bepaalde zuiverheid. Ik geloof sterk dat de wereld polariseert en dat er vandaag niet genoeg mediawijsheid is om die trend te bestrijden.

Helaas zijn er te veel mensen die WhatsApp-berichten als evangelie nemen en ze voor waar aannemen. Dat kan leiden tot enorme gevolgen, inclusief – en vooral – geweld. Dit komt allemaal neer op het feit dat mensen niet begrijpen wat ze kunnen en niet kunnen geloven.

Als we mensen niet onderwijzen, of informeren over hoe ze beslissingen kunnen nemen over de betrouwbaarheid van wat ze consumeren. Als we geen mediawijsheid introduceren om onderscheid te maken tussen nieuws en nepnieuws, zullen we het probleem blijven verergeren en de problemen die de geschiedenis ons heeft geleerd niet te doen, blijven verergeren.

Een van de belangrijkste componenten van mijn werk bij SmartNews is om te helpen de polarisatie in de wereld te verminderen. Ik wil de missie van de oprichter vervullen om mediawijsheid te verbeteren, zodat mensen begrijpen wat ze consumeren en geïnformeerde meningen kunnen vormen over de wereld en de vele diverse perspectieven.

Bedankt voor het geweldige interview, lezers die meer willen leren of een andere soort nieuwsapp willen proberen, moeten SmartNews bezoeken.