Arjun Narayan, leder af Global Trust and Safety for SmartNews – Interview Serie

Arjun Narayan, er leder af Global Trust and Safety for SmartNews en nyhedsaggregator-app, han er også en ekspert i AI-etik og tech-politik. SmartNews bruger AI og et menneskeligt redaktionsteam til at aggregere nyheder til læsere.

Hvad var nogle af de vigtigste lærdomme, du fik fra din oplevelse med at hjælpe med at etablere Googles Trust & Safety Asia Pacific-hub i Singapore?

Når man bygger Trust and Safety-teams, er landespecifik ekspertise kritisk, fordi misbrug er meget forskelligt afhængigt af det land, man regulerer. For eksempel var måden, hvorpå Google-produkter blev misbrugt i Japan, forskellig fra, hvordan de blev misbrugt i Sydøstasien og Indien. Dette betyder, at misbrugsvektorer er meget forskellige afhængigt af, hvem der misbruger, og hvilket land man er i; så der er ingen homogenitet. Dette var noget, vi lærte tidligt.
Jeg lærte også, at kulturel diversitet er utrolig vigtig, når man bygger Trust and Safety-teams i udlandet. Hos Google sikrede vi, at der var tilstrækkelig kulturel diversitet og forståelse blandt de mennesker, vi ansatte. Vi ledte efter mennesker med specifik domæneekspertise, men også efter sprog- og markeds ekspertise.
Jeg fandt også, at kulturel immersion var utrolig vigtig. Når vi bygger Trust and Safety-teams på tværs af grænser, havde vi brug for at sikre, at vores ingeniør- og forretnings teams kunne immersere sig. Dette hjalp med at sikre, at alle var tættere på de problemer, vi prøvede at håndtere. For at gøre dette, havde vi kvartalsvise immersionssessioner med nøglepersoner, og det hjalp med at øge alle kulturelle IQ’er.
Endelig var tværkulturel forståelse så vigtig. Jeg ledede et team i Japan, Australien, Indien og Sydøstasien, og måden, hvorpå de interagerede, var vildt forskellig. Som leder ønsker man at sikre, at alle kan finde deres stemme. Ultimo er dette allesammen designet til at bygge et højtpræsterende team, der kan udføre følsomme opgaver som Trust and Safety.

Tidligere var du også på Trust & Safety-holdet med ByteDance for TikTok-applikationen, hvordan overvåges videoer, der ofte er kortere end en minut, effektivt med hensyn til sikkerhed?

Jeg ønsker at omformulere dette spørgsmål lidt, fordi det ikke rigtig betyder noget, om en video er kort eller lang. Det er ikke en faktor, når vi vurderer video-sikkerhed, og længden har ikke rigtig vægt på, om en video kan sprede misbrug.
Når jeg tænker på misbrug, tænker jeg på misbrug som “problemer”. Hvad er nogle af de problemer, brugere er sårbare overfor? Misinformation? Desinformation? Uanset om videoen er 1 minut eller 1 time, er der stadig misinformation, der deles, og niveauet af misbrug er stadig sammenligneligt.
Afhængigt af problemtypen begynder man at tænke igennem politikumsetning og sikkerhedsforanstaltninger og hvordan man kan beskytte sårbare brugere. For eksempel, hvis der er en video af en person, der begår selvskade. Når vi modtager en meddelelse om, at denne video findes, skal man handle med hast, fordi nogen kunne tabe livet. Vi afhænger meget af maskinlæring til at gøre denne type af detection. Første trin er altid at kontakte myndighederne for at prøve at redde livet, intet er mere vigtigt. Derefter sigter vi mod at suspendere videoen, livestreamen eller hvilket format, det deles i. Vi har brug for at sikre, at vi minimerer eksponeringen af denne type skadelig indhold så hurtigt som muligt.
På samme måde, hvis det er hadtale, er der forskellige måder at pakke det ud på. Eller i tilfælde af mobning og chikane, afhænger det af problemtypen, og afhængigt af det, ville vi justere vores håndhævelsesmuligheder og sikkerhedsforanstaltninger. Et andet eksempel på en god sikkerhedsforanstaltning var, at vi implementerede maskinlæring, der kunne detektere, når nogen skrev noget upassende i kommentarerne og give en prompt til at få dem til at tænke to gange, før de postede den kommentar. Vi ville ikke stoppe dem nødvendigvis, men vores håb var, at folk ville tænke to gange, før de delte noget ondt.
Det kommer ned til en kombination af maskinlæring og nøgleordsregler. Men, når det kommer til livestreams, havde vi også menneskelige moderatorer, der gennemgik disse streams, der var flaget af AI, så de kunne rapportere straks og implementere protokoller. Fordi de sker i realtid, er det ikke nok at afhænge af brugere til at rapportere, så vi har brug for at have mennesker, der overvåger i realtid.

Siden 2021 har du været leder af Trust, Safety og Customer experience hos SmartNews, en nyhedsaggregator-app. Kan du diskutere, hvordan SmartNews udnytter maskinlæring og naturlig sprogbehandling til at identificere og prioritere højkvalitetsindhold?

Den centrale idé er, at vi har visse “regler” eller maskinlærteknologi, der kan parse en artikel eller annonce og forstå, hvad den artikel handler om.
Når der er noget, der krænker vores “regler”, lad os sige noget, der er faktisk forkert eller misvisende, har vi maskinlæring, der flagger dette indhold til en menneskelig gennemgående på vores redaktionsteam. På det stadium forstår de vores redaktionelle værdier og kan hurtigt gennemgå artiklen og træffe en beslutning om dens egnethed eller kvalitet. Derefter tages der handling for at håndtere det.

Hvordan bruger SmartNews AI til at sikre, at platformen er sikker, inklusiv og objektiv?

SmartNews blev grundlagt på præmis, at hyper-personalisering er godt for egoet, men også polariserer os alle ved at forstærke fordomme og sætte folk i en filterboble.
Måden, hvorpå SmartNews bruger AI, er lidt anderledes, fordi vi ikke udelukkende optimerer for engagement. Vores algoritme ønsker at forstå dig, men det er ikke nødvendigvis hyper-personalisering til din smag. Det er, fordi vi tror på at udvide perspektiver. Vores AI-motor vil introducere dig til begreber og artikler ud over tilstødende begreber.
Idéen er, at der er ting, folk har brug for at vide i offentlighedens interesse, og der er ting, folk har brug for at vide for at udvide deres synsvinkel. Balancen, vi prøver at slå, er at give disse kontekstuelle analyser uden at være storebrorlige. Nogle gange kan folk ikke lide de ting, vores algoritme putter i deres feed. Når det sker, kan folk vælge ikke at læse den artikel. Men vi er stolte af AI-motorens evne til at fremme serendipitet, nysgerrighed, hvad du vil kalde det.
På sikkerhedssiden af tingene har SmartNews noget, der hedder en “Udgiver-score”, dette er en algoritme designet til at konstant evaluere, om en udgiver er sikker eller ej. Ultimo ønsker vi at etablere, om en udgiver har en autoritativ stemme. For eksempel kan vi alle kollektivt enes om, at ESPN er en autoritet på sport. Men, hvis du er en tilfældig blog, der kopierer ESPN-indhold, har vi brug for at sikre, at ESPN rangerer højere end den tilfældige blog. Udgiver-scoren tager også hensyn til faktorer som originalitet, når artikler blev offentliggjort, hvordan brugeranmeldelser ser ud osv. Det er ultimo et spektrum af mange faktorer, vi tager i betragtning.
En ting, der overtrumfer alt, er “Hvad vil en bruger læse?” Hvis en bruger ønsker at se klik-venlige artikler, vil vi ikke stoppe dem, hvis det ikke er ulovligt eller krænker vores retningslinjer. Vi påtvinger ikke brugeren, men hvis noget er usikkert eller upassende, har vi vores due diligence, før noget rammer feeden.

Hvad er dine synspunkter på journalister, der bruger generativ AI til at hjælpe med at producere indhold?

Jeg tror, dette spørgsmål er etisk, og noget, vi diskuterer her på SmartNews. Hvordan skal SmartNews se på udgivere, der indsender indhold dannet af generativ AI i stedet for journalister, der skriver det?
Jeg tror, at det tog, der officielt er afgået, har forladt stationen. I dag bruger journalister AI til at supplere deres skrivning. Det er en funktion af skala, vi har ikke tid i verden til at producere artikler i et kommercielt gennemførligt tempo, især når nyhedsorganisationer fortsætter med at reducere personalet. Spørgsmålet bliver så, hvor meget kreativitet går ind i dette? Er artiklen poleret af journalisten? Eller er journalisten fuldstændig afhængig?
På dette tidspunkt kan generativ AI ikke skrive artikler om nyhedsbegivenheder, fordi der ikke er nogen træningsdata til det. Men det kan stadig give dig en ret god generisk skabelon til at gøre det. For eksempel er skole skyderier så almindelige, at vi kunne antage, at generativ AI kunne give en journalist en prompt om skole skyderier, og en journalist kunne indsætte skolen, der var berørt, for at få en fuldstændig skabelon.
Fra mit synspunkt, arbejdende med SmartNews, er der to principper, jeg tror er værd at overveje. Først og fremmest ønsker vi, at udgivere skal være åbne om, når indhold er genereret af AI, og vi ønsker at mærke det som sådan. Dette sikrer, at når folk læser artiklen, er de ikke misinformeret om, hvem der skrev artiklen. Dette er gennemsigtighed på højeste niveau.
For det andet ønsker vi, at artiklen skal være faktisk korrekt. Vi ved, at generativ AI har tendens til at opfinde ting, når den vil, og enhver artikel skrevet af generativ AI har brug for at blive gennemgået af en journalist eller redaktionelt personale.

Du har tidligere argumenteret for, at tech-platforme skal samarbejde og oprette fælles standarder for at bekæmpe digital giftighed, hvor vigtigt er dette problem?

Jeg tror, dette problem er af kritisk betydning, ikke kun for virksomheder at operere etisk, men også for at opretholde et niveau af værdighed og civilisation. Ifølge mig skal platforme samarbejde og udvikle visse standarder for at opretholde denne menneskelighed. For eksempel skal ingen nogensinde opmuntres til at tage deres eget liv, men i visse situationer finder vi denne type af misbrug på platforme, og jeg tror, at det er noget, virksomheder skal samarbejde om at beskytte imod.
Ultimo, når det kommer til problemer for menneskeheden, skal der ikke være konkurrence. Der skal ikke nødvendigvis være konkurrence om, hvem der er den reneste eller sikreste fællesskab – vi skal alle sigte mod at sikre, at vores brugere føler sig sikre og forstået. Lad os konkurrere om funktioner, ikke udnyttelse.

Hvordan kan digitale virksomheder samarbejde?

Virksomheder skal samarbejde, når der er fælles værdier og mulighed for samarbejde. Der er altid rum, hvor der er intersectionalitet på tværs af virksomheder og industrier, især når det kommer til at bekæmpe misbrug, sikre civilitet på platforme eller reducere polarisering. Disse er øjeblikke, hvor virksomheder skal samarbejde.
Der er selvfølgelig en kommerciel vinkel med konkurrence, og typisk er konkurrence god. Det hjælper med at sikre styrke og differentiering på tværs af virksomheder og leverer løsninger med et niveau af effektivitet, monopol kan ikke garantere.
Men, når det kommer til at beskytte brugere, eller fremme civilitet, eller reducere misbrugsvektorer, er disse emner, der er kerne til os for at bevare den frie verden. Disse er ting, vi har brug for at gøre for at sikre, at vi beskytter, hvad der er helligt for os, og vores menneskelighed. Ifølge mig har alle platforme en ansvarlig handling til at samarbejde i forsvar af menneskelige værdier og de værdier, der gør os til en fri verden.

Hvad er dine nuværende synspunkter på ansvarlig AI?

Vi er ved begyndelsen af noget meget gennemtrængende i vores liv. Denne næste fase af generativ AI er et problem, vi ikke fuldstændig forstår, eller kun delvist kan forstå på dette tidspunkt.
Når det kommer til ansvarlig AI, er det utrolig vigtigt, at vi udvikler stærke sikkerhedsforanstaltninger, eller også kan ende med en Frankenstein-monster af generativ AI-teknologi. Vi har brug for at bruge tiden på at tænke igennem alt, der kan gå galt. Enten er det fordomme, der kommer ind i algoritmerne, eller store sprogmodeller i sig selv, der bliver brugt af de forkerte mennesker til at udføre skadevoldende handlinger.
Teknologien i sig selv er ikke god eller dårlig, men den kan blive brugt af dårlige mennesker til at udføre dårlige ting. Dette er hvorfor, det er kritisk at investere tiden og ressourcerne i AI-etikere til at udføre fjendtlig testning for at forstå designfejl. Dette vil hjælpe os med at forstå, hvordan vi kan forhindre misbrug, og jeg tror, at det er det vigtigste aspekt af ansvarlig AI.
Fordi AI ikke kan tænke for sig selv, har vi brug for smarte mennesker, der kan bygge disse standarder, når AI bliver programmeret. Det vigtigste aspekt at overveje lige nu er timing – vi har brug for disse positive aktører til at gøre disse ting NU, før det er for sent.
I modsætning til andre systemer, vi har designet og bygget i fortiden, er AI anderledes, fordi den kan iterere og lære på egen hånd, så hvis du ikke sætter op stærke sikkerhedsforanstaltninger for, hvad og hvordan den lærer, kan vi ikke kontrollere, hvad den måske bliver.
Lige nu ser vi nogle store virksomheder, der fyre etikråd og ansvarlige AI-teams som en del af store fyringer. Det er endnu ikke klart, hvor alvorligt disse tech-majorer tager teknologien og hvor alvorligt de gennemgår de potentielle faldgruber i AI i deres beslutningstagning.

Er der noget andet, du gerne vil dele om dit arbejde med SmartNews?

Jeg sluttede mig til SmartNews, fordi jeg tror på dens mission, og missionen har en vis renhed til det. Jeg tror stærkt på, at verden bliver mere polariseret, og der ikke er tilstrækkelig medie-litteracitet i dag til at hjælpe med at bekæmpe denne tendens.
Desværre er der for mange mennesker, der tager WhatsApp-besked på grund af deres værdi og tror på dem på face value. Det kan føre til enorme konsekvenser, herunder – og især – vold. Dette kommer ned til, at folk ikke forstår, hvad de kan og ikke kan tro på.
Hvis vi ikke uddanner folk eller informerer dem om, hvordan de kan træffe beslutninger om troværdigheden af, hvad de forbruger. Hvis vi ikke introducerer medie-litteracitetsniveauer til at skelne mellem nyheder og falske nyheder, vil vi fortsætte med at fremme problemet og øge de problemer, historien har lært os ikke at gøre.
En af de vigtigste komponenter i mit arbejde på SmartNews er at hjælpe med at reducere polarisering i verden. Jeg ønsker at opfylde grundlæggerens mission om at forbedre medie-litteracitet, hvor de kan forstå, hvad de forbruger, og træffe informerede beslutninger om verden og de mange forskellige perspektiver.