Arjun Narayan, Head of Global Trust and Safety for SmartNews – Intervieuserie

Arjun Narayan, er Head of Global Trust and Safety for SmartNews en nyhedsaggregator-app, han er også en ekspert i AI-etik og tech-politik. SmartNews bruger AI og et menneskeligt redaktionelt hold til at aggregere nyheder til læsere.

De var instrumental i at hjælpe med at etablere Google’s Trust & Safety Asia Pacific-hub i Singapore, hvad var nogle af de vigtigste lektioner, du lærte fra denne oplevelse?

Når vi bygger Trust og Safety-teams, er landespecifik ekspertise afgørende, fordi misbrug er meget forskelligt afhængigt af det land, du regulerer. For eksempel var måden, hvorpå Google (GOOGL ) -produkter blev misbrugt i Japan, forskellig fra, hvordan de blev misbrugt i Sydøstasien og Indien. Dette betyder, at misbrugsvektorer er meget forskellige afhængigt af, hvem der misbruger, og hvilket land du er baseret i; så der er ingen homogenitet. Dette var noget, vi lærte tidligt.

Jeg lærte også, at kulturel diversitet er utrolig vigtig, når vi bygger Trust og Safety-teams i udlandet. Hos Google sikrede vi, at der var nok kulturel diversitet og forståelse blandt de mennesker, vi ansatte. Vi ledte efter mennesker med specifik domæneekspertise, men også for sprog- og markeds ekspertise.

Jeg fandt også, at kulturel immersion var utrolig vigtig. Når vi bygger Trust og Safety-teams på tværs af grænser, havde vi brug for at sikre, at vores tekniske og forretningsmæssige teams kunne immersere sig. Dette hjalp med at sikre, at alle var tættere på de problemer, vi forsøgte at håndtere. For at gøre dette, havde vi kvartalsvise immersionssessioner med nøglepersoner, og det hjalp med at hæve alle kulturelle IQ’er.

Til sidst var tværkulturel forståelse så vigtig. Jeg ledede et hold i Japan, Australien, Indien og Sydøstasien, og måden, hvorpå de interagerede, var vildt forskellig. Som leder ønsker du at sikre, at alle kan finde deres stemme. Ultimo er dette allesammen designet til at bygge et højtpræsterende hold, der kan udføre følsomme opgaver som Trust og Safety.

Tidligere var du også på Trust & Safety-holdet med ByteDance for TikTok-applikationen, hvordan overvåges videoer, der ofte er kortere end en minut, effektivt med hensyn til sikkerhed?

Jeg ønsker at omformulere dette spørgsmål lidt, fordi det ikke rigtig har betydning, om en video er kort eller lang. Det er ikke en faktor, når vi vurderer videosikkerhed, og længden har ikke rigtig vægt på, om en video kan sprede misbrug.

Når jeg tænker på misbrug, tænker jeg på “problemer”. Hvad er nogle af de problemer, brugere er sårbare over for? Misinformation? Desinformation? Uanset om videoen er 1 minut eller 1 time, er der stadig misinformation, der deles, og niveauet af misbrug er stadig sammenligneligt.

Afhængigt af problemtype begynder du at tænke igennem politikken for gennemtvingelse og sikkerhedsforanstaltninger og hvordan du kan beskytte sårbare brugere. For eksempel, hvis der er en video af en person, der begår selvmord. Når vi modtager en meddelelse om, at denne video findes, skal man handle med hast, fordi nogen kunne tabe livet. Vi afhænger meget af maskinlæring til at gøre dette.

Ligeledes, hvis det er hadtale, er der forskellige måder at pakke det ud på. Eller i tilfælde af mobning og chikane, afhænger det virkelig af problemtype, og afhængigt af det, ville vi justere vores gennemtvingelsesmuligheder og sikkerhedsforanstaltninger. Et andet eksempel på en god sikkerhedsforanstaltning var, at vi implementerede maskinlæring, der kunne detektere, når nogen skrev noget upassende i kommentarerne og give en prompt til at få dem til at tænke to gange, før de delte noget meant.

Det kommer ned til en kombination af maskinlæring og nøgleordsregler. Men når det kommer til livestreams, havde vi også menneskelige moderatore, der gennemgik disse streams, der var flaget af AI, så de kunne rapportere straks og implementere protokoller. Fordi de sker i realtid, er det ikke nok at afhænge af brugere til at rapportere, så vi har brug for at have mennesker, der overvåger i realtid.

Siden 2021 har du været Head of Trust, Safety og Customer experience hos SmartNews, en nyhedsaggregator-app. Kan du diskutere, hvordan SmartNews udnytter maskinlæring og naturlig sprogbehandling til at identificere og prioritere højkvalitetsindhold?

Det centrale koncept er, at vi har visse “regler” eller maskinlærings-teknologi, der kan parse en artikel eller annonce og forstå, hvad den handler om.

Når der er noget, der krænker vores “regler”, for eksempel noget, der er faktisk forkert eller misvisende, har vi maskinlæring, der flagger indholdet til en menneskelig anmelder på vores redaktionelle hold. På det stadium forstår de vores redaktionelle værdier og kan hurtigt vurdere artiklens egnethed eller kvalitet. Herefter tages der handling for at håndtere det.

Hvordan bruger SmartNews AI til at sikre, at platformen er sikker, inklusiv og objektiv?

SmartNews blev grundlagt på præmis, at hyper-personalisering er godt for ego, men også polariserer os alle ved at forstærke fordomme og sætte mennesker i en filterboble.

Måden, hvorpå SmartNews bruger AI, er lidt anderledes, fordi vi ikke udelukkende optimerer for engagement. Vores algoritme ønsker at forstå dig, men det er ikke nødvendigvis hyper-personalisering til din smag. Det er, fordi vi tror på at udvide perspektiver. Vores AI-motor vil introducere dig til begreber og artikler ud over nærliggende begreber.

Idéen er, at der er ting, folk har brug for at vide i offentlighedens interesse, og der er ting, folk har brug for at vide for at udvide deres synsvinkel. Balancen, vi forsøger at slå, er at give disse kontekstuelle analyser uden at være storebrorlige. Nogle gange vil folk ikke kunne lide de ting, vores algoritme putter i deres feed. Når det sker, kan folk vælge at ikke læse den artikel. Men vi er stolte af AI-motorens evne til at fremme serendipitet, nysgerrighed, hvad du vil kalde det.

På sikkerhedssiden har SmartNews noget, der hedder en “Udgiver-score”, dette er en algoritme designet til at konstant evaluere, om en udgiver er sikker eller ej. Ultimo ønsker vi at etablere, om en udgiver har en autoritativ stemme. For eksempel kan vi alle kollektivt enes om, at ESPN er en autoritet på sport. Men hvis du er en tilfældig blog, der kopierer ESPN-indhold, har vi brug for at sikre, at ESPN rangerer højere end den tilfældige blog. Udgiver-scoren overvejer også faktorer som originalitet, når artikler blev offentliggjort, hvordan brugeranmeldelser ser ud osv. Det er ultimo et spektrum af mange faktorer, vi overvejer.

En ting, der overtrumfer alt, er “Hvad vil en bruger læse?” Hvis en bruger ønsker at se klik-venlige artikler, stopper vi dem ikke, hvis det ikke er ulovligt eller krænker vores retningslinjer. Vi påtvinger ikke brugeren, men hvis noget er usikkert eller upassende, har vi vores pligt til at gøre vores due diligence, før noget rammer feeden.

Hvad er dine synspunkter på journalister, der bruger generativ AI til at hjælpe med at producere indhold?

Jeg tror, dette spørgsmål er etisk, og noget, vi diskuterer her på SmartNews. Hvordan skal SmartNews se på udgivere, der indsender indhold dannet af generativ AI i stedet for journalister, der skriver det?

Jeg tror, at tog er officielt afgået. I dag bruger journalister AI til at supplere deres skrivning. Det er en funktion af skala; vi har ikke tid i verden til at producere artikler i et kommercielt gennemførligt tempo, især når nyhedsorganisationer fortsætter med at reducere personalet. Spørgsmålet bliver så, hvor meget kreativitet går der ind i dette? Er artiklen poleret af journalisten? Eller er journalisten fuldstændig afhængig?

På dette tidspunkt kan generativ AI ikke skrive artikler om brændende nyhedsbegivenheder, fordi der ikke er træningsdata til det. Men den kan stadig give dig en ret god generisk skabelon til at gøre det. For eksempel er skoleskyderier så almindelige, at vi kunne antage, at generativ AI kunne give en journalist en prompt om skoleskyderier og en journalist kunne indsætte den skole, der var berørt, for at modtage en fuldstændig skabelon.

Fra mit synspunkt, arbejdende med SmartNews, er der to principper, jeg tror er værd at overveje. Først og fremmest ønsker vi, at udgivere skal være åbne om, når indhold er genereret af AI, og vi ønsker at mærke det som sådan. Dette sikrer, at når folk læser artiklen, er de ikke misinformeret om, hvem der skrev artiklen. Dette er gennemsigtighed i højeste orden.

Anden ønsker vi, at artiklen skal være faktisk korrekt. Vi ved, at generativ AI har tendens til at opfinde ting, når den vil, og enhver artikel skrevet af generativ AI skal være gennemlæst af en journalist eller redaktionelt personale.

Har du tidligere argumenteret for, at tech-platforme skal samarbejde og oprette fælles standarder til at bekæmpe digital giftighed, hvor vigtigt er dette spørgsmål?

Jeg tror, dette spørgsmål er af kritisk betydning, ikke kun for virksomheder at fungere etisk, men også for at opretholde en vis værdighed og civilisation. Ifølge mig burde platforme samarbejde og udvikle visse standarder for at opretholde denne menneskelighed. For eksempel burde ingen nogensinde opmuntres til at tage deres eget liv, men i visse situationer finder vi denne type misbrug på platforme, og jeg tror, at det er noget, virksomheder burde samarbejde om at beskytte imod.

Ultimo, når det kommer til menneskelighedens problemer, burde der ikke være konkurrence. Der burde ikke engang nødvendigvis være konkurrence om, hvem der er den reneste eller sikreste fællesskab – vi burde alle stræbe efter at sikre, at vores brugere føler sig sikre og forstået. Lad os konkurrere om funktioner, ikke udnyttelse.

Hvad er nogle måder, hvorpå digitale virksomheder kan samarbejde?

Virksomheder burde samarbejde, når der er fælles værdier og mulighed for samarbejde. Der er altid områder, hvor der er intersectionalitet på tværs af virksomheder og industrier, især når det kommer til at bekæmpe misbrug, sikre civilisation på platforme eller reducere polarisering. Disse er øjeblikke, hvor virksomheder burde samarbejde.

Der er naturligvis en kommerciel vinkel med konkurrence, og typisk er konkurrence god. Det hjælper med at sikre styrke og differentiering på tværs af virksomheder og leverer løsninger med en vis effektivitet, som monopoler ikke kan garantere.

Men når det kommer til at beskytte brugere eller fremme civilisation eller reducere misbrugsvektorer, er disse emner, der er kerne til os for at bevare den frie verden. Disse er ting, vi har brug for at gøre for at sikre, at vi beskytter, hvad der er helligt for os, og vores menneskelighed. Ifølge mig har alle platforme en pligt til at samarbejde i forsvar for menneskelige værdier og værdierne, der gør os til en fri verden.

Hvad er dine nuværende synspunkter på ansvarlig AI?

Vi er ved begyndelsen af noget, der er meget gennemtrængende i vores liv. Denne næste fase af generativ AI er et problem, vi ikke fuldstændig forstår eller kun delvist kan forstå på dette tidspunkt.

Når det kommer til ansvarlig AI, er det utrolig vigtigt, at vi udvikler stærke sikkerhedsforanstaltninger, eller også kan ende med en Frankenstein-monster af generative AI-teknologier. Vi har brug for at bruge tiden på at tænke igennem alt, der kan gå galt. Enten det er bias, der sniger sig ind i algoritmerne, eller store sprogmodeller, der selv bliver brugt af forkerte mennesker til at udføre skadelige handlinger.

Teknologien i sig selv er hverken god eller dårlig, men den kan blive brugt af forkerte mennesker til at udføre dårlige ting. Dette er hvorfor, det er kritisk at investere tid og ressourcer i AI-etikere til at udføre modstandstest for at forstå designfejl. Dette vil hjælpe os med at forstå, hvordan vi kan forhindre misbrug, og jeg tror, at det er det vigtigste aspekt af ansvarlig AI.

Fordi AI endnu ikke kan tænke for sig selv, har vi brug for smarte mennesker, der kan bygge disse standarder, når AI bliver programmeret. Det vigtige aspekt at overveje lige nu er timing – vi har brug for disse positive aktører til at gøre disse ting NU, før det er for sent.

I modsætning til andre systemer, vi har designet og bygget i fortiden, er AI anderledes, fordi den kan iterere og lære på egen hånd, så hvis du ikke sætter stærke sikkerhedsforanstaltninger op for, hvad og hvordan den lærer, kan vi ikke kontrollere, hvad den kan blive.

Lige nu ser vi, at nogle store virksomheder reducerer deres etikkomiteer og ansvarlige AI-hold som en del af store fyringer. Det er endnu ikke klart, hvor alvorligt disse tekniske majors tager teknologien og hvordan de gennemgår de potentielle nedfald af AI i deres beslutningstagning.

Er der noget andet, du gerne vil dele om dit arbejde med SmartNews?

Jeg tilsluttede mig SmartNews, fordi jeg tror på dets mission. Missionen har en vis renhed over sig. Jeg tror stærkt på, at verden bliver mere polariseret, og der ikke er nok mediekompetence i dag til at bekæmpe denne tendens.

Desværre er der for mange mennesker, der tager WhatsApp-beskedder for evangelium og tror på dem på face value. Det kan føre til enorme konsekvenser, herunder – og især – vold. Dette alt kommer ned til, at mennesker ikke forstår, hvad de kan og ikke kan tro på.

Hvis vi ikke uddanner mennesker eller informerer dem om, hvordan de kan træffe beslutninger om troværdigheden af det, de konsumerer. Hvis vi ikke introducerer mediekompetence til at skelne mellem nyheder og falske nyheder, vil vi fortsætte med at fremme problemet og øge de problemer, historien har lært os ikke at gøre.

En af de vigtigste komponenter i mit arbejde hos SmartNews er at hjælpe med at reducere polarisering i verden. Jeg ønsker at opfylde grundlæggerens mission om at forbedre mediekompetence, hvor de kan forstå, hvad de konsumerer, og træffe informerede beslutninger om verden og de mange forskellige perspektiver.

Tak for det gode interview, læsere, der ønsker at lære mere eller ønsker at prøve en anden type nyhedsapp, skal besøge SmartNews.