Arjun Narayan, sjef for Global Trust and Safety for SmartNews – Intervju-serie

Arjun Narayan, er sjef for Global Trust and Safety for SmartNews en nyhetsaggregatortjeneste, han er også en ekspert på AI-etikk og teknologipolitikk. SmartNews bruker AI og et menneskelig redaksjonsteam for å aggregere nyheter for lesere.

Hva var noen av de viktigste lærdommene du tok med deg fra å hjelpe med å etablere Googles Trust & Safety Asia Pacific-hubb i Singapore?

Når du bygger Trust and Safety-team, er landsspesifikk ekspertise kritisk fordi misbruk er svært forskjellig avhengig av landet du regulerer. For eksempel var måten Google-produkter ble misbrukt i Japan forskjellig fra hvordan de ble misbrukt i Sørøst-Asia og India. Dette betyr at misbrukvektorer er svært forskjellige avhengig av hvem som misbruker og hvilket land du er i; så det finnes ingen homogenitet. Dette var noe vi lærte tidlig.
Jeg lærte også at kulturell mangfold er svært viktig når du bygger Trust and Safety-team i utlandet. Hos Google sikret vi at det var nok kulturell mangfold og forståelse blant de menneskene vi ansatte. Vi lette etter mennesker med spesifikk domeneekspertise, men også språk- og markedsekspertise.
Jeg fant også at kulturell immersjon var svært viktig. Når vi bygger Trust and Safety-team på tvers av grenser, måtte vi sikre at våre ingeniør- og forretnings-team kunne immersere seg. Dette hjelper med å sikre at alle er nærmere problemene vi prøver å håndtere. For å gjøre dette, hadde vi kvartalsvis immersjonsøkter med nøkkelpersonale, og det hjalp med å heve alle kulturelle IQ.
Til slutt var krysskulturell forståelse svært viktig. Jeg ledet et team i Japan, Australia, India og Sørøst-Asia, og måten de samhandlet på var svært forskjellig. Som leder ønsker du å sikre at alle kan finne sin stemme. Til slutt er dette all designet for å bygge et høyt prestasjons-team som kan utføre sensitive oppgaver som Trust and Safety.

Tidligere var du også en del av Trust & Safety-teamet med ByteDance for TikTok-applikasjonen, hvordan overvåkes videoer som ofte er kortere enn en minutt for sikkerhet?

Jeg ønsker å omformulere dette spørsmålet en del, fordi det ikke virkelig betyr noe om en video er kort eller lang. Det er ikke en faktor når vi vurderer video-sikkerhet, og lengde har ikke noen reell vekt på om en video kan spre misbruk.
Når jeg tenker på misbruk, tenker jeg på det som “problemer”. Hva er noen av problemene brukerne er utsatt for? Misinformasjon? Desinformasjon? Uansett om videoen er 1 minutt eller 1 time, er det fortsatt misinformasjon som deles og nivået av misbruk er sammenlignbart.
Avhengig av problemtype, begynner du å tenke gjennom policy-gjennomføring og sikkerhetsbeskyttelse og hvordan du kan beskytte utsatte brukere. For eksempel, hvis det er en video av noen som begår selvmord. Når vi mottar en melding om at denne videoen eksisterer, må man handle med hast, fordi noen kunne tape livet. Vi er avhengige av maskinlæring for å gjøre denne type av deteksjon. Første trekk er alltid å kontakte myndighetene for å prøve å redde livet. Deretter sikrer vi å suspendere videoen, direktesendingen eller hva format det er som deles. Vi må sikre at vi minimerer eksponeringen for denne type skadelig innhold ASAP.
Tilsvarende, hvis det er hatytringer, er det forskjellige måter å pakke det ut på. Eller i tilfelle av mobbing og trakassering, avhenger det av problemtype, og avhengig av det, ville vi justere våre gjennomføringsalternativer og sikkerhetsbeskyttelse. Et annet eksempel på en god sikkerhetsbeskyttelse var at vi implementerte maskinlæring som kunne detektere når noen skrev noe upassende i kommentarene og gi en prompt for å få dem til å tenke to ganger før de postet den kommentaren. Vi ville ikke stoppe dem nødvendigvis, men vår håp var at folk ville tenke to ganger før de delte noe meiningsløst.
Det kommer ned til en kombinasjon av maskinlæring og nøkkelordregler. Men når det kommer til direktesendinger, hadde vi også menneskelige moderatorer som gjennomgikk disse strømmene som var flagget av AI, så de kunne rapportere umiddelbart og implementere protokoller. Fordi de skjer i sanntid, er det ikke nok å stole på at brukerne rapporterer, så vi trenger å ha mennesker som overvåker i sanntid.

Siden 2021 har du vært sjef for Trust, Safety og kundeopplevelse i SmartNews, en nyhetsaggregatortjeneste. Kan du diskutere hvordan SmartNews bruker maskinlæring og naturlig språkbehandling for å identifisere og prioritere høykvalitets nyhetsinnhold?

Den sentrale konseptet er at vi har visse “regler” eller maskinlærings-teknologi som kan parsere en artikkel eller annonse og forstå hva den artikkelen handler om.
Når det er noe som bryter våre “regler”, la oss si noe som er feilaktig eller misvisende, har vi maskinlæring som flagger innholdet til en menneskelig gjennomgåer på vårt redaksjonsteam. På det stadiumet forstår de våre redaksjonelle verdier og kan raskt gjennomgå artikkelen og ta en beslutning om dens egnet eller kvalitet. Deretter blir det tatt handling for å håndtere det.

Hvordan bruker SmartNews AI for å sikre at plattformen er trygg, inkluderende og objektiv?

SmartNews ble grunnlagt på premissen at hyper-personalisering er bra for egoet, men også polariserer oss alle ved å forsterke fordommer og sette folk i en filterboble.
Måten SmartNews bruker AI på er en del forskjellig fordi vi ikke eksklusivt optimaliserer for engasjement. Vår algoritme ønsker å forstå deg, men den personliggjør ikke nødvendigvis til din smak. Det er fordi vi tror på å utvide perspektiver. Vår AI-motor vil introdusere deg for konsepter og artikler utenfor nærliggende konsepter.
Tanken er at det finnes ting folk må vite i det offentlige interesse, og det finnes ting folk må vite for å utvide deres perspektiv. Balansen vi prøver å strekke er å gi disse kontekstuelle analyser uten å være storbrorlig. Noen ganger vil folk ikke like tingene vår algoritme legger i deres feed. Når det skjer, kan folk velge å ikke lese den artikkelen. Men vi er stolte av AI-motorens evne til å fremme serendipitet, nysgjerrighet, hva du vil kalle det.
På sikkerhetssiden har SmartNews noe som kalles en “utgiverpoeng”, dette er en algoritme designet for å konstant vurdere om en utgiver er trygg eller ikke. Til slutt ønsker vi å etablere om en utgiver har en autoritativ stemme. For eksempel kan vi alle kollektivt enes om at ESPN er en autoritet på idrett. Men hvis du er en tilfeldig blogg som kopierer ESPN-innhold, må vi sikre at ESPN rangeres høyere enn den tilfeldige bloggen. Utgiverpoengene tar også hensyn til faktorer som originalitet, når artikler ble postet, hva brukeranmeldelser ser ut som, osv. Det er ultimate et spekter av mange faktorer vi vurderer.
En ting som overgår alt er “Hva ønsker en bruker å lese?” Hvis en bruker ønsker å se klikk-bås-artikler, vil vi ikke stoppe dem hvis det ikke er ulovlig eller bryter våre retningslinjer. Vi pålegger ikke brukeren, men hvis noe er usikkert eller upassende, har vi vår plikt til å gjøre vår del før noe treffer feeden.

Hva er dine synspunkter på journalister som bruker generativ AI for å assistere dem med å produsere innhold?

Jeg tror dette spørsmålet er et etisk ett, og noe vi diskuterer her i SmartNews. Hvordan bør SmartNews se på utgivere som sender innhold dannet av generativ AI i stedet for journalister som skriver det?
Jeg tror at toget har offisielt forlatt stasjonen. I dag bruker journalister AI for å supplere skrivingen. Det er en funksjon av skala, vi har ikke tid i verden til å produsere artikler i et kommersielt gunstig tempo, særlig når nyhetsorganisasjoner fortsetter å kutte staben. Spørsmålet blir da, hvor mye kreativitet går inn i dette? Er artikkelen polert av journalisten? Eller er journalisten fullstendig avhengig?
På dette tidspunktet kan generativ AI ikke skrive artikler om nyhetsbegivenheter fordi det ikke finnes noen treningdata for det. Men det kan fortsatt gi deg en ganske god generisk mal for å gjøre det. For eksempel er skolemassakrer så vanlige at vi kunne anta at generativ AI kunne gi en journalist en prompt om skolemassakrer og en journalist kunne sette inn skolen som var berørt for å motta en fullstendig mal.
Fra mitt ståsted i SmartNews, er det to prinsipper jeg synes er verdt å vurdere. Først og fremst ønsker vi at utgiverne skal være åpne om når innhold er generert av AI, og vi ønsker å merke det som sådan. Dette gjør at når folk leser artikkelen, blir de ikke misledt om hvem som skrev artikkelen. Dette er transparens i høyeste orden.
For det andre ønsker vi at artikkelen skal være faktisk korrekt. Vi vet at generativ AI har en tendens til å finne på ting når den ønsker, og enhver artikkel skrevet av generativ AI må bli gjennomgått av en journalist eller redaksjonell stab.

Du har tidligere argumentert for at teknologiplattformer bør samarbeide og opprette felles standarder for å bekjempe digital giftighet, hvor viktig er dette spørsmålet?

Jeg tror dette spørsmålet er av kritisk betydning, ikke bare for at selskaper skal operere etisk, men også for å opprettholde en viss verdighet og sivilisasjon. Jeg tror at plattformene bør komme sammen og utvikle visse standarder for å opprettholde denne menneskeligheten. For eksempel bør ingen noen gang oppmuntres til å ta sitt eget liv, men i noen situasjoner finner vi denne type misbruk på plattformene, og jeg tror at dette er noe selskaper bør samarbeide om å beskytte mot.
Til slutt, når det kommer til menneskelige problemer, bør det ikke være noen konkurranse. Det bør ikke engang nødvendigvis være konkurranse om hvem som er den reneste eller tryggeste samfunnet – vi bør alle strebe etter å sikre at våre brukere føler seg trygge og forstått. La oss konkurrere om funksjoner, ikke utnytting.

Hvordan kan digitale selskaper samarbeide?

Selskaper bør komme sammen når det finnes felles verdier og mulighet for samarbeid. Det finnes alltid rom for kryssning mellom selskaper og industrier, særlig når det kommer til å bekjempe misbruk, sikre sivilisasjon på plattformene eller redusere polarisering. Disse er øyeblikkene når selskaper bør samarbeide.
Det finnes selvfølgelig en kommersiell vinkel med konkurranse, og vanligvis er konkurranse god. Det hjelper med å sikre styrke og differensiering mellom selskaper og leverer løsninger med en viss effektivitet som monopoler ikke kan garantere.
Men når det kommer til å beskytte brukerne, eller fremme sivilisasjon, eller redusere misbruk, er disse emner som er kjernene til å bevare den frie verden. Disse er tingene vi må gjøre for å sikre at vi beskytter hva som er hellig for oss, og vår menneskelighet. Jeg tror at alle plattformer har en plikt til å samarbeide i forsvar av menneskelige verdier og verdier som gjør oss til en fri verden.

Hva er dine nåværende synspunkter på ansvarlig AI?

Vi er i begynnelsen av noe svært gjennomtrengende i våre liv. Denne neste fasen av generativ AI er et problem som vi ikke fullt ut forstår, eller bare delvis kan forstå på dette tidspunktet.
Når det kommer til ansvarlig AI, er det svært viktig at vi utvikler sterke retningslinjer, eller vi kan ende opp med et Frankenstein-monster av generative AI-teknologier. Vi må bruke tiden på å tenke gjennom alt som kan gå galt. Enten det er bias som kroker inn i algoritmene, eller store språkmodeller som selv kan brukes av feil mennesker til å gjøre skade.
Teknologien i seg selv er ikke god eller dårlig, men den kan brukes av dårlige mennesker til å gjøre dårlige ting. Dette er hvorfor det er kritisk å investere tid og ressurser i AI-etikere for å gjøre motstridsprøving for å forstå designfeilene. Dette vil hjelpe oss å forstå hvordan vi kan forhindre misbruk, og jeg tror at det er det viktigste aspektet ved ansvarlig AI.
Fordi AI ikke kan tenke for seg selv ennå, trenger vi smarte mennesker som kan bygge disse standardene når AI programmeres. Det viktigste aspektet å vurdere nå er tid – vi trenger disse positive aktørene som gjør disse tingene NÅ før det er for sent.
I motsetning til andre systemer vi har designet og bygget i fortiden, er AI forskjellig fordi den kan iterere og lære på egen hånd, så hvis du ikke setter opp sterke retningslinjer for hva og hvordan den lærer, kan vi ikke kontrollere hva den kan bli.
For øyeblikket ser vi noen store selskaper som legger ned etiske råd og ansvarlige AI-team som en del av store nedleggelsene. Det å være å se hvor alvorlig disse teknologiselskapene tar teknologien og hvordan de gjennomgår de potensielle fallgruvene i AI i deres beslutningstaking.

Er det noe annet du ønsker å dele om ditt arbeid med SmartNews?

Jeg ble med i SmartNews fordi jeg tror på deres misjon, og misjonen har en viss renhet til seg. Jeg tror sterkt på at verden blir mer polarisert, og det finnes ikke nok mediekompetanse i dag for å bekjempe denne trenden.
Uheldigvis finnes det for mange mennesker som tar WhatsApp-meldinger som evangelium og tror på dem på face value. Det kan føre til enorme konsekvenser, inkludert – og særlig – vold. Dette kommer ned til at folk ikke forstår hva de kan og ikke kan tro på.
Hvis vi ikke utdanner folk, eller informerer dem om hvordan de kan fatte beslutninger om påliteligheten av hva de konsumerer, vil vi fortsette å fremme problemet og øke problemene historien har lært oss ikke å gjøre.
En av de viktigste komponentene i mitt arbeid i SmartNews er å hjelpe med å redusere polarisering i verden. Jeg ønsker å oppfylle grunnleggerens misjon om å forbedre mediekompetanse hvor de kan forstå hva de konsumerer og fatte informerte avgjørelser om verden og de mange forskjellige perspektivene.

Takk for det flotte intervjuet, lesere som ønsker å lære mer eller ønsker å prøve en annen type nyhetsapp, bør besøke SmartNews.