Arjun Narayan, sjef for Global Trust and Safety for SmartNews – Intervju-serie

Arjun Narayan, er sjef for Global Trust and Safety for SmartNews en nyhetsaggregator-app, han er også en ekspert på AI-etikk og teknologipolitikk. SmartNews bruker AI og et menneskelig redaksjonsteam for å aggregere nyheter for lesere.

Hva lærte du av å etablere Googles Trust & Safety Asia Pacific-hub i Singapore?

Når man bygger Trust and Safety-team, er landsspesifikke ekspertise kritisk fordi misbruk er svært forskjellig avhengig av landet du regulerer. For eksempel var måten Google (GOOGL ) -produkter ble misbrukt i Japan forskjellig fra hvordan de ble misbrukt i Sørøst-Asia og India. Dette betyr at misbrukvektorer er svært forskjellige avhengig av hvem som misbruker og hvilket land du er basert i, så det finnes ingen homogenitet. Dette var noe vi lærte tidlig.

Jeg lærte også at kulturell mangfold er svært viktig når man bygger Trust and Safety-team utenlands. Hos Google sikret vi at det var nok kulturell mangfold og forståelse blant de vi ansatte. Vi søkte etter personer med spesifikke domeneekspertise, men også for språk- og markedsekspertise.

Jeg fant også at kulturell immersjon var svært viktig. Når vi bygger Trust and Safety-team over grenser, måtte vi sikre at våre ingeniør- og forretnings-team kunne immersive seg. Dette hjelper med å sikre at alle er nærmere problemene vi prøver å håndtere. For å gjøre dette, hadde vi kvartalsvis immersjonsøkter med nøkelpersoner, og det hjalp med å heve alle kulturelle IQ-er.

Til slutt var krysskulturell forståelse svært viktig. Jeg ledet et team i Japan, Australia, India og Sørøst-Asia, og måten de samarbeidet på var svært forskjellig. Som leder ønsker du å sikre at alle kan finne sin stemme. Til slutt er alt dette designet for å bygge et høyt prestasjons-team som kan utføre sensitive oppgaver som Trust and Safety.

Tidligere var du også en del av Trust & Safety-teamet med ByteDance for TikTok-applikasjonen, hvordan overvåkes videoer som ofte er kortere enn en minutt for sikkerhet?

Jeg ønsker å omformulere dette spørsmålet litt, fordi det ikke virkelig betyr noe om en video er kort eller lang. Det er ikke en faktor når vi vurderer videosikkerhet, og lengde har ingen reell vekt på om en video kan spre misbruk.

Når jeg tenker på misbruk, tenker jeg på “problemer”. Hva er noen av problemene brukerne er sårbare for? Misinformasjon? Desinformasjon? Uansett om videoen er 1 minutt eller 1 time, er det fortsatt misinformasjon som deles, og nivået av misbruk er sammenlignbart.

Avhengig av problemtype, begynner du å tenke gjennom politikk-gjennomføring og sikkerhetsforanstaltninger og hvordan du kan beskytte sårbare brukere. For eksempel, hvis det er en video av noen som begår selvskade, når vi mottar en melding om at denne videoen eksisterer, må man handle med hast, fordi noen kunne miste livet. Vi avhenger mye av maskinlæring for å gjøre denne type oppdaging. Første trekk er alltid å kontakte myndighetene for å prøve å redde livet, ingenting er viktigere. Deretter må vi suspendere videoen, direktesendingen eller hva som helst format det deles i. Vi må sikre at vi minimiserer eksponeringen av slik skadelig innhold ASAP.

Tilsvarende, hvis det er hatytringer, er det forskjellige måter å pakke det ut på. Eller i tilfelle av mobbing og trakassering, avhenger det av problemtype, og avhengig av det, ville vi justere våre gjennomføringsalternativer og sikkerhetsforanstaltninger. Et annet eksempel på en god sikkerhetsforanstaltning var at vi implementerte maskinlæring som kunne oppdage når noen skrev noe upassende i kommentarene og gi en prompt til å få dem til å tenke to ganger før de postet den kommentaren. Vi ville ikke stoppe dem nødvendigvis, men håpet var at folk ville tenke to ganger før de delte noe meiningsløst.

Det kommer ned til en kombinasjon av maskinlæring og nøkkelordregler. Men, når det kommer til direktesendinger, hadde vi også menneskelige moderatorer som gjennomgikk disse strømmene som var flagget av AI, så de kunne rapportere umiddelbart og implementere protokoller. Fordi de skjer i sanntid, er det ikke nok å avhenge av brukerne til å rapportere, så vi trenger å ha mennesker som overvåker i sanntid.

Siden 2021 har du vært sjef for Trust, Safety og kundeopplevelse i SmartNews, en nyhetsaggregator-app. Kan du diskutere hvordan SmartNews bruker maskinlæring og naturlig språkbehandling for å identifisere og prioritere høykvalitets nyhetsinnhold?

Den sentrale konseptet er at vi har visse “regler” eller maskinlæringsteknologi som kan parse en artikkel eller annonse og forstå hva den handler om.

Når det er noe som bryter våre “regler”, for eksempel noe som er faktisk feil eller misvisende, har vi maskinlæring som flagger innholdet til en menneskelig gjennomgåer på vårt redaksjonsteam. På det stadium kan de forstå våre redaksjonelle verdier og raskt gjennomgå artikkelen og ta en beslutning om dens egnet eller kvalitet. Deretter blir handlinger tatt for å håndtere det.

Hvordan bruker SmartNews AI for å sikre at plattformen er trygg, inkluderende og objektiv?

SmartNews ble grunnlagt på premisset at hyper-personalisering er bra for ego, men også polariserer oss alle ved å forsterke fordommer og plassere folk i en filterboble.

Måten SmartNews bruker AI er litt annerledes fordi vi ikke eksklusivt optimaliserer for engasjement. Vår algoritme ønsker å forstå deg, men den hyper-personaliserer ikke nødvendigvis til din smak. Det er fordi vi tror på å utvide perspektiver. Vår AI-motor vil introdusere deg for konsepter og artikler utenfor nærliggende konsepter.

Ideen er at det finnes ting folk må vite i offentlighetens interesse, og det finnes ting folk må vite for å utvide deres perspektiv. Balansen vi prøver å slå er å gi disse kontekstuelle analyser uten å være storebrorlige. Noen ganger vil folk ikke like tingene vår algoritme legger i deres feed. Når det skjer, kan folk velge å ikke lese den artikkelen. Likevel er vi stolte av AI-motorens evne til å fremme serendipitet, nysgjerrighet, hva du vil kalle det.

På sikkerhetssiden har SmartNews noe som heter “Publisher Score”, dette er en algoritme designet for å konstant evaluere om en utgiver er trygg eller ikke. Til slutt ønsker vi å etablere om en utgiver har en autoritativ stemme. For eksempel kan vi alle kollektivt enes om at ESPN er en autoritet på idrett. Men, hvis du er en tilfeldig blogg som kopierer ESPN-innhold, må vi sikre at ESPN rangeres høyere enn den tilfeldige bloggen. Publisher-scoren tar også hensyn til faktorer som originalitet, når artikler ble postet, hva bruker- anmeldelser ligner, osv. Det er til slutt et spekter av mange faktorer vi vurderer.

En ting som overgår alt er “Hva ønsker brukeren å lese?” Hvis en bruker ønsker å se klikk-bait-artikler, vil vi ikke stoppe dem hvis det ikke er ulovlig eller bryter våre retningslinjer. Vi påtvinger ikke brukeren, men hvis noe er usikkert eller upassende, har vi vår plikt til å gjøre vår due diligence før noe treffer feeden.

Hva er dine synspunkter på journalister som bruker generativ AI for å assistere med å produsere innhold?

Jeg tror dette spørsmålet er et etisk spørsmål, og noe vi debatterer her i SmartNews. Hvordan bør SmartNews se på utgivere som sender innhold dannet av generativ AI i stedet for journalister som skriver det?

Jeg tror at toget har offisielt forlatt stasjonen. I dag bruker journalister AI for å supplere skrivingen. Det er en funksjon av skala, vi har ikke tid i verden til å produsere artikler i et kommersielt gunstig tempo, særlig som nyhetsorganisasjoner fortsetter å kutte staben. Spørsmålet blir da, hvor mye kreativitet går inn i dette? Er artikkelen polert av journalisten? Eller er journalisten fullstendig avhengig?

På dette tidspunktet kan generativ AI ikke skrive artikler om nyhende hendelser fordi det ikke finnes noen opplæringsdata for det. Likevel kan det gi en journalist en generisk mal for å gjøre det. For eksempel, skole-skytinger er så vanlige, vi kunne anta at generativ AI kunne gi en journalist en prompt på skole-skytinger og en journalist kunne sette inn skolen som var berørt for å motta en fullstendig mal.

Fra mitt synspunkt, arbeidende med SmartNews, er det to prinsipper jeg tror er verdt å vurdere. Først og fremst ønsker vi at utgivere skal være åpne om å fortelle oss når innhold er generert av AI, og vi ønsker å merke det som sådan. Dette gjør at når folk leser artikkelen, er de ikke misledt om hvem som skrev artikkelen. Dette er gjennomsynlighet på høyeste nivå.

For det andre ønsker vi at artikkelen skal være faktisk korrekt. Vi vet at generativ AI har tendens til å finne på ting når den ønsker, og enhver artikkel skrevet av generativ AI må bli gjennomgått av en journalist eller redaksjonell stab.

Du har tidligere argumentert for at teknologiplattformer bør samarbeide og etablere felles standarder for å bekjempe digital giftighet, hvor viktig er dette spørsmålet?

Jeg tror dette spørsmålet er av kritisk betydning, ikke bare for at selskaper skal operere etisk, men også for å opprettholde en viss verdighet og sivilisasjon. Ifølge min mening bør plattformer samarbeide og utvikle visse standarder for å opprettholde denne menneskeligheten. For eksempel bør ingen noen gang oppmuntres til å ta sitt eget liv, men i noen situasjoner finner vi denne typen misbruk på plattformer, og jeg tror at dette er noe selskaper bør samarbeide for å beskytte mot.

Til slutt, når det kommer til menneskelige problemer, bør det ikke være noen konkurranse. Det bør ikke engang nødvendigvis være konkurranse om hvem som er den reneste eller tryggeste samfunnet – vi bør alle strebe etter å sikre at våre brukere føler seg trygge og forstått. La oss konkurrere om funksjoner, ikke utnytting.

Hva er noen måter digitala selskaper kan samarbeide?

Selskaper bør samarbeide når det finnes felles verdier og mulighet for samarbeid. Det finnes alltid områder hvor det finnes kryssning mellom selskaper og industrier, særlig når det kommer til å bekjempe misbruk, sikre sivilisasjon på plattformer eller redusere polarisering. Disse er øyeblikkene når selskaper bør samarbeide.

Det finnes selvfølgelig en kommersiell vinkel med konkurranse, og vanligvis er konkurranse god. Det hjelper med å sikre styrke og differensiering over selskaper og leverer løsninger med en viss effektivitet som monopoler ikke kan garantere.

Men, når det kommer til å beskytte brukerne, eller fremme sivilisasjon, eller redusere misbruk, er disse temaer som er kjernepunkter for oss for å bevare den frie verden. Disse er ting vi må gjøre for å sikre at vi beskytter det som er hellig for oss, og vår menneskelighet. Ifølge min mening har alle plattformer en plikt til å samarbeide i forsvar av menneskelige verdier og verdier som gjør oss til en fri verden.

Hva er dine nåværende synspunkter på ansvarlig AI?

Vi er i begynnelsen av noe svært utbredt i våre liv. Denne neste fasen av generativ AI er et problem som vi ikke fullstendig forstår, eller bare delvis kan forstå på dette tidspunktet.

Når det kommer til ansvarlig AI, er det svært viktig at vi utvikler sterke sikkerhetsforanstaltninger, ellers kan vi ende opp med et Frankenstein-monster av generative AI-teknologier. Vi må bruke tiden på å tenke gjennom alt som kan gå galt. Enten det er bias som kroker inn i algoritmene, eller store språkmodeller som selv blir brukt av feil personer til å gjøre skade.

Teknologien i seg selv er hverken god eller dårlig, men den kan brukes av dårlige mennesker til å gjøre dårlige ting. Dette er hvorfor det er kritisk å investere tid og ressurser i AI-etikere for å gjøre motstandstesting for å forstå designfeil. Dette vil hjelpe oss med å forstå hvordan vi kan forhindre misbruk, og jeg tror at dette er det viktigste aspektet ved ansvarlig AI.

Fordi AI ikke kan tenke for seg selv ennå, trenger vi smarte mennesker som kan bygge disse standardene når AI blir programmert. Det viktigste aspektet å vurdere nå er timing – vi trenger disse positive aktørene som gjør disse tingene NÅ før det er for sent.

I motsetning til andre systemer vi har designet og bygget i fortiden, er AI annerledes fordi den kan iterere og lære på egen hånd, så hvis du ikke setter opp sterke sikkerhetsforanstaltninger for hva og hvordan den lærer, kan vi ikke kontrollere hva den kan bli.

For øyeblikket ser vi noen store selskaper som Permitterer etiske råd og ansvarlige AI-team som en del av store Permitteringer. Det å forbli å se hvor alvorlig disse teknologiselskapene tar teknologien og hvordan de vurderer de potensielle fallgruvene til AI i deres beslutningsprosess.

Er det noe annet du ønsker å dele om arbeidet ditt med SmartNews?

Jeg ble med i SmartNews fordi jeg tror på deres misjon, misjonen har en vis renhet til seg. Jeg tror sterkt på at verden blir mer polarisert, og det finnes ikke nok medie-litteratur i dag for å bekjempe denne trenden.

Uheldigvis finnes det for mange mennesker som tar WhatsApp-beskjeder som evangelium og tror på dem på face-verdi. Det kan føre til enorme konsekvenser, inkludert – og særlig – vold. Dette kommer ned til at folk ikke forstår hva de kan og ikke kan tro på.

Hvis vi ikke utdanner folk, eller informerer dem om hvordan de kan ta beslutninger om tillit til det de konsumerer. Hvis vi ikke introduserer medie-litteratur for å skille mellom nyheter og feil nyheter, vil vi fortsette å fremme problemet og øke problemene historien har lært oss ikke å gjøre.

En av de viktigste komponentene i mitt arbeid i SmartNews er å hjelpe med å redusere polarisering i verden. Jeg ønsker å oppfylle grunnleggerens misjon om å forbedre medie-litteratur hvor de kan forstå hva de konsumerer og ta informerte avgjørelser om verden og de mange forskjellige perspektivene.

Takk for det flotte intervjuet, lesere som ønsker å lære mer eller ønsker å prøve en annen type nyhetsapp bør besøke SmartNews.