Arjun Narayan, Global Trust och Säkerhetschef för SmartNews – Intervjuserie

Arjun Narayan, är Global Trust och Säkerhetschef för SmartNews en nyhetsaggregatorapp, han är också en expert på AI-etik och techpolicy. SmartNews använder AI och ett människolag för att sammanställa nyheter för läsarna.

Du var instrumental i att hjälpa till att etablera Googles Trust & Safety Asia Pacific-hubb i Singapore, vad var några av de viktigaste lärdomarna du lärde dig av den erfarenheten?

När man bygger Trust och Säkerhetslag är det viktigt att ha landsspecifik expertis eftersom missbruk kan variera beroende på land. Till exempel skedde missbruk av Google (GOOGL ) -produkter i Japan på ett annat sätt än i Sydostasien och Indien. Detta betyder att missbruksvektorer är mycket olika beroende på vem som missbrukar och i vilket land man befinner sig, så det finns ingen homogenitet. Detta var något vi lärde oss tidigt.

Jag lärde mig också att kulturell mångfald är otroligt viktig när man bygger Trust och Säkerhetslag utomlands. På Google säkerställde vi att det fanns tillräcklig kulturell mångfald och förståelse bland de personer vi anställde. Vi letade efter personer med specifik domänexpertis, men också för språk- och marknadsexpertis.

Jag fann också att kulturell immersion var otroligt viktig. När vi byggde Trust och Säkerhetslag över gränserna behövde vi säkerställa att våra ingenjörer och affärsteam kunde immersera sig. Det hjälper till att säkerställa att alla är närmare de problem vi försökte hantera. För att göra detta genomförde vi kvartalsvisa immersionssessioner med nyckelpersoner, och det hjälpte till att höja alla kulturella IQ.

Till slut var tvärkulturell förståelse så viktig. Jag ledde ett team i Japan, Australien, Indien och Sydostasien, och sättet de interagerade på var vilt olika. Som ledare vill man säkerställa att alla kan hitta sin röst. I slutändan är allt detta utformat för att bygga ett högpresterande team som kan utföra känsliga uppgifter som Trust och Säkerhet.

Tidigare var du också en del av Trust & Safety-laget med ByteDance för TikTok-applikationen, hur övervakas videor som ofta är kortare än en minut effektivt för säkerhet?

Jag vill omformulera den här frågan lite, eftersom det inte egentligen spelar någon roll om en video är kort eller lång. Det är inte en faktor när vi utvärderar videosäkerhet, och längd har ingen verklig vikt på om en video kan sprida missbruk.

När jag tänker på missbruk tänker jag på “problem”. Vilka är några av de problem som användare är sårbara för? Missinformation? Desinformation? Oavsett om videon är 1 minut eller 1 timme, finns det fortfarande missinformation som delas och nivån på missbruk förblir jämförbar.

Beroende på problemtypen börjar man att tänka igenom policytillämpning och säkerhetsgarder och hur man kan skydda sårbara användare. Till exempel, om det finns en video av någon som begår självskada, när vi får meddelande om att videon finns, måste man agera med brådska, eftersom någon kan förlora livet. Vi förlitar oss mycket på maskinlärande för att upptäcka detta. Det första steget är alltid att kontakta myndigheterna för att försöka rädda livet, ingenting är viktigare. Därefter syftar vi till att avbryta videon, direktutsändningen eller vilket format det delas i. Vi måste säkerställa att vi minimerar exponeringen för den här typen av skadligt innehåll så snabbt som möjligt.

På samma sätt, om det är hatprat, finns det olika sätt att packa upp det. Eller i fallet med mobbning och trakasserier, beror det verkligen på problemtypen, och beroende på det, skulle vi justera våra tillämpningsalternativ och säkerhetsgarder. Ett annat exempel på en bra säkerhetsgard är att vi implementerade maskinlärande som kunde upptäcka när någon skrev något olämpligt i kommentarerna och ge en prompt för att få dem att tänka två gånger innan de publicerade den kommentaren. Vi skulle inte stoppa dem nödvändigtvis, men vår förhoppning var att människor skulle tänka två gånger innan de delade något elakt.

Det handlar om en kombination av maskinlärande och nyckelordsregler. Men när det gäller direktutsändningar hade vi också mänskliga moderatorer som granskade de strömmar som flaggats av AI så att de kunde rapportera omedelbart och implementera protokoll. Eftersom de sker i realtid räcker det inte att förlita sig på användare för att rapportera, så vi behöver ha människor som övervakar i realtid.

Sedan 2021 har du varit chef för Trust, Säkerhet och Kundupplevelse på SmartNews, en nyhetsaggregatorapp. Kan du diskutera hur SmartNews använder maskinlärande och naturligt språk för att identifiera och prioritera högkvalitativt nyhetsinnehåll?

Den centrala idén är att vi har vissa “regler” eller maskinlärandeteknologi som kan tolka en artikel eller annons och förstå vad den handlar om.

När det finns något som bryter mot våra “regler”, till exempel om något är faktamässigt felaktigt eller vilseledande, har vi maskinlärande som flaggar innehållet till en mänsklig granskare på vårt redaktionsteam. På det stadiet förstår de våra redaktionella värderingar och kan snabbt granska artikeln och fatta ett beslut om dess lämplighet eller kvalitet. Därefter vidtas åtgärder för att åtgärda det.

Hur använder SmartNews AI för att säkerställa att plattformen är säker, inkluderande och objektiv?

SmartNews grundades på idén att hyperpersonalisering är bra för egot, men också polariserar oss alla genom att förstärka fördomar och placera människor i en filterbubbla.

Sättet som SmartNews använder AI är lite annorlunda, eftersom vi inte uteslutande optimerar för engagemang. Vår algoritm vill förstå dig, men den hyperpersonaliserar inte nödvändigtvis till din smak. Det är för att vi tror på att bredda perspektiv. Vår AI-motor kommer att introducera dig till begrepp och artiklar utöver angränsande begrepp.

Idén är att det finns saker som människor behöver veta i allmänhetens intresse, och det finns saker som människor behöver veta för att bredda sin synvinkel. Balansen vi försöker uppnå är att ge dessa kontextuella analyser utan att vara storföräldrar. Ibland kommer människor inte att gilla de saker som vår algoritm lägger i deras flöde. När det händer kan människor välja att inte läsa den artikeln. Men vi är stolta över AI-motorns förmåga att främja serendipitet, nyfikenhet, vad du vill kalla det.

På säkerhetssidan har SmartNews något som kallas “Publisher Score”, detta är en algoritm som är utformad för att ständigt utvärdera om en utgivare är säker eller inte. I slutändan vill vi fastställa om en utgivare har en auktoritativ röst. Till exempel kan vi alla kollektivt komma överens om att ESPN är en auktoritet på sport. Men om du är en slumpmässig blogg som kopierar ESPN-innehåll, behöver vi säkerställa att ESPN rankas högre än den slumpmässiga bloggen. Utgivarscoren tar också hänsyn till faktorer som originalitet, när artiklar publicerades, hur användarrecensioner ser ut, etc. Det är i slutändan ett spektrum av många faktorer som vi överväger.

En sak som överträffar allt annat är “Vad vill en användare läsa?” Om en användare vill visa klickbait-artiklar, kommer vi inte att stoppa dem om det inte är olagligt eller bryter mot våra riktlinjer. Vi tvingar inte på användaren, men om något är osäkert eller olämpligt, har vi vår skyldighet att göra vår plikt innan något träffar flödet.

Vad är din syn på journalister som använder generativ AI för att hjälpa till att producera innehåll?

Jag tror att den här frågan är en etisk fråga, och något som vi för närvarande debatterar här på SmartNews. Hur bör SmartNews se på utgivare som lämnar in innehåll som bildats av generativ AI istället för journalister som skriver det?

Jag tror att den tåget har officiellt lämnat stationen. Idag använder journalister AI för att förstärka sitt skrivande. Det är en funktion av skala, vi har inte tid i världen att producera artiklar i en kommersiellt livskraftig takt, särskilt som nyhetsorganisationer fortsätter att skära ner personalen. Frågan blir då, hur mycket kreativitet går in i detta? Är artikeln polerad av journalisten? Eller är journalisten helt beroende?

På det här stadiet är generativ AI inte i stånd att skriva artiklar om nyhetsrelaterade händelser eftersom det inte finns någon utbildningsdata för det. Men den kan fortfarande ge en journalist en generisk mall för att göra det. Till exempel är skolskjutningar så vanliga att vi kan anta att generativ AI kunde ge en journalist en prompt om skolskjutningar och en journalist kunde infoga den skola som påverkades för att få en komplett mall.

Från min synvinkel, arbetande med SmartNews, finns det två principer som jag tycker är värda att överväga. Först vill vi att utgivare ska vara öppna med att berätta för oss när innehåll genereras av AI, och vi vill märka det som sådant. Detta så att när människor läser artikeln, blir de inte vilseledda om vem som skrev artikeln. Detta är transparens i högsta grad.

Andra, vill vi att den artikeln ska vara faktamässigt korrekt. Vi vet att generativ AI tenderar att hitta på saker när den vill, och varje artikel skriven av generativ AI behöver granskas av en journalist eller redaktionell personal.

Du har tidigare argumenterat för att techplattformar bör förenas och skapa gemensamma standarder för att bekämpa digital toxicitet, hur viktigt är det här problemet?

Jag tror att det här problemet är av kritisk betydelse, inte bara för att företag ska kunna operera etiskt, utan också för att upprätthålla en viss nivå av värdighet och anständighet. Enligt min mening bör plattformar komma samman och utveckla vissa standarder för att upprätthålla den mänskligheten. Till exempel bör ingen någonsin uppmuntras att ta sitt eget liv, men i vissa situationer hittar vi den här typen av missbruk på plattformar, och jag tror att det är något som företag bör komma samman för att skydda mot.

Till slut, när det gäller problem av mänsklighet, bör det inte finnas någon konkurrens. Det bör inte ens nödvändigtvis finnas konkurrens om vem som är den renaste eller säkraste gemenskapen – vi bör alla sträva efter att se till att våra användare känner sig säkra och förstådda. Låt oss konkurrera om funktioner, inte exploatering.

Vilka är några sätt som digitala företag kan samarbeta?

Företag bör komma samman när det finns gemensamma värderingar och möjlighet till samarbete. Det finns alltid utrymme där det finns överlappning mellan företag och branscher, särskilt när det gäller att bekämpa missbruk, säkerställa anständighet på plattformar eller minska polarisering. Dessa är ögonblick när företag bör samarbeta.

Det finns naturligtvis en kommersiell vinkel med konkurrens, och vanligtvis är konkurrens bra. Det hjälper till att säkerställa styrka och differentiering mellan företag och ger lösningar med en nivå av effektivitet som monopoler inte kan garantera.

Men när det gäller att skydda användare, eller främja anständighet, eller minska missbruksvektorer, är dessa ämnen som är kärnan i vår strävan att bevara den fria världen. Dessa är saker som vi behöver göra för att säkerställa att vi skyddar det som är heligt för oss, och vår mänsklighet. Enligt min mening har alla plattformar ett ansvar att samarbeta i försvar för mänskliga värderingar och de värderingar som gör oss till en fri värld.

Vad är din nuvarande syn på ansvarsfull AI?

Vi är i början av något som kommer att vara mycket utbrett i våra liv. Den här nästa fasen av generativ AI är ett problem som vi inte fullständigt förstår, eller bara delvis kan förstå på det här stadiet.

När det gäller ansvarsfull AI är det otroligt viktigt att vi utvecklar starka skydd, annars kan vi hamna med ett Frankenstein-monster av generativa AI-teknologier. Vi behöver lägga tid på att tänka igenom allt som kan gå fel. Antingen är det fördomar som kryper in i algoritmerna, eller stora språkmodeller som används av fel personer för att göra skadliga handlingar.

Teknologin i sig är inte bra eller dålig, men den kan användas av dåliga människor för att göra dåliga saker. Det är därför det är så kritiskt att investera tid och resurser i AI-etiker för att göra motståndstester för att förstå designfel. Det kommer att hjälpa oss att förstå hur vi kan förhindra missbruk, och jag tror att det är det viktigaste aspekten av ansvarsfull AI.

Eftersom AI inte kan tänka för sig själv, behöver vi smarta människor som kan bygga dessa standarder när AI programmeras. Den viktiga aspekten att överväga just nu är timing – vi behöver dessa positiva aktörer som gör dessa saker NU innan det är för sent.

Till skillnad från andra system som vi har designat och byggt i det förflutna, är AI annorlunda eftersom den kan iterera och lära sig på egen hand, så om du inte sätter upp starka skydd för vad och hur den lär sig, kan vi inte kontrollera vad den kan bli.

Just nu ser vi att vissa stora företag avskedar etiska råd och ansvarsfulla AI-lag som en del av stora uppsägningar. Det återstår att se hur allvarligt dessa tech-jättar tar teknologin och hur allvarligt de granskar de potentiella fallgroparna för AI i sitt beslutsfattande.

Finns det något annat du vill dela om ditt arbete med SmartNews?

Jag gick med i SmartNews för att jag tror på dess uppdrag, uppdraget har en viss renhet i sig. Jag tror starkt på att världen blir mer polariserad, och det finns inte tillräckligt med mediekompetens idag för att bekämpa den trenden.

Tyvärr finns det för många människor som tar WhatsApp-meddelanden för sanningen och tror på dem utan att ifrågasätta. Det kan leda till enorma konsekvenser, inklusive – och särskilt – våld. Allt detta handlar om att människor inte förstår vad de kan och inte kan tro på.

Om vi inte utbildar människor, eller informerar dem om hur de kan fatta beslut om trovärdigheten hos det de konsumerar. Om vi inte introducerar mediekompetens för att skilja på nyheter och falska nyheter, kommer vi att fortsätta att förvärra problemet och öka de problem som historien har lärt oss att inte göra.

En av de viktigaste komponenterna i mitt arbete på SmartNews är att hjälpa till att minska polariseringen i världen. Jag vill uppfylla grundarens uppdrag att förbättra mediekompetensen så att de kan förstå vad de konsumerar och fatta informerade beslut om världen och de många olika perspektiven. Tack för den underbara intervjun, läsare som vill lära sig mer eller prova en annan typ av nyhetsapp bör besöka SmartNews.