Arjun Narayan, chef för Global Trust and Safety för SmartNews – Intervjuserie

Arjun Narayan, är chef för Global Trust and Safety för SmartNews en nyhetsaggregatorapp, han är också expert på AI-etik och teknikpolitik. SmartNews använder AI och en mänsklig redaktion för att samla nyheter för läsare.

Du var avgörande för att skapa Googles Trust & Safety Asia Pacific-nav i Singapore, vilka var några viktiga lärdomar som du lärde dig av den här erfarenheten?

När man bygger förtroende- och säkerhetsteam är expertis på landsnivå avgörande eftersom missbruk är väldigt olika beroende på vilket land du reglerar. Till exempel, hur Googles produkter missbrukades i Japan var annorlunda än hur de missbrukades i Sydostasien och Indien. Det betyder att övergreppsvektorer är väldigt olika beroende på vem som missbrukar och vilket land du är baserad i; så det finns ingen homogenitet. Detta var något vi lärde oss tidigt.

Jag lärde mig också att kulturell mångfald är otroligt viktigt när man bygger Trust and Safety-team utomlands. På Google såg vi till att det fanns tillräckligt med kulturell mångfald och förståelse hos de personer vi anställde. Vi sökte personer med specifik domänexpertis, men också språk- och marknadsexpertis.

Jag tyckte också att kulturell fördjupning var otroligt viktig. När vi bygger tillits- och säkerhetsteam över gränserna behövde vi säkerställa att våra ingenjörs- och affärsteam kunde fördjupa sig. Detta hjälper till att säkerställa att alla är närmare de problem vi försökte hantera. För att göra detta gjorde vi kvartalsvisa fördjupningssessioner med nyckelpersoner, och det hjälpte till att höja allas kulturella IQ.

Slutligen var tvärkulturell förståelse så viktig. Jag ledde ett team i Japan, Australien, Indien och Sydostasien, och sättet de interagerade på var väldigt annorlunda. Som ledare vill du se till att alla kan hitta sin röst. I slutändan är allt detta utformat för att bygga ett högpresterande team som kan utföra känsliga uppgifter som tillit och säkerhet.

Tidigare var du också med i Trust & Safety-teamet med ByteDance för TikTok-applikationen, hur övervakas videor som ofta är kortare än en minut effektivt för säkerhets skull?

Jag vill omformulera den här frågan lite, eftersom det inte spelar någon roll om en video är kort eller lång. Det är inte en faktor när vi utvärderar videosäkerhet, och längden har inte någon betydelse för huruvida en video kan sprida missbruk.

När jag tänker på övergrepp, tänker jag på övergrepp som "problem". Vilka är några av de problem som användare är sårbara för? Desinformation? Desinformation? Oavsett om videon är 1 minut eller 1 timme, delas det fortfarande felaktig information och nivån av missbruk är fortfarande jämförbar.

Beroende på typen av problem börjar du tänka igenom policytillämpning och skyddsräcken och hur du kan skydda utsatta användare. Som ett exempel, låt oss säga att det finns en video av någon som begår självskada. När vi får ett meddelande om att den här videon finns måste man agera skyndsamt, eftersom någon kan förlora ett liv. Vi är mycket beroende av maskininlärning för att göra den här typen av detektering. Det första steget är att alltid kontakta myndigheter för att försöka rädda det livet, ingenting är viktigare. Därifrån strävar vi efter att stänga av videon, livestreamen eller vilket format det nu delas i. Vi måste se till att vi minimerar exponeringen för den typen av skadligt innehåll ASAP.

På samma sätt, om det är hatretorik, finns det olika sätt att packa upp det. Eller i fallet med mobbning och trakasserier, det beror verkligen på typen av problem, och beroende på det skulle vi justera våra tillämpningsalternativ och skyddsräcken. Ett annat exempel på ett bra skyddsräcke var att vi implementerade maskininlärning som kunde upptäcka när någon skriver något olämpligt i kommentarerna och ge en uppmaning att få dem att tänka två gånger innan de postar den kommentaren. Vi skulle inte nödvändigtvis stoppa dem, men vår förhoppning var att folk skulle tänka två gånger innan de delade med sig av något elakt.

Det handlar om en kombination av maskininlärning och nyckelordsregler. Men när det kommer till livestreams hade vi också mänskliga moderatorer som granskade de strömmar som flaggades av AI så att de kunde rapportera omedelbart och implementera protokoll. Eftersom de sker i realtid räcker det inte att lita på att användare rapporterar, så vi måste ha människor som övervakar i realtid.

Sedan 2021 har du varit chef för förtroende, säkerhet och kundupplevelse på SmartNews, en nyhetssamlarapp. Skulle du kunna diskutera hur SmartNews utnyttjar maskininlärning och naturlig språkbehandling för att identifiera och prioritera högkvalitativt nyhetsinnehåll?

Det centrala konceptet är att vi har vissa "regler" eller maskininlärningsteknik som kan analysera en artikel eller annons och förstå vad den artikeln handlar om.

Närhelst det är något som bryter mot våra "regler", låt oss säga att något är faktiskt felaktigt eller missvisande, har vi maskininlärning som flaggar innehållet till en mänsklig granskare i vår redaktion. I det skedet förstår de våra redaktionella värderingar och kan snabbt granska artikeln och göra en bedömning om dess lämplighet eller kvalitet. Därifrån vidtas åtgärder för att åtgärda det.

Hur använder SmartNews AI för att säkerställa att plattformen är säker, inkluderande och objektiv?

SmartNews grundades på premissen att hyperpersonalisering är bra för egot men också polariserar oss alla genom att förstärka fördomar och sätta människor i en filterbubbla.

Sättet på vilket SmartNews använder AI är lite annorlunda eftersom vi inte enbart optimerar för engagemang. Vår algoritm vill förstå dig, men den är inte nödvändigtvis hyperpersonaliserande efter din smak. Det beror på att vi tror på att bredda perspektiven. Vår AI-motor kommer att introducera dig till koncept och artiklar bortom angränsande koncept.

Tanken är att det finns saker som människor behöver veta i allmänhetens intresse, och det finns saker som människor behöver veta för att bredda sin räckvidd. Balansen vi försöker hitta är att tillhandahålla dessa kontextuella analyser utan att vara storebröder. Ibland gillar folk inte de saker som vår algoritm lägger i deras flöde. När det händer kan folk välja att inte läsa den artikeln. Vi är dock stolta över AI-motorns förmåga att främja serendipity, nyfikenhet, vad du än vill kalla det.

På säkerhetssidan har SmartNews något som kallas "Publisher Score", detta är en algoritm som är utformad för att ständigt utvärdera om en utgivare är säker eller inte. I slutändan vill vi fastställa om ett förlag har en auktoritativ röst. Som ett exempel kan vi alla vara överens om att ESPN är en auktoritet inom sport. Men om du är en slumpmässig blogg som kopierar ESPN-innehåll måste vi se till att ESPN rankas högre än den slumpmässiga bloggen. Utgivarpoängen tar också hänsyn till faktorer som originalitet, när artiklar publicerades, hur användarrecensioner ser ut, etc. Det är i slutändan ett spektrum av många faktorer vi tar hänsyn till.

En sak som övertrumfar allt är "Vad vill en användare läsa?" Om en användare vill se clickbait-artiklar kommer vi inte att stoppa dem om det inte är olagligt eller bryter mot våra riktlinjer. Vi ålägger inte användaren, men om något är osäkert eller olämpligt har vi vår due diligence innan något träffar flödet.

Vad är din syn på journalister som använder generativ AI för att hjälpa dem att producera innehåll?

Jag tror att den här frågan är en etisk fråga, och något vi för närvarande diskuterar här på SmartNews. Hur ska SmartNews se på publicister som skickar in innehåll som bildats av generativ AI istället för att journalister skriver upp det?

Jag tror att tåget officiellt har lämnat stationen. Idag använder journalister AI för att utöka sitt skrivande. Det är en funktion av skala, vi har inte tid i världen att producera artiklar i en kommersiellt gångbar takt, särskilt som nyhetsorganisationer fortsätter att minska personalstyrkan. Frågan blir då, hur mycket kreativitet går in i detta? Är artikeln polerad av journalisten? Eller är journalisten helt beroende?

Vid denna tidpunkt kan generativ AI inte skriva artiklar om senaste nyheter eftersom det inte finns några träningsdata för det. Det kan dock fortfarande ge dig en ganska bra generisk mall för att göra det. Som ett exempel är skolskjutningar så vanliga att vi kan anta att generativ AI kan ge en journalist en uppmaning om skolskjutningar och en journalist kan infoga skolan som drabbades för att få en komplett mall.

Ur min synvinkel när jag arbetar med SmartNews finns det två principer som jag tycker är värda att överväga. För det första vill vi att utgivare ska vara i framkant med att berätta för oss när innehåll genererades av AI, och vi vill märka det som sådant. På det här sättet, när folk läser artikeln, blir de inte vilseledda om vem som skrev artikeln. Detta är transparens på högsta nivå.

För det andra vill vi att artikeln ska vara faktamässigt korrekt. Vi vet att generativ AI tenderar att hitta på saker när den vill, och alla artiklar skrivna av generativ AI måste korrekturläsas av en journalist eller redaktion.

Du har tidigare argumenterat för att tekniska plattformar ska förenas och skapa gemensamma standarder för att bekämpa digital toxicitet, hur viktigt är detta?

Jag tror att denna fråga är av avgörande betydelse, inte bara för att företag ska agera etiskt, utan för att upprätthålla en nivå av värdighet och artighet. Enligt min åsikt bör plattformar samlas och utveckla vissa standarder för att upprätthålla denna mänsklighet. Som ett exempel ska ingen någonsin uppmuntras att ta sitt liv, men i vissa situationer hittar vi den här typen av övergrepp på plattformar, och jag anser att det är något företag bör gå samman för att skydda sig mot.

I slutändan, när det gäller mänsklighetens problem, borde det inte finnas konkurrens. Det borde inte ens nödvändigtvis vara konkurrens om vem som är den renaste eller säkraste gemenskapen – vi bör alla sträva efter att säkerställa att våra användare känner sig säkra och förstådda. Låt oss tävla om funktioner, inte utnyttjande.

På vilka sätt kan digitala företag arbeta tillsammans?

Företag ska mötas när det finns gemensamma värderingar och möjlighet till samarbete. Det finns alltid utrymmen där det finns intersektionalitet mellan företag och branscher, särskilt när det gäller att bekämpa övergrepp, säkerställa artighet i plattformar eller minska polarisering. Det här är ögonblick då företag borde arbeta tillsammans.

Det finns naturligtvis en kommersiell vinkel med konkurrens, och konkurrensen är vanligtvis bra. Det hjälper till att säkerställa styrka och differentiering mellan företag och levererar lösningar med en effektivitetsnivå som monopol inte kan garantera.

Men när det gäller att skydda användare, eller främja hövlighet, eller minska övergreppsvektorer, är dessa ämnen som är kärnan för att vi ska bevara den fria världen. Det här är saker vi måste göra för att säkerställa att vi skyddar det som är heligt för oss och vår mänsklighet. Enligt min åsikt har alla plattformar ett ansvar att samarbeta för att försvara mänskliga värden och de värden som gör oss till en fri värld.

Vad är din nuvarande syn på ansvarsfull AI?

Vi är i början av något mycket genomgripande i våra liv. Denna nästa fas av generativ AI är ett problem som vi inte helt förstår, eller som vi bara delvis kan förstå vid denna tidpunkt.

När det kommer till ansvarsfull AI är det så otroligt viktigt att vi utvecklar starka skyddsräcken, annars kan vi få ett Frankenstein-monster av Generativ AI-teknik. Vi måste lägga tiden på att tänka igenom allt som kan gå fel. Oavsett om det är fördomar som smyger sig in i algoritmerna, eller om stora språkmodeller själva används av fel personer för att göra skändliga handlingar.

Tekniken i sig är inte bra eller dålig, men den kan användas av dåliga människor för att göra dåliga saker. Det är därför det är så viktigt att investera tid och resurser i AI-etiker för att göra kontradiktoriska tester för att förstå designfelen. Detta kommer att hjälpa oss att förstå hur man förhindrar missbruk, och jag tror att det förmodligen är den viktigaste aspekten av ansvarsfull AI.

Eftersom AI ännu inte kan tänka själv behöver vi smarta människor som kan bygga dessa standardinställningar när AI programmeras. Den viktiga aspekten att tänka på just nu är timing – vi behöver dessa positiva aktörer som gör dessa saker NU innan det är för sent.

Till skillnad från andra system vi har designat och byggt tidigare, är AI annorlunda eftersom den kan iterera och lära sig på egen hand, så om du inte sätter upp starka skyddsräcken för vad och hur den lär sig, kan vi inte kontrollera vad det kan bli .

Just nu ser vi några stora företag som säger upp etiska styrelser och ansvariga AI-team som en del av stora uppsägningar. Det återstår att se hur seriöst dessa tekniska majors tar tekniken och hur seriöst de granskar AIs potentiella undergångar i sitt beslutsfattande.

Finns det något mer du skulle vilja dela med dig av om ditt arbete med Smartnews?

Jag gick med i SmartNews för att jag tror på dess uppdrag, uppdraget har en viss renhet. Jag är övertygad om att världen blir mer polariserad, och det finns inte tillräckligt med mediekunskap idag för att hjälpa till att bekämpa den trenden.

Tyvärr finns det för många människor som tar WhatsApp-meddelanden som evangelium och tror på dem till nominellt värde. Det kan leda till enorma konsekvenser, inklusive – och särskilt – våld. Allt detta handlar om att människor inte förstår vad de kan och inte kan tro.

Om vi ​​inte utbildar människor eller informerar dem om hur man fattar beslut om tillförlitligheten av vad de konsumerar. Om vi ​​inte introducerar mediekunskapsnivåer för att skilja mellan nyheter och falska nyheter, kommer vi att fortsätta att förespråka problemet och öka de frågor som historien har lärt oss att inte göra.

En av de viktigaste komponenterna i mitt arbete på SmartNews är att hjälpa till att minska polariseringen i världen. Jag vill uppfylla grundarens uppdrag att förbättra mediekunskapen där de kan förstå vad de konsumerar och göra välgrundade åsikter om världen och de många olika perspektiven.

Tack för den fina intervjun, läsare som vill veta mer eller vill testa en annan typ av nyhetsapp bör besöka SmartNews.