Arjun Narayan, Șeful Global de Încredere și Siguranță pentru SmartNews – Seria de Interviuri

Arjun Narayan, este Șeful Global de Încredere și Siguranță pentru SmartNews o aplicație de agregare a știrilor, el este, de asemenea, un expert în etica inteligenței artificiale și în politica tehnologică. SmartNews utilizează inteligența artificială și o echipă editorială umană în timp ce agregă știri pentru cititori.

Ați fost instrumental în ajutorul de a stabili hub-ul Google Trust & Safety Asia Pacific în Singapore, ce au fost unele dintre lecțiile cheie pe care le-ați învățat din această experiență?

Atunci când construim echipe de Încredere și Siguranță, expertiza la nivel de țară este critică, deoarece abuzul este foarte diferit în funcție de țara pe care o reglementați. De exemplu, modul în care produsele Google (GOOGL ) au fost abuzate în Japonia a fost diferit de modul în care au fost abuzate în Asia de Sud-Est și India. Acest lucru înseamnă că vectorii de abuz sunt foarte diferiți, în funcție de cine abuzează și de țara în care vă aflați; deci, nu există o omogenitate. Acesta a fost ceva pe care l-am învățat de la început.

De asemenea, am învățat că diversitatea culturală este incredibil de importantă atunci când se construiesc echipe de Încredere și Siguranță în străinătate. La Google, ne-am asigurat că există suficientă diversitate culturală și înțelegere în rândul oamenilor pe care i-am angajat. Căutam oameni cu expertiză de domeniu specifică, dar și cu expertiză lingvistică și de piață.

De asemenea, am găsit imersiunea culturală incredibil de importantă. Atunci când construim echipe de Încredere și Siguranță peste granițe, am trebuit să ne asigurăm că echipele noastre de inginerie și de afaceri pot să se imerseze. Acest lucru ajută la asigurarea faptului că toată lumea este mai aproape de problemele pe care le încercăm să le gestionăm. Pentru a face acest lucru, am organizat sesiuni trimestriale de imersiune cu personalul cheie, și aceasta a ajutat la creșterea IQ-ului cultural al tuturor.

În final, înțelegerea interculturală a fost atât de importantă. Am gestionat o echipă în Japonia, Australia, India și Asia de Sud-Est, și modul în care acestea interacționau era foarte diferit. Ca lider, doriți să vă asigurați că toată lumea își poate găsi vocea. În cele din urmă, toate acestea sunt proiectate pentru a construi o echipă de înaltă performanță care poate executa sarcini sensibile, cum ar fi Încrederea și Siguranța.

Anterior, ați fost, de asemenea, în echipa de Încredere și Siguranță cu ByteDance pentru aplicația TikTok, cum sunt monitorizate în mod eficient videoclipurile care sunt adesea mai scurte de un minut pentru siguranță?

Vreau să reformulez puțin această întrebare, deoarece nu contează realmente dacă un videoclip este scurt sau lung. Acest lucru nu are greutate reală asupra evaluării siguranței videoclipului, și lungimea nu are o influență reală asupra capacității videoclipului de a răspândi abuz.

Când mă gândesc la abuz, mă gândesc la “probleme”. Care sunt unele dintre problemele cu care utilizatorii sunt vulnerabili? Informații false? Dezinformare? Indiferent dacă videoclipul durează 1 minut sau 1 oră, există în continuare informații false care sunt distribuite, și nivelul de abuz rămâne comparabil.

În funcție de tipul de problemă, încep să gândesc prin politica de aplicare și siguranța barierelor și modul în care pot proteja utilizatorii vulnerabili. De exemplu, să zicem că există un videoclip cu o persoană care se sinucide. Atunci când primim notificarea că acest videoclip există, trebuie să acționăm cu urgență, deoarece cineva ar putea pierde viața. Ne bazăm foarte mult pe inteligența artificială pentru a detecta acest tip de abuz. Primul pas este întotdeauna să contactăm autoritățile pentru a încerca să salvăm viața. De acolo, ne propunem să suspendăm videoclipul, transmisia live sau orice format în care este distribuit. Trebuie să ne asigurăm că minimizăm expunerea la acest tip de conținut dăunător cât mai curând posibil.

La fel, dacă este vorba de discurs de ură, există moduri diferite de a descompune acest lucru. Sau în cazul hărțuirii și al bullying-ului, depinde foarte mult de tipul de problemă, și în funcție de aceasta, am ajusta opțiunile noastre de aplicare și siguranța barierelor. Un alt exemplu de barieră de siguranță bună a fost că am implementat inteligență artificială care putea detecta atunci când cineva scria ceva inadecvat în comentarii și oferea un prompt pentru a-i face să se gândească de două ori înainte de a posta acel comentariu. Nu i-am oprit neapărat, dar speram că oamenii se vor gândi de două ori înainte de a distribui ceva răutăcios.

Acest lucru se reduce la o combinație de inteligență artificială și reguli de cuvinte cheie. Dar, atunci când vine vorba de transmisii live, am avut și moderatori umani care examinau acele transmisii care au fost marcate de inteligența artificială, astfel încât aceștia să poată raporta imediat și să implementeze protocoale. Deoarece acestea se desfășoară în timp real, nu este suficient să ne bazăm pe utilizatori pentru a raporta, deci avem nevoie de oameni care să monitorizeze în timp real.

De la 2021, ați fost Șeful de Încredere, Siguranță și Experiență a Clientului la SmartNews, o aplicație de agregare a știrilor. Ați putea discuta cum SmartNews utilizează inteligența artificială și prelucrarea limbajului natural pentru a identifica și a prioritiza conținutul de știri de înaltă calitate?

Conceptul central este că avem anumite “reguli” sau tehnologie de inteligență artificială care poate analiza un articol sau o reclamă și înțelege despre ce este vorba.

Oricând există ceva care încalcă “regulile” noastre, să zicem că ceva este incorect din punct de vedere factual sau înșelător, avem inteligență artificială care semnalează conținutul către un reviewer uman din echipa noastră editorială. În acea etapă, reviewerul înțelege valorile noastre editoriale și poate examina rapid articolul și lua o decizie cu privire la calitatea sau adecvarea sa. De acolo, se iau măsuri pentru a aborda problema.

Cum utilizează SmartNews inteligența artificială pentru a se asigura că platforma este sigură, incluzivă și obiectivă?

SmartNews a fost fondat pe principiul că hiper-personalizarea este bună pentru ego, dar este și polarizantă, întărită de prejudecăți și plasând oamenii într-o bulă de filtru.

Modul în care SmartNews utilizează inteligența artificială este puțin diferit, deoarece nu optimizăm exclusiv pentru angajament. Algoritmul nostru dorește să înțeleagă utilizatorul, dar nu se personalizează neapărat după gustul său. Acest lucru se datorează faptului că credem în lărgirea perspectivelor. Motorul nostru de căutare va introduce utilizatorul în concepte și articole dincolo de concepte adiacente.

Ideea este că există lucruri pe care oamenii trebuie să le știe în interes public, și există lucruri pe care oamenii trebuie să le știe pentru a-și lărgi sfera. Echilibrul pe care încercăm să-l realizăm este să oferim aceste analize contextuale fără a fi “marele frate”. Uneori, oamenii nu vor aprecia articolele pe care algoritmul nostru le introduce în fluxul lor. Când se întâmplă acest lucru, oamenii pot alege să nu citească articolul. Cu toate acestea, suntem mândri de capacitatea motorului nostru de căutare de a promova serendipitatea, curiozitatea, orice doriți să o numiți.

Pe partea de siguranță, SmartNews are ceva numit “Scor de Editor”, acesta este un algoritm proiectat pentru a evalua constant dacă un editor este sigur sau nu. În cele din urmă, dorim să stabilim dacă un editor are o voce autoritară. De exemplu, putem toți să fim de acord că ESPN este o autoritate în domeniul sportului. Dar, dacă sunteți un blog aleator care copiază conținutul ESPN, avem nevoie să ne asigurăm că ESPN este clasat mai sus decât acel blog aleator. Scorul de editor ia în considerare, de asemenea, factori precum originalitatea, când au fost postate articolele, ce arată recenziile utilizatorilor etc. Este, în cele din urmă, un spectru de mulți factori pe care îi luăm în considerare.

Un lucru care depășește totul este “Ce dorește utilizatorul să citească?” Dacă utilizatorul dorește să vadă articole de clickbait, nu îi vom opri dacă nu este ilegal sau nu încalcă ghidurile noastre. Nu impunem asupra utilizatorului, dar dacă ceva este nesigur sau inadecvat, avem datoria noastră de a face diligența noastră înainte de a ajunge în flux.

Care sunt punctele dumneavoastră de vedere cu privire la jurnaliștii care utilizează inteligența artificială generativă pentru a-i ajuta la producerea de conținut?

Cred că această întrebare este una etică și ceva pe care îl dezbătăm în prezent aici, la SmartNews. Cum ar trebui SmartNews să vadă editorii care prezintă conținut format de inteligență artificială generativă, în loc de jurnaliști care îl scriu?

Cred că trenul a plecat deja. Astăzi, jurnaliștii utilizează inteligența artificială pentru a-și îmbunătăți scrierea. Este o funcție a scalei, nu avem timpul în lume pentru a produce articole la un ritm comercial viabil, în special pe măsură ce organizațiile de știri continuă să-și reducă personalul. Întrebarea devine atunci, câtă creativitate se pune în acest lucru? Este articolul lustruit de jurnalist? Sau jurnalistul se bazează în totalitate pe inteligența artificială?

În acest moment, inteligența artificială generativă nu poate scrie articole despre evenimente de știri în timp real, deoarece nu există date de antrenament pentru aceasta. Cu toate acestea, poate oferi un șablon generic foarte bun pentru a face acest lucru. De exemplu, împușcăturile în școli sunt atât de comune, putem presupune că inteligența artificială generativă ar putea oferi un jurnalist un prompt despre împușcăturile în școli și un jurnalist ar putea introduce școala care a fost afectată pentru a obține un șablon complet.

Din punctul meu de vedere, lucrând cu SmartNews, există două principii pe care le consider importante. În primul rând, dorim ca editorii să fie onești în a ne spune atunci când conținutul a fost generat de inteligență artificială, și dorim să-l etichetăm ca atare. Acest lucru se face astfel încât, atunci când oamenii citesc articolul, să nu fie induși în eroare cu privire la cine a scris articolul. Acesta este cel mai înalt nivel de transparență.

În al doilea rând, dorim ca acel articol să fie corect din punct de vedere factual. Știm că inteligența artificială generativă are tendința de a inventa lucruri atunci când dorește, și orice articol scris de inteligență artificială generativă trebuie să fie verificat de un jurnalist sau de personalul editorial.

Ați argumentat anterior că platformele tehnologice ar trebui să se unească și să creeze standarde comune pentru a lupta împotriva toxicității digitale, cât de importantă este această problemă?

Cred că această problemă este de o importanță critică, nu numai pentru ca companiile să opereze în mod etic, ci și pentru a menține un nivel de demnitate și civilitate. În opinia mea, platformele ar trebui să se unească și să dezvolte anumite standarde pentru a menține această umanitate. De exemplu, nimeni nu ar trebui să fie încurajat să-și ia viața, dar în unele situații, găsim acest tip de abuz pe platforme, și cred că acesta este ceva pe care companiile ar trebui să se unească pentru a-l proteja.

În cele din urmă, atunci când vine vorba de probleme de umanitate, nu ar trebui să existe concurență. Nu ar trebui să existe concurență nici măcar cu privire la cine are cea mai curată sau cea mai sigură comunitate – ar trebui să ne străduim să ne asigurăm că utilizatorii noștri se simt în siguranță și înțeleși. Să ne întrecem în ceea ce privește funcțiile, nu exploatarea.

Care sunt unele moduri în care companiile digitale pot lucra împreună?

Companiile ar trebui să se unească atunci când există valori comune și posibilitatea de colaborare. Există întotdeauna spații în care există intersecționalitate între companii și industrii, în special atunci când vine vorba de lupta împotriva abuzului, asigurarea civilității pe platforme sau reducerea polarizării. Acestea sunt momente în care companiile ar trebui să lucreze împreună.

Există, desigur, un unghi comercial cu concurență, și, de obicei, concurența este bună. Acesta ajută la asigurarea puterii și diferențierii între companii și oferă soluții cu un nivel de eficacitate pe care monopolurile nu le pot garanta.

Dar, atunci când vine vorba de protejarea utilizatorilor, sau de promovarea civilității, sau de reducerea vectorilor de abuz, acestea sunt subiecte care sunt fundamentale pentru noi pentru a păstra lumea liberă. Acestea sunt lucruri pe care trebuie să le facem pentru a ne asigura că protejăm ceea ce este sfânt pentru noi, și umanitatea noastră. În opinia mea, toate platformele au responsabilitatea de a colabora în apărarea valorilor umane și a valorilor care ne fac o lume liberă.

Care sunt punctele dumneavoastră de vedere actuale cu privire la inteligența artificială responsabilă?

Suntem la începutul a ceva foarte pătrunzător în viața noastră. Această următoare fază a inteligenței artificiale generative este o problemă pe care nu o înțelegem pe deplin, sau o putem înțelege doar parțial în acest moment.

Când vine vorba de inteligența artificială responsabilă, este atât de important să dezvoltăm garduri puternice, sau altfel s-ar putea să ne trezim cu un monstru Frankenstein al tehnologiilor de inteligență artificială generativă. Trebuie să petrecem timpul gândindu-ne la tot ceea ce poate merge prost. Indiferent dacă este vorba de prejudecăți care pătrund în algoritmi, sau de modele de limbaj mari care sunt utilizate de oameni răi pentru a face acte nefaste.

Tehnologia în sine nu este bună sau rea, dar poate fi utilizată de oameni răi pentru a face lucruri rele. Acesta este motivul pentru care investim timp și resurse în eticieni de inteligență artificială pentru a face testarea adversă și a înțelege defectele de proiectare. Acest lucru ne va ajuta să înțelegem cum să prevenim abuzul, și cred că acesta este probabil cel mai important aspect al inteligenței artificiale responsabile.

Deoarece inteligența artificială nu poate încă gândi singură, avem nevoie de oameni inteligenți care să poată construi aceste setări implicite atunci când inteligența artificială este programată. Aspectul important de luat în considerare în acest moment este timpul – avem nevoie de acești actori pozitivi care fac aceste lucruri ACUM, înainte de a fi prea târziu.

În contrast cu alte sisteme pe care le-am proiectat și construit în trecut, inteligența artificială este diferită, deoarece poate iteră și învăța singură, deci, dacă nu setați garduri puternice pentru ceea ce și cum învață, nu putem controla ce ar putea deveni.

În acest moment, vedem că unele companii mari dizolvă consilii de etică și echipe de inteligență artificială responsabilă ca parte a reducerilor majore de personal. Rămâne de văzut cât de serios iau aceste companii tehnologice tehnologia și cât de serios examinează potențialele căderi ale inteligenței artificiale în procesul de luare a deciziilor.

Există altceva pe care ați dori să-l împărtășiți despre munca dumneavoastră cu SmartNews?

M-am alăturat SmartNews pentru că cred în misiunea sa, misiunea are o anumită puritate. Cred cu tărie că lumea devine din ce în ce mai polarizată, și nu există suficientă alfabetizare mediatică astăzi pentru a combate această tendință.

Nefericit, există prea mulți oameni care iau mesaje WhatsApp ca pe evanghelie și le cred fără să le pună la îndoială. Acest lucru poate duce la consecințe uriașe, inclusiv – și mai ales – violența. Acest lucru se reduce la faptul că oamenii nu înțeleg ce pot și ce nu pot crede. Dacă nu educăm oamenii, sau nu-i informăm despre cum să ia decizii cu privire la încrederea pe care o pot acorda, dacă nu introducem niveluri de alfabetizare mediatică pentru a discerne între știri și știri false, vom continua să promovăm problema și să creștem problemele pe care istoria ne-a învățat să nu le facem.

Una dintre componentele cele mai importante ale muncii mele la SmartNews este de a ajuta la reducerea polarizării în lume. Vreau să îndeplinesc misiunea fondatorului de a îmbunătăți alfabetizarea mediatică, astfel încât oamenii să poată înțelege ce consumă și să ia decizii informate despre lume și despre diversele perspective.

Mulțumim pentru acest interviu minunat, cititorii care doresc să afle mai multe sau să încerce o aplicație de știri diferită ar trebui să viziteze SmartNews.