Arjun Narayan, SmartNewsin Globaalin Luotettavuuden ja Turvallisuuden Johtaja – Haastattelu

Arjun Narayan, on SmartNewsin, uutisaggregaattorin, Globaalin Luotettavuuden ja Turvallisuuden Johtaja. Hän on myös asiantuntija AI-eetiikassa ja teknologiapolitiikassa. SmartNews käyttää AI:ta ja ihmisten toimittamaa sisältöä uutisten kokoamiseen lukijoille.

Olit keskeisessä roolissa Google Trust & Safety Asia Pacific -keskuksen perustamisessa Singaporessa. Mitkä olivat tärkeimmät opit tästä kokemuksesta?

Kun rakennamme Luotettavuuden ja Turvallisuuden tiimejä, maakohtainen asiantuntemus on kriittistä, koska väärinkäyttö vaihtelee maasta riippuen. Esimerkiksi Google (GOOGL ) -tuotteiden väärinkäyttö Japanissa oli erilainen kuin Etelä-Aasiassa ja Intiassa. Tämä tarkoittaa, että väärinkäytön muodot ovat erilaisia riippuen siitä, kuka väärinkäyttää ja missä maassa toimitaan; ei ole yhdenmukaisuutta. Tämä oli meille varhainen oppi.

Opin myös, että kulttuurinen monimuotoisuus on äärimmäisen tärkeää Luotettavuuden ja Turvallisuuden tiimien rakentamisessa ulkomailla. Googlella varmistimme, että meillä oli riittävästi kulttuurista monimuotoisuutta ja ymmärrystä palkkaamissamme henkilöissä. Etsimme henkilöitä, joilla oli tietty alakohtainen asiantuntemus, mutta myös kielitaito ja markkinatuntemus.

Lisäksi kulttuurinen upottaminen oli äärimmäisen tärkeää. Kun rakennamme Luotettavuuden ja Turvallisuuden tiimejä rajojen yli, meidän on varmistettava, että tekninen ja liiketoimintatiimimme pystyvät upottamaan itsensä. Tämä auttaa varmistamaan, että kaikki ovat lähempänä ongelmia, joita yritämme hallita. Teimme neljännesvuosittaisia upottamissessioita avainhenkilöstölle, ja se auttoi kaikkien kulttuurista älykkyyttä.

Lopulta, ristiriitaisen ymmärryksen oli äärimmäisen tärkeää. Johtaminen tiimissä, joka toimi Japanissa, Australiassa, Intiassa ja Kaakkois-Aasiassa, ja tapa, jolla he vuorovaikuttivat, oli äärimmäisen erilainen. Johtajana haluan varmistaa, että jokainen löytää oman äänensä. Lopulta, tämä on suunniteltu rakentamaan korkean suorituskyvyn tiimi, joka voi suorittaa herkkästi tehtäviä, kuten Luotettavuus ja Turvallisuus.

Aikaisemmin olit myös mukana ByteDancen Luotettavuuden ja Turvallisuuden tiimissä TikTok-sovelluksessa. Miten videoita, jotka ovat usein alle minuutin pituisia, valvotaan tehokkaasti turvallisuuden kannalta?

Haluaisin uudelleenmuotoilla tätä kysymystä, koska se ei todella ole merkityksellistä, onko video lyhyt vai pitkä. Se ei ole tekijä, jota arvioidaan, kun arvioidaan videon turvallisuutta, ja kestoa ei ole oikeasti painoa siinä, voiko video levittää väärinkäyttöä.

Kun ajattelen väärinkäyttöä, ajattelen “ongelmia”. Mitkä ovat jotkut ongelmat, joille käyttäjät ovat alttiita? Väärätieto? Epätieto? Se, onko video yksi minuutti vai yksi tunti, ei ole merkityksellistä, kun arvioidaan, voidaanko video levittää väärinkäyttöä.

Riippuen ongelman tyypistä, aloitan pohtimaan politiikan täytäntöönpanoa ja turvallisuuden varotoimia ja miten voimme suojella haavoittuvia käyttäjiä. Esimerkiksi, jos on video, jossa joku tekee itseään vahinkoa. Kun saamme ilmoituksen, että tämä video on olemassa, on toimittava kiireellisesti, koska joku voi menettää henkensä. Luotamme paljon koneoppimiseen tämänkaltaisen havaitsemisen tekemiseksi. Ensimmäinen askel on aina ottaa yhteyttä viranomaisiin yrittääksemme pelastaa henki. Sen jälkeen pyrimme keskeyttämään videon, suoratoistonsa tai mitä tahansa muotoa, jossa se jaetaan. Meidän on varmistettava, että vähennämme altistumista tuolle haitalliselle sisällölle mahdollisimman nopeasti.

Vastaavasti, jos kyseessä on vihamielinen puhe, on erilaisia tapoja purkaa sitä. Tai tapauksessa, jossa on kiusaamista ja häirintää, se riippuu ongelman tyypistä, ja sen mukaan me säätämme täytäntöönpanovaihtoehtomme ja turvallisuuden varotoimiamme. Toinen esimerkki hyvästä turvallisuuden varotoimista oli, että toteutimme koneoppimisen, joka pystyi havaitsemaan, kun joku kirjoitti sopimatonta tekstiä kommentteihin ja antamaan kehotuksen miettiä kahdesti ennen kuin julkaisee kommentin. Emme estäisi heitä välttämättä, mutta toivomme, että ihmiset miettivät kahdesti ennen kuin jakavat jotain ilkeää.

Se tulee yhdistelmästä koneoppimisesta ja avainsanamääräyksistä. Mutta, kun on kyse suoratoistosta, meillä on myös ihmisiä, jotka tarkkailevat suoratoistoa, joka on merkitty AI:lla, jotta he voivat ilmoittaa välittömästi ja toteuttaa protokollia. Koska ne tapahtuvat reaaliajassa, ei ole riittävää, että luotamme käyttäjiin, jotta he ilmoittaisivat, joten meidän on oltava ihmisiä, jotka valvovat reaaliajassa.

Vuodesta 2021 lähtien olet ollut SmartNewsin Luotettavuuden, Turvallisuuden ja Asiakaskokemuksen Johtaja, uutisaggregaattorin. Voisitko keskustella siitä, miten SmartNews hyödyntää koneoppimista ja luonnollista kielenkäsittelyä tunnistamaan ja priorisoimaan laadukkaita uutissisältöjä?

Keskeinen käsite on, että meillä on tiettyjä “sääntöjä” tai koneoppimisteknologiaa, joka voi tulkita artikkelin tai mainoksen ja ymmärtää, mitä se on.

Kun on jotain, joka rikkoo “sääntöjämme”, esimerkiksi jotain, joka on faktuaalisesti väärä tai harhaanjohtava, meillä on koneoppiminen, joka merkitsee sisältöä ihmisen tarkastelijalle tiimissämme, joka ymmärtää toimintamme arvoja ja voi nopeasti arvioida artikkelin sopivuuden tai laadun. Sen jälkeen toteutamme toimenpiteitä osoittamaan sen.

Miten SmartNews käyttää AI:ta varmistaakseen, että alusta on turvallinen, inklusiivinen ja objektiivinen?

SmartNews perustettiin ajatukselle, että hyperhenkilökohtaisuus on hyväksi itsekuvalle, mutta se on myös polarisoivaa meitä kaikkia vahvistaen ennakkoluuloja ja asettamalla ihmiset suodatinkupoliin.

SmartNewsin tapa, jolla se käyttää AI:ta, on hieman erilainen, koska emme optimoi ainoastaan osallistumiselle. Algoritmiamme ymmärtää sinua, mutta se ei välttämättä ole hyperhenkilökohtaista makuusi. Uskomme laajentamiseen näkemyksiä. Algoritmiamme esittelee sinulle käsitteitä ja artikkeleita laajemmin.

Ajatus on, että on asioita, joita ihmiset tarvitsevat tietää julkisen edun vuoksi, ja on asioita, joita ihmiset tarvitsevat laajentamaan näkemyksiään. Tasapaino, jota yritämme saavuttaa, on tarjota nämä kontekstuaaliset analyysit ilman, että olemme isäntämäisiä. Joskus ihmiset eivät pidä siitä, mitä algoritmiamme asettaa heidän syötteeseensä. Kun se tapahtuu, ihmiset voivat valita, etteivät lue sitä artikkelia. Olemme kuitenkin ylpeitä algoritmiamme kyvystä edistää sattumaa, uteliaisuutta, mitä tahansa haluat kutsua.

Turvallisuuden kannalta SmartNewsilla on “julkaisijan arvosana”, joka on algoritmi, joka arvioi jatkuvasti, onko julkaisija turvallinen vai ei. Lopulta, haluamme määrittää, onko julkaisijalla auktoritatiivinen ääni. Esimerkiksi, voimme kaikki yhdessä sanoa, että ESPN on auktoriteetti urheilussa. Mutta, jos joku satunnainen blogi kopioi ESPN:n sisältöä, meidän on varmistettava, että ESPN on korkeammalla kuin se satunnainen blogi. Julkaisijan arvosana ottaa huomioon tekijöitä, kuten alkuperäisyyttä, kun artikkeleita julkaistiin, miltä näyttävät käyttäjien arvostelut jne. Se on lopulta useiden tekijöiden spektri, joita me arvioimme.

Yksi asia, joka voittaa kaiken, on “Mitä käyttäjä haluaa lukea?” Jos käyttäjä haluaa lukea klikkiotsikkoja, emme estä heitä, jos se ei ole laitonta tai riko lakia. Emme pakota käyttäjää, mutta jos jotain on epäturvallista tai sopimatonta, meillä on velvollisuus tehdä velvollisuutemme ennen kuin se pääsee syötteeseen.

Mitä mieltä olet journalistien käytöstä generatiivista AI:ta apuna sisällön tuottamisessa?

Uskon, että tämä on eettinen kysymys, ja se on jotain, mitä me keskustelemme täällä SmartNewsissa. Miten SmartNews tulisi suhtautua julkaisijoihin, jotka lähettävät sisältöä, joka on muodostettu generatiivisella AI:lla eikä journalistien kirjoittamalla?

Uskon, että tämä juna on jo lähtenyt liikkeelle. Tänään journalistit käyttävät AI:ta täydentämään kirjoittamistaan. Se on skaalan funktio; meillä ei ole aikaa tuottaa artikkeleita kaupallisesti kannattavalla nopeudella, erityisesti kun uutisorganisaatiot jatkavat henkilöstön vähentämistä. Kysymys on, kuinka paljon luovuutta sisältyy tähän? Onko artikkeli journalistin hiottua? Vai onko journalisti täysin riippuvainen?

Tässä vaiheessa generatiivinen AI ei pysty kirjoittamaan artikkeleita uutistapahtumista, koska siinä ei ole koulutusdataa. Se voi kuitenkin antaa journalistille hyvän yleisen mallin, jota voidaan käyttää. Esimerkiksi, koulusurmat ovat niin yleisiä, voimme olettaa, että generatiivinen AI voi antaa journalistille mallin koulusurman aiheesta, ja journalisti voi lisätä vaikuttaneen koulun saadakseen valmiin mallin.

Minun näkökulmastani SmartNewsin kanssa on kaksi periaatetta, jotka ovat arvokkaita. Ensinnäkin, haluamme, että julkaisijat ovat avoimia siitä, kun sisältö on luotu AI:lla, ja haluamme merkitä sen sellaisena. Näin, kun ihmiset lukevat artikkelia, he eivät ole harhassa siitä, kuka kirjoitti artikkelin. Tämä on läpinäkyvyyttä korkeimmalla tasolla.

Toiseksi, haluamme, että se artikkeli on tosiasiallisesti oikein. Tiedämme, että generatiivinen AI taipuu keksimään asioita, ja jokainen artikkeli, joka on kirjoitettu generatiivisella AI:lla, on oltava tarkistettu journalistin tai toimittajan toimesta.

Olet aiemmin väittänyt, että teknologiayritysten tulisi yhdistyä ja luoda yhteisiä standardeja taistelussa digitaalista myrkyllisyyttä vastaan. Kuinka tärkeä ongelma tämä on?

Uskon, että tämä on äärimmäisen tärkeää, ei ainoastaan yritysten eettisestä toiminnasta, vaan myös ihmiskunnan arvon ja sivistyksen ylläpitämiseksi. Esimerkiksi, kukaan ei pitäisi koskaan rohkaista ottamaan oman henkensä, mutta joissain tilanteissa löydämme tämänkaltaisen väärinkäytön alustoilla, ja uskon, että tämä on jotain, minkä yritykset tulisi yhdistyä suojelemaan.

Lopulta, kun on kyse inhimillisiä ongelmia, ei pitäisi olla kilpailua. Ei pitäisi edes välttämättä olla kilpailua siitä, kuka on puhtain tai turvallisin yhteisö – meidän tulisi kaikkien pyrkiä varmistamaan, että käyttäjämme tuntevat itsensä turvallisiksi ja ymmärretyiksi. Kilpailekaamme ominaisuuksilla, ei hyväksikäytöllä.

Mitkä ovat joitain keinoja, joilla digitaaliset yritykset voivat työskennellä yhdessä?

Yritykset tulisi yhdistyä, kun on jaettuja arvoja ja mahdollisuuksia yhteistyöhön. On aina tilaa, jossa on leikkauskohtia yritysten ja teollisuuden välillä, erityisesti taistelussa väärinkäytön vastaan, siviiliyhteiskunnan edistämisessä tai polarisaation vähentämisessä. Nämä ovat hetkiä, jolloin yritysten tulisi työskennellä yhdessä.

On tietysti kaupallinen kulma kilpailun kanssa, ja yleensä kilpailu on hyvä. Se auttaa varmistamaan vahvuuden ja erottuvuuden yritysten ja ratkaisujen välillä ja tarjoaa ratkaisuja, joilla on tietty vaikuttavuus, jota monopoli ei voi taata.

Mutta, kun on kyse käyttäjien suojelemisesta, siviiliyhteiskunnan edistämisestä tai väärinkäytön vähentämisestä, nämä ovat aiheita, jotka ovat meille olennaisia ihmiskunnan säilyttämiseksi. Nämä ovat asioita, joita meidän on tehtävä suojelemaan sitä, mikä on pyhää meille, ja ihmiskunnan arvoja. Uskon, että kaikilla alustoilla on vastuu yhteistyöstä ihmisten arvojen ja vapaan maailman arvojen puolustamiseksi.

Mitkä ovat nykyiset näkemyksesi vastuullisesta AI:sta?

Olemme vasta aloittamassa jotain, joka on hyvin laajaa elämässämme. Tämä seuraava vaihe generatiivisessa AI:ssa on ongelma, jota emme täysin ymmärrä tai jota voimme vain osittain ymmärtää tässä vaiheessa.

Kun on kyse vastuullisesta AI:sta, on äärimmäisen tärkeää, että kehitämme vahvat varotoimet, tai muuten voimme päätyä Frankensteinin hirviöksi generatiivisista AI-teknologioista. Meidän on vietävä aikaa pohtimalla kaikkea, mikä voi mennä pieleen. Onko kyseessä bias, joka tulee algoritmeihin, tai ovatko suuret kielimallit itse käytössä vääränlaista tekoa varten?

Teknologia itsessään ei ole hyvää tai pahaa, mutta se voidaan käyttää pahoihin tarkoituksiin. Tämä on syynä, miksi on äärimmäisen tärkeää panostaa AI-eetikoita vastustamaan testaamaan ja ymmärtämään suunnitteluvirheitä. Tämä auttaa meitä ymmärtämään, miten estää väärinkäyttöä, ja uskon, että se on ehkä tärkein puoli vastuullisessa AI:ssa.

Koska AI ei voi ajatella itse, meidän on rakennettava älykkäitä ihmisiä, jotka voivat luoda nämä oletukset, kun AI:ta ohjelmoidaan. Tärkein asia on nyt ajoitus – meidän on tehtävä nämä positiiviset toimet nyt, ennen kuin on liian myöhäistä.

Toisin kuin muut järjestelmät, joita olemme suunnitelleet ja rakentaneet aiemmin, AI on erilainen, koska se voi itse iteroida ja oppia, joten jos emme aseta vahvoja varotoimia siitä, mitä ja miten se oppii, emme voi hallita, mihin se voi kehittyä.

Tällä hetkellä näemme, että jotkut suuret yritykset lakkauttavat eettisiä neuvostoja ja vastuullisia AI-tiimejä osana suuria irtisanomisia. On nähtävä, kuinka vakavasti nämä teknologiajätit ottavat teknologian ja tarkastelevat sen mahdollisia vaaroja päätöksenteossa.

Onko mitään muuta, mitä haluaisit jakaa työstäsi SmartNewsissa?

Liityin SmartNewsiin, koska uskon sen tehtävään, ja tehtävällä on tietty puhdasuus. Uskon, että maailma on polarisoitumassa, ja ei ole riittävästi medialukutaitoa tänä päivänä taistelussa tätä trendiä vastaan.

Valitettavasti on liian monia ihmisiä, jotka ottavat WhatsApp-viestit evankeliumina ja uskovat niihin sellaisenaan. Se voi johtaa valtaviin seurauksiin, mukaan lukien – ja erityisesti – väkivalta. Tämä kaikki johtuu siitä, että ihmiset eivät ymmärrä, mitä he voivat ja eivät voi uskoa.

Jos emme opeta ihmisiä tai anna heille tietoa siitä, miten tehdä päätöksiä siitä, mitä he kuluttavat, emme pysty edistämään ongelman ratkaisemista ja lisäämään ongelmia, joita historian on opettanut meitä olemaan tekemättä.

Yksi tärkeimmistä osista työstäni SmartNewsissa on auttaa vähentämään polarisaatiota maailmassa. Haluan täyttää perustajan tehtävän parantamaan medialukutaitoa, jotta ihmiset voivat ymmärtää, mitä he kuluttavat, ja tehdä perusteltuja päätöksiä maailmasta ja moninaisista näkemyksistä.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää tai haluavat kokeilla erilaista uutissovellusta, voivat vierailla SmartNewsissa.