Arjun Narayan, Dyrektor ds. Globalnego Zaufania i Bezpieczeństwa w SmartNews – Seria wywiadów

Arjun Narayan, jest Dyrektorem ds. Globalnego Zaufania i Bezpieczeństwa w SmartNews – aplikacji agregującej wiadomości, jest również ekspertem w dziedzinie etyki sztucznej inteligencji i polityki technologicznej. SmartNews wykorzystuje sztuczną inteligencję i zespół redakcyjny do agregowania wiadomości dla czytelników.

Byłeś instrumentalny w pomocy w utworzeniu azjatyckiego centrum zaufania i bezpieczeństwa Google w Singapurze, jakie były najważniejsze lekcje, które wyniosłeś z tego doświadczenia?

Podczas budowania zespołów ds. zaufania i bezpieczeństwa na poziomie kraju, ekspertyza na poziomie kraju jest krytyczna, ponieważ nadużycia są bardzo różne w zależności od kraju, który regulujemy. Na przykład, sposób, w jaki produkty Google (GOOGL ) były nadużywane w Japonii, różnił się od tego, jak były nadużywane w Azji Południowo-Wschodniej i Indiach. Oznacza to, że wektory nadużyć są bardzo różne w zależności od tego, kto je nadużywa i w jakim kraju się znajdujemy; nie ma homogeniczności. To było czymś, czego nauczyliśmy się wcześnie.

Również nauczyłem się, że różnorodność kulturowa jest niezwykle ważna przy budowaniu zespołów ds. zaufania i bezpieczeństwa za granicą. W Google zapewniliśmy, aby było wystarczająco dużo różnorodności kulturowej i zrozumienia wśród osób, które zatrudnialiśmy. Szukaliśmy ludzi z określoną ekspertyzą branżową, ale również z ekspertyzą językową i rynkową.

Również uznałem, że immersja kulturowa jest niezwykle ważna. Kiedy budujemy zespoły ds. zaufania i bezpieczeństwa za granicą, musimy zapewnić, aby nasze zespoły inżynierskie i biznesowe mogły się zanurzyć. Pomaga to zapewnić, że wszyscy są bliżej problemów, którymi próbujemy zarządzać. Aby to zrobić, robiliśmy kwartalne sesje immersyjne z kluczowymi personelem, co pomogło podnieść wszystkich naszych współczynników kulturowych.

W końcu, zrozumienie międzykulturowe było tak ważne. Zarządzałem zespołem w Japonii, Australii, Indiach i Azji Południowo-Wschodniej, a sposób, w jaki互одействowali, był dzikozmienne różny. Jako lider, chcesz zapewnić, aby każdy mógł znaleźć swój głos. Ostatecznie, wszystko to ma na celu zbudowanie wysoko wydajnego zespołu, który może wykonywać wrażliwe zadania, takie jak zaufanie i bezpieczeństwo.

Wcześniej byłeś również w zespole ds. zaufania i bezpieczeństwa w ByteDance dla aplikacji TikTok, jak filmy, które często są krótsze niż jedna minuta, są monitorowane pod kątem bezpieczeństwa?

Chcę nieco zmienić to pytanie, ponieważ nie ma to znaczenia, czy film jest krótki czy długi. To nie jest czynnikiem, który oceniamy, gdy oceniamy bezpieczeństwo filmu, a długość nie ma realnego wpływu na to, czy film może rozprzestrzeniać nadużycia.

Kiedy myślę o nadużyciach, myślę o “problemach”. Jakie są niektóre z problemów, na które użytkownicy są podatni? Dezinformacja? Fałszywa informacja? Niezależnie od tego, czy film trwa 1 minutę czy 1 godzinę, nadal istnieje fałszywa informacja, a poziom nadużyć pozostaje porównywalny.

W zależności od rodzaju problemu, zaczynamy myśleć o egzekwowaniu polityki i zabezpieczeniach bezpieczeństwa, oraz jak możemy chronić użytkowników przed nadużyciami. Na przykład, powiedzmy, że istnieje film, na którym ktoś popełnia samobójstwo. Kiedy otrzymujemy powiadomienie o tym, że taki film istnieje, musimy działać z pilnością, ponieważ ktoś może stracić życie. Bardzo polegamy na sztucznej inteligencji, aby wykryć tego typu przypadki. Pierwszym ruchem jest zawsze skontaktowanie się z władzami, aby spróbować uratować to życie, nic nie jest ważniejsze. Następnie staramy się zawiesić film, transmisję na żywo lub w jakiejkolwiek formie, w której jest on udostępniany. Musimy zapewnić, że minimalizujemy narażenie na tego typu szkodliwe treści jak najszybciej.

Podobnie, jeśli chodzi o mowę nienawiści, istnieją różne sposoby, aby to rozwiązać. Albo w przypadku prześladowania i molestowania, zależy to od rodzaju problemu, a w zależności od tego, dostosowujemy nasze opcje egzekwowania prawa i zabezpieczeń bezpieczeństwa. Innym przykładem dobrych zabezpieczeń bezpieczeństwa było to, że wdrożyliśmy sztuczną inteligencję, która mogła wykryć, kiedy ktoś napisał coś nieodpowiedniego w komentarzach i dać mu sygnał, aby ponownie rozważył, zanim opublikuje ten komentarz. Nie zatrzymywalibyśmy ich koniecznie, ale nasza nadzieja była taka, że ludzie będą myśleć dwa razy, zanim opublikują coś złego.

To wszystko sprowadza się do kombinacji sztucznej inteligencji i reguł słownikowych. Ale, kiedy chodzi o transmisje na żywo, mieliśmy również ludzkich moderatorów, którzy przeglądali te transmisje, które zostały oznaczone przez sztuczną inteligencję, aby mogli natychmiast zgłosić i wdrożyć protokoły. Ponieważ dzieje się to w czasie rzeczywistym, nie wystarczy polegać na tym, że użytkownicy zgłoszą, więc musimy mieć ludzi, którzy monitorują w czasie rzeczywistym.

Od 2021 roku jesteś Dyrektorem ds. Zaufenia, Bezpieczeństwa i Doświadczenia Klienta w SmartNews, aplikacji agregującej wiadomości. Czy mógłbyś omówić, jak SmartNews wykorzystuje sztuczną inteligencję i przetwarzanie języka naturalnego, aby identyfikować i priorytetowo traktować treści wiadomości o wysokiej jakości?

Centralnym pojęciem jest to, że mamy pewne “reguły” lub technologie sztucznej inteligencji, które mogą przeanalizować artykuł lub reklamę i zrozumieć, o czym jest ten artykuł.

Kiedy istnieje coś, co narusza nasze “reguły”, powiedzmy, coś, co jest faktograficznie niepoprawne lub mylące, mamy sztuczną inteligencję, która flaguje tę treść do recenzenta ludzkiego w naszym zespole redakcyjnym. Na tym etapie recenzent rozumie nasze wartości redakcyjne i może szybko ocenić artykuł i podjąć decyzję o jego przydatności lub jakości. Następnie podejmowane są działania, aby to rozwiązać.

Jak SmartNews wykorzystuje sztuczną inteligencję, aby zapewnić, że platforma jest bezpieczna, inkluzywna i obiektywna?

SmartNews został założony na założeniu, że hiperpersonalizacja jest dobra dla ego, ale również polaryzuje nas wszystkich, wzmacniając uprzedzenia i umieszczając ludzi w bańce filtrującej.

Sposób, w jaki SmartNews wykorzystuje sztuczną inteligencję, jest nieco inny, ponieważ nie optymalizujemy wyłącznie pod kątem zaangażowania. Nasz algorytm chce zrozumieć użytkownika, ale nie koniecznie hiperpersonalizuje go do jego gustu. To dlatego, że wierzymy w poszerzanie perspektyw. Nasz silnik AI wprowadzi Cię w pojęcia i artykuły poza sąsiednimi pojęciami.

Pomysł polega na tym, że istnieją rzeczy, których ludzie muszą się dowiedzieć w interesie publicznym, i istnieją rzeczy, których ludzie muszą się dowiedzieć, aby poszerzyć swój zakres. Równowaga, którą staramy się osiągnąć, polega na tym, aby dostarczyć te analizy kontekstowe bez bycia “wielkim bratem”. Czasami ludzie nie będą lubić rzeczy, które nasz algorytm umieszcza w ich karmie. Kiedy tak się stanie, ludzie mogą wybrać, aby nie czytać tego artykułu. Jednak jesteśmy dumni z możliwości naszego silnika AI do promowania przypadkowości, ciekawości, czegoś, co chcesz nazwać.

Na stronie bezpieczeństwa SmartNews istnieje coś, co nazywa się “Wynik wydawcy”, jest to algorytm zaprojektowany, aby stale oceniać, czy wydawca jest bezpieczny, czy nie. Ostatecznie chcemy ustalić, czy wydawca ma autorytatywny głos. Na przykład, możemy wszyscy kolektywnie zgodzić się, że ESPN jest autorytetem w dziedzinie sportu. Ale, jeśli jesteś przypadkowym blogiem kopiującym treści ESPN, musimy zapewnić, że ESPN jest wyższy w rankingu niż ten przypadkowy blog. Wynik wydawcy bierze również pod uwagę czynniki takie jak oryginalność, kiedy artykuły zostały opublikowane, jak wyglądają recenzje użytkowników itp. To jest ostatecznie spektrum wielu czynników, które rozważamy.

Jedna rzecz, która przewyższa wszystko, to “Czy użytkownik chce przeczytać?” Jeśli użytkownik chce wyświetlić artykuły clickbait, nie powstrzymamy ich, jeśli nie jest to nielegalne lub nie narusza naszych wytycznych. Nie narzucamy użytkownikowi, ale jeśli coś jest niebezpieczne lub nieodpowiednie, mamy nasze starania, zanim coś trafi do karmy.

Jakie są Twoje poglądy na temat dziennikarzy, którzy wykorzystują generatywną sztuczną inteligencję, aby pomóc im w tworzeniu treści?

Uważam, że to pytanie jest etyczne i czymś, nad czym obecnie debatujemy w SmartNews. Jak SmartNews powinien traktować wydawców, którzy składają treści utworzone przez generatywną sztuczną inteligencję, a nie przez dziennikarzy?

Uważam, że pociąg już odjechał. Dziś dziennikarze wykorzystują sztuczną inteligencję, aby uzupełnić swoje pisanie. Jest to funkcja skali, nie mamy czasu na świecie, aby produkować artykuły w komercyjnie uzasadnionym tempie, zwłaszcza gdy redakcje ciągle redukują personel. Pytanie brzmi, ile kreatywności wchodzi w to? Czy artykuł jest polerowany przez dziennikarza? Czy dziennikarz jest całkowicie zależny?

Na tym etapie generatywna sztuczna inteligencja nie jest w stanie napisać artykułów na temat bieżących wydarzeń, ponieważ nie ma danych szkoleniowych dla tego. Może jednak dać dziennikarzowi dobrej jakości szablon, aby to zrobić. Na przykład, strzelaniny w szkołach są tak powszechne, możemy założyć, że generatywna sztuczna inteligencja mogłaby dać dziennikarzowi szablon na temat strzelanin w szkołach, a dziennikarz mógłby wstawić szkołę, która została dotknięta, aby otrzymać kompletny szablon.

Ze swojej strony, pracując z SmartNews, są dwie zasady, które uważam za warte rozważenia. Po pierwsze, chcemy, aby wydawcy byli otwarci w informowaniu nas, kiedy treść została wygenerowana przez sztuczną inteligencję, i chcemy ją oznaczyć jako taką. W ten sposób, kiedy ludzie czytają artykuł, nie są wprowadzani w błąd co do tego, kto napisał artykuł. To jest przejrzystość na najwyższym poziomie.

Po drugie, chcemy, aby ten artykuł był faktograficznie poprawny. Wiemy, że generatywna sztuczna inteligencja ma tendencję do wymyślania rzeczy, kiedy chce, i każdy artykuł napisany przez generatywną sztuczną inteligencję musi być przeczytany przez dziennikarza lub zespół redakcyjny.

Wcześniej argumentowałeś, że platformy technologiczne powinny się zjednoczyć i stworzyć wspólne standardy, aby walczyć z cyfrową toksycznością, jak ważnym problemem jest to?

Uważam, że problem ten jest niezwykle ważny, nie tylko dla firm, aby działać etycznie, ale również, aby utrzymać pewien poziom godności i cywilizacji. Moim zdaniem, platformy powinny się zjednoczyć i stworzyć pewne standardy, aby utrzymać tę ludzkość. Na przykład, nikt nie powinien być zachęcany do odebrania sobie życia, ale w niektórych sytuacjach, znajdujemy tego typu nadużycia na platformach, i uważam, że jest to coś, czego firmy powinny się zjednoczyć, aby chronić.

Ostatecznie, kiedy chodzi o problemy ludzkości, nie powinno być konkurencji. Nie powinno być nawet konkurencji na to, kto ma najczystsze lub najbezpieczniejsze społeczność – powinniśmy wszyscy dążyć do tego, aby nasi użytkownicy czuli się bezpiecznie i zrozumiani. Niech się konkurujemy na funkcjach, a nie na wyzysku.

Jakie są sposoby, w jakie cyfrowe firmy mogą współpracować?

Firmy powinny się zjednoczyć, kiedy istnieją wspólne wartości i możliwość współpracy. Zawsze są przestrzenie, w których istnieje współzależność między firmami i branżami, zwłaszcza, kiedy chodzi o walkę z nadużyciami, zapewnianie cywilizacji na platformach lub redukowanie polaryzacji. Są to momenty, w których firmy powinny współpracować.

Istnieje oczywiście kąt handlowy związany z konkurencją, i zwykle konkurencja jest dobra. Pomaga to zapewnić siłę i różnicowanie między firmami i dostarcza rozwiązania o pewnym poziomie skuteczności, którego nie mogą zagwarantować monopole.

Ale, kiedy chodzi o ochronę użytkowników, lub promowanie cywilizacji, lub redukowanie wektorów nadużyć, są to tematy, które są kluczowe dla nas, aby zachować wolny świat. Są to rzeczy, które musimy zrobić, aby chronić to, co jest święte dla nas, i naszą ludzkość. Moim zdaniem, wszystkie platformy mają odpowiedzialność za współpracę w obronie wartości ludzkich i wartości, które nas definiują jako wolny świat.

Jakie są Twoje obecne poglądy na temat odpowiedzialnej sztucznej inteligencji?

Jesteśmy na początku czegoś, co jest bardzo powszechne w naszym życiu. Ta następna faza generatywnej sztucznej inteligencji jest problemem, którego nie w pełni rozumiemy, lub możemy tylko częściowo zrozumieć.

Kiedy chodzi o odpowiedzialną sztuczną inteligencję, jest to niezwykle ważne, abyśmy rozwinęli silne zabezpieczenia, w przeciwnym razie możemy skończyć z potworem Frankensteina technologii generatywnej sztucznej inteligencji. Musimy poświęcić czas, aby pomyśleć o wszystkim, co może pójść nie tak. Czy to jest uprzedzenie, które wprowadza się do algorytmów, czy duże modele językowe są używane przez złe osoby, aby wykonać szkodliwe akty.

Technologia sama w sobie nie jest dobra ani zła, ale może być używana przez złe osoby, aby wykonać złe rzeczy. Dlatego inwestowanie czasu i zasobów w etykę sztucznej inteligencji do testowania przeciwnego jest tak kluczowe. To pomoże nam zrozumieć, jak zapobiec nadużyciom, i uważam, że to jest najważniejszy aspekt odpowiedzialnej sztucznej inteligencji.

Ponieważ sztuczna inteligencja jeszcze nie może myśleć sama za siebie, potrzebujemy mądrych ludzi, którzy mogą zbudować te domyślne ustawienia, kiedy sztuczna inteligencja jest programowana. Ważnym aspektem do rozważenia jest teraz czas – potrzebujemy tych pozytywnych aktorów, którzy robią te rzeczy TERAZ, zanim będzie za późno.

W przeciwieństwie do innych systemów, które zbudowaliśmy i stworzyliśmy w przeszłości, sztuczna inteligencja jest inna, ponieważ może iterować i uczyć się sama, więc jeśli nie ustawimy silnych zabezpieczeń, co i jak się uczy, nie możemy kontrolować, czym się stanie.

Obecnie widzimy, jak duże firmy zwalniają rady etyczne i zespoły odpowiedzialnej sztucznej inteligencji w ramach dużych zwolnień. Pozostaje to, aby zobaczyć, jak poważnie te wielkie technologie traktują tę technologię i jak poważnie przeglądają potencjalne pułapki sztucznej inteligencji w swoim procesie decyzyjnym.

Czy jest coś jeszcze, co chciałbyś podzielić się na temat swojej pracy w SmartNews?

Dołączyłem do SmartNews, ponieważ wierzę w jego misję, misja ta ma pewną czystość. Uważam, że świat staje się coraz bardziej spolaryzowany, a nie ma wystarczającej liczby osób, które rozumieją, jak radzić sobie z tym trendem.

Niestety, są zbyt viele osób, które traktują wiadomości na WhatsApp jako ewangelię i wierzą w nie bezkrytycznie. Może to prowadzić do ogromnych konsekwencji, w tym przemocy. To wszystko sprowadza się do tego, że ludzie nie rozumieją, co mogą, a co nie mogą uwierzyć w to, co konsumują. Jeśli nie edukujemy ludzi, lub nie informujemy ich, jak podejmować decyzje o wiarygodności tego, co konsumują, będziemy nadal promować problem i zwiększać problemy, których historia nauczyła nas nie robić.

Jednym z najważniejszych elementów mojej pracy w SmartNews jest pomoc w redukowaniu polaryzacji na świecie. Chcę wypełnić misję założyciela, aby poprawić umiejętności medialne, aby ludzie mogli zrozumieć, co konsumują, i podejmować świadome decyzje o świecie i różnorodnych perspektywach.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej lub chcą wypróbować inny rodzaj aplikacji do wiadomości, powinni odwiedzić SmartNews.