Yaron Singer, CEO w Robust Intelligence oraz profesor informatyki na Uniwersytecie Harvarda – seria wywiadów

Yaron Singer jest CEO Robust Intelligence oraz profesorem informatyki i matematyki stosowanej na Uniwersytecie Harvarda. Yaron jest znany ze swoich przełomowych wyników w dziedzinie uczenia maszynowego, algorytmów i optymalizacji. Wcześniej Yaron pracował w Google (GOOGL ) Research i uzyskał tytuł doktora na Uniwersytecie Kalifornijskim w Berkeley.

Czym było to, co początkowo przyciągnęło Cię do dziedziny informatyki i uczenia maszynowego?

Moja podróż zaczęła się od matematyki, która doprowadziła mnie do informatyki, a następnie do uczenia maszynowego. Matematyka początkowo zainteresowała mnie, ponieważ jej system aksjomatyczny dał mi możliwość tworzenia nowych światów. Z informatyką nauczyłem się o dowodach egzystencjalnych, ale także o algorytmach, które je wspierają. Z perspektywy twórczej, informatyka jest rysowaniem granic między tym, co możemy, a tym, czego nie możemy zrobić.

Mój zainteresowanie uczeniem maszynowym zawsze było zakorzenione w zainteresowaniu prawdziwymi danymi, niemal fizycznym aspektem ich. Pobieranie rzeczy z prawdziwego świata i modelowanie ich, aby stworzyć coś znaczącego. Moglibyśmy dosłownie zaprojektować lepszy świat poprzez znaczące modelowanie. Matematyka dała mi podstawę, aby udowodnić rzeczy, informatyka pomaga mi zobaczyć, co można i czego nie można zrobić, a uczenie maszynowe pozwala mi modelować te pojęcia na świecie.

Do niedawna byłeś profesorem informatyki i matematyki stosowanej na Uniwersytecie Harvarda, jakie były twoje najważniejsze wnioski z tego doświadczenia?

Mój największy wniosek z bycia członkiem wydziału na Uniwersytecie Harvarda jest taki, że rozwija on apetyt na robienie wielkich rzeczy. Uniwersytet Harvarda tradycyjnie ma niewielki wydział, a oczekiwanie wobec młodych pracowników naukowych jest takie, aby podejmowali się dużych problemów i tworzyli nowe dziedziny. Musisz być śmiały. To okazuje się być doskonałym przygotowaniem do założenia startupu, który tworzy nową kategorię i definiuje nową przestrzeń. Niekoniecznie polecam przechodzenie przez proces mianowania na Uniwersytecie Harvarda, ale jeśli przetrwasz to, budowanie startupu jest łatwiejsze.

Czy mógłbyś opisać swój moment “aha”, kiedy zrozumiałeś, że zaawansowane systemy AI są podatne na złe dane, z pewnymi potencjalnie dalekosiężnymi konsekwencjami?

Kiedy byłem studentem doktoranckim na Uniwersytecie Kalifornijskim w Berkeley, wziąłem przerwę, aby założyć startup, który budował modele uczenia maszynowego dla marketingu w sieciach społecznościowych. Było to w 2010 roku. Mieliśmy ogromne ilości danych z mediów społecznościowych i zakodowaliśmy wszystkie modele od podstaw. Wpływ finansowy na detalistów był dość znaczący, więc śledziliśmy ściśle wyniki modeli. Ponieważ używaliśmy danych z mediów społecznościowych, było wiele błędów wejściowych, a także dryf. Zobaczyliśmy, że bardzo małe błędy powodowały duże zmiany w danych wyjściowych modelu i mogły prowadzić do złych wyników finansowych dla detalistów, którzy używali produktu.

Kiedy przeniosłem się do pracy nad Google+ (dla tych, którzy pamiętają), zobaczyłem dokładnie te same efekty. Bardziej dramatycznie, w systemach takich jak AdWords, które dokonywały prognoz dotyczących prawdopodobieństwa kliknięcia na reklamę dla słów kluczowych, zauważyliśmy, że małe błędy wejściowe do modelu prowadziły do bardzo złych prognoz. Kiedy doświadczysz tego problemu w skali Google, zdajesz sobie sprawę, że problem jest powszechny.

Te doświadczenia znacznie ukształtowały moje badania, a ja spędziłem czas na Uniwersytecie Harvarda, badając, dlaczego modele AI popełniają błędy i, co ważne, jak zaprojektować algorytmy, które mogą zapobiec popełnianiu błędów przez modele. To, oczywiście, doprowadziło do więcej “aha” momentów i, ostatecznie, do stworzenia Robust Intelligence.

Czy mógłbyś podzielić się historią powstania Robust Intelligence?

Robust Intelligence zaczęło się od badań nad tym, co początkowo było teoretycznym problemem: jakie gwarancje możemy mieć dla decyzji podejmowanych przy użyciu modeli AI. Kojin był studentem na Uniwersytecie Harvarda, a my pracowaliśmy razem, początkowo pisząc artykuły naukowe. Zaczęło się więc od pisania artykułów, które opisywały, co jest fundamentalnie możliwe i niemożliwe, teoretycznie. Później te wyniki doprowadziły do programu projektowania algorytmów i modeli, które są odporne na awarie AI. Następnie zbudowaliśmy systemy, które mogą uruchamiać te algorytmy w praktyce. Po tym, założenie firmy, w której organizacje mogą korzystać z systemu takiego, było naturalnym następnym krokiem.

Wiele problemów, którymi zajmuje się Robust Intelligence, to błędy ciche, co to są i co sprawia, że są one tak niebezpieczne?

Przed podaniem technicznego definicji błędów cichych, warto zrobić krok wstecz i zrozumieć, dlaczego powinniśmy się martwić o to, że modele AI popełniają błędy. Powodem, dla którego martwimy się o to, że modele AI popełniają błędy, są konsekwencje tych błędów. Nasz świat używa AI do automatyzacji decyzji, zwłaszcza decyzji krytycznych, i automatycznie wprowadza ryzyko. Złe dane mogą być tak nieznaczne, jak wprowadzenie zera zamiast jedynki, a jednak mogą mieć znaczące konsekwencje. Czy to błędne prognozy medyczne, czy fałszywe prognozy dotyczące kredytów, ogniwo AI pomaga organizacjom w zapobieganiu ryzyku.

Jak system może pomóc w zapobieganiu stronniczości AI?

Stronniczość modelu pochodzi z rozbieżności między danymi, na których model został wytrenowany, a danymi, których używa do podejmowania decyzji. Wróćmy do ryzyka AI, stronniczość jest głównym problemem przypisanym do błędów cichych. Na przykład, często jest to problem z niedoreprezentowanymi populacjami. Model może mieć stronniczość, ponieważ widział mniej danych z tej populacji, co dramatycznie wpłynie na wyniki modelu i dokładność jego prognoz. Ogniwo AI może ostrzegać organizacje o tych rozbieżnościach danych i pomagać modelom w podejmowaniu prawidłowych decyzji.

Jakie są inne ryzyka dla organizacji, którym ogniwo AI pomaga zapobiegać?

Każda firma, która używa AI do automatyzacji decyzji, zwłaszcza decyzji krytycznych, automatycznie wprowadza ryzyko. Złe dane mogą być tak nieznaczne, jak wprowadzenie zera zamiast jedynki, a jednak mogą mieć znaczące konsekwencje. Czy to błędne prognozy medyczne, czy fałszywe prognozy dotyczące kredytów, ogniwo AI pomaga organizacjom w zapobieganiu ryzyku.

Czy jest coś jeszcze, co chciałbyś podzielić się na temat Robust Intelligence?

Robust Intelligence rozwija się dynamicznie i otrzymujemy wiele dobrych kandydatów na stanowiska. Ale coś, co naprawdę chcę podkreślić dla osób, które rozważają aplikowanie, to to, że najważniejszą cechą, której szukamy u kandydatów, jest ich pasja do misji. Spotykamy wiele kandydatów, którzy są silni technicznie, więc to naprawdę sprowadza się do zrozumienia, czy są naprawdę pasjonowani eliminowaniem ryzyka AI, aby uczynić świat bezpieczniejszym i lepszym miejscem.

W świecie, do którego zmierzamy, wiele decyzji, które obecnie są podejmowane przez ludzi, będzie zautomatyzowanych. Czy nam się to podoba, czy nie, to fakt. Biorąc to pod uwagę, wszyscy w Robust Intelligence chcemy, aby zautomatyzowane decyzje były podejmowane w sposób odpowiedzialny. Więc każdy, kto jest podekscytowany tym, aby mieć wpływ, kto rozumie, w jaki sposób to może wpłynąć na życie ludzi, jest kandydatem, którego szukamy do dołączenia do Robust Intelligence. Szukamy tej pasji. Szukamy ludzi, którzy stworzą tę technologię, którą cały świat będzie używał.

Dziękuję za wspaniały wywiad, cieszyłem się, ucząc się o Twoich poglądach na temat zapobiegania stronniczości AI i potrzeby ogniwa AI, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Robust Intelligence.