Ricky Costa, CEO Quantum Stat – Wywiad

Ricky Costa jest dyrektorem generalnym Quantum Stat, firmy oferującej rozwiązania biznesowe dla NLP i inicjatyw związanych z AI

Czym początkowo zainteresował się Pan sztuczną inteligencją?

Przypadek. Czytałem książkę o prawdopodobieństwie, kiedy natknąłem się na słynny twierdzenie. W tym czasie naiwnie zastanawiałem się, czy mogę zastosować to twierdzenie do problemu języka naturalnego, który próbowałem rozwiązać w pracy. Okazało się, że algorytm już istniał, nieznany mi wówczas, nazywał się Naïve Bayes, bardzo słynny i prosty model generatywny stosowany w klasycznym uczeniu maszynowym. To twierdzenie było twierdzeniem Bayesa. Czuję, że ta przypadkowość była wskazówką i zasiałam ziarno ciekawości, aby dowiedzieć się więcej.

Jesteś dyrektorem generalnym Quantum Stat, firmy, która oferuje rozwiązania dla Przetwarzania Języka Naturalnego. Jak znalazłeś się na tym stanowisku?

Kiedy pojawia się rewolucja w nowej technologii, niektóre firmy są bardziej wahające się niż inne w obliczu nieznanych wyzwań. Założyłem swoją firmę, ponieważ podejmowanie nieznanych wyzwań jest dla mnie zabawne. Uważałem również, że jest to odpowiedni moment, aby wejść na rynek NLP, biorąc pod uwagę wszystkie niesamowite badania, które pojawiły się w ciągu ostatnich 2 lat. Społeczność NLP ma teraz możliwość osiągnięcia o wiele więcej z o wiele mniejszymi nakładami, dzięki nowym technikom NLP, które wymagają mniej danych do skalowania wydajności.

Dla czytelników, którzy mogą nie być zaznajomieni z tym polem, mogłbyś wyjaśnić, co robi Przetwarzanie Języka Naturalnego?

NLP jest podpolem AI i analityki, które próbuje zrozumieć język naturalny w tekście, mowie lub wielomodalnym uczeniu (tekst i obrazy/wideo) i oblicza go do punktu, w którym napędza wgląd i/lub świadczy cenną usługę. Wartość może pochodzić z różnych kierunków, od odzyskiwania informacji w wewnętrznym systemie plików firmy, do klasyfikacji sentymentu w wiadomościach, lub bota GPT-2 na Twitterze, który pomaga w marketingu w mediach społecznościowych (jak ten, który zbudowaliśmy kilka tygodni temu).

Masz tytuł licencjata sztuki z Hunter College w dziedzinie psychologii eksperymentalnej. Czy uważasz, że zrozumienie ludzkiego mózgu i psychologii jest atutem w zrozumieniu i rozwijaniu pola Przetwarzania Języka Naturalnego?

To jest sprzeczne, ale niestety, nie. Analogia neuronów i głębokich sieci neuronowych jest po prostu ilustracją i wpojeniem intuicji. Można nauczyć się o wiele więcej z nauki o złożoności i inżynierii. Trudność zrozumienia, jak działa mózg, polega na tym, że mamy do czynienia z złożonym systemem. “Inteligencja” jest zjawiskiem emergentnym z złożoności mózgu, która oddziałuje ze swoim środowiskiem, i jest bardzo trudna do określenia. Psychologia i inne nauki społeczne, które opierają się na “redukcjonizmie” (odgórnym), nie działają w tym złożonym paradygmacie. Oto intuicja: wyobraź sobie kogoś, kto próbuje zredukować piosenkę “Let it Be” do skali C-dur. Nie ma nic w tej skali, co pozwoliłoby przewidzieć, że “Let it Be” wyłoni się z niej. To samo dotyczy kogoś, kto próbuje zredukować zachowanie do aktywności neuronalnej w mózgu.

Czy mógłbyś wyjaśnić, dlaczego Duże Danych jest tak ważne w przypadku Głębokiego Uczenia się i bardziej szczegółowo Przetwarzania Języka Naturalnego?

Jak jest teraz, ponieważ modele głębokiego uczenia się interpolują dane, im więcej danych wprowadza się do modelu, tym mniej przypadków brzegowych zobaczy on podczas wnioskowania w terenie. Ta architektura “zachęca” do korzystania z dużych zbiorów danych, aby zwiększyć dokładność wyjścia. Jednak jeśli chcemy osiągnąć bardziej inteligentne zachowanie modeli AI, musimy patrzeć poza ilość danych, którą mamy, i bardziej w kierunku tego, jak możemy poprawić zdolność modelu do wnioskowania w sposób bardziej wydajny, co intuicyjnie nie powinno wymagać dużej ilości danych. Z punktu widzenia złożoności, eksperymenty z automatykami komórkowymi przeprowadzone w ubiegłym wieku przez fizyków Johna von Neumanna i Stephena Wolframa pokazują, że złożoność może wyłonić się z prostych warunków początkowych i reguł. To, jakie warunki/reguły powinny być w przypadku AI, jest tym, czego wszyscy szukają.

Niedawno uruchomiliście “Big Bad NLP Database”. Co to jest i dlaczego jest ważne dla branży AI?

Ta baza danych została stworzona, aby deweloperzy NLP mieli łatwy dostęp do wszystkich istotnych zbiorów danych w branży. Ta baza danych pomaga indeksować zbiory danych, co ma miły efekt uboczny, pozwalający użytkownikom na ich wyszukiwanie. Przetwarzanie danych zajmuje większość czasu w pipeline wdrożeniowym, a ta baza danych próbuje zminimalizować ten problem jak najbardziej. Ponadto jest to bezpłatna platforma dla każdego, niezależnie od tego, czy jesteś badaczem akademickim, praktykiem, czy niezależnym guru AI, który chce się zaznajomić z danymi NLP. Link

Quantum Stat oferuje obecnie rozwiązania od początku do końca. Jakie są niektóre z tych rozwiązań?

Pomagamy firmom ułatwić ich pipeline modelowania NLP, oferując rozwój na każdym etapie. Możemy pokryć szeroki zakres usług, od czyszczenia danych w fazie przetwarzania wstępnego aż do wdrożenia serwera modelu w produkcji (usługi te są również przedstawione na naszej stronie głównej). Nie wszystkie projekty AI dochodzą do skutku ze względu na nieznany charakter, w jaki Twoje konkretne dane/architektura projektu współpracują z modelem stanowym. Biorąc pod uwagę tę niepewność, nasze usługi dają firmom szansę na iterację nad projektem przy ułamku kosztów zatrudnienia pełnoetatowego inżyniera ML.

Jaki ostatni postęp w AI uważasz za najbardziej interesujący?

Najważniejszy postęp ostatnio to model transformatora, może słyszałeś o nim: BERT, RoBERTa, ALBERT, T5 itd. Modele transformatora są bardzo atrakcyjne, ponieważ pozwalają badaczom osiągnąć wyniki na poziomie stanu sztuki z mniejszymi zbiorami danych. Przed transformatorami deweloper potrzebowałby bardzo dużego zbioru danych, aby wytrenować model od podstaw. Ponieważ te transformatory są wstępnie wytrenowane na miliardach słów, pozwalają one na szybszą iterację projektów AI i jest to to, czym zajmujemy się obecnie.

Czy jest coś jeszcze, co chciałbyś podzielić się na temat Quantum Stat?

Pracujemy nad nowym projektem związanym z analizą sentymentu rynku finansowego, który zostanie wydany wkrótce. Wykorzystaliśmy wiele transformatorów, aby zapewnić bezprecedensowy wgląd w to, jak wiadomości finansowe rozwijają się w czasie rzeczywistym. Czekajcie!

Aby dowiedzieć się więcej, odwiedź Quantum Stat lub przeczytaj nasz artykuł o Big Bad NLP Database.