Alex Ratner, CEO & Co-Founder of Snorkel AI – Wywiad

Alex Ratner jest CEO & współzałożycielem Snorkel AI, firmy powstałej w laboratorium AI Stanford.

Snorkel AI przyspiesza rozwój AI i czyni go bardziej praktycznym, przekształcając ręczne procesy rozwoju AI w rozwiązania programowe. Snorkel AI umożliwia przedsiębiorstwom rozwój AI, który działa dla ich unikalnych obciążeń, wykorzystując ich własne dane i wiedzę 10-100 razy szybciej.

Czym było to, co początkowo przyciągnęło Cię do informatyki?

Istnieją dwie bardzo ekscytujące aspekty informatyki, gdy jesteś młody. Po pierwsze, możesz uczyć się tak szybko, jak chcesz, poprzez eksperymentowanie i budowanie, dzięki natychmiastowej informacji zwrotnej, zamiast musieć czekać na nauczyciela. Po drugie, możesz budować dużo bez potrzeby proszenia o pozwolenie!

Zacząłem programować, gdy byłem małym chłopcem, z powodu tych powodów. Lubiłem również precyzję, jaką wymagała. Lubiłem proces abstrakcji złożonych procesów i rutyn, a następnie kodowania ich w sposób modułowy.

Później, jako dorosły, wróciłem do informatyki zawodowo poprzez pracę w firmie konsultingowej, gdzie miałem za zadanie pisanie skryptów do podstawowej analizy korpusu patentowego. Byłem zafascynowany tym, jak wiele ludzkiej wiedzy – wszystko, co kiedykolwiek zostało uznane za patente – było łatwo dostępne, ale jednocześnie tak niedostępne, ponieważ było tak trudne do wykonania nawet najprostszej analizy złożonego tekstu technicznego i danych wielomodalnych.

To było tym, co spowodowało, że wróciłem do informatyki, a ostatecznie do szkoły podyplomowej na Stanford, gdzie zajmowałem się NLP, czyli dziedziną, w której wykorzystuje się ML/AI do języka naturalnego.

Początkowo rozpoczęłeś i prowadziłeś projekt open-source Snorkel podczas pobytu na Stanford, możesz opowiedzieć o tej wczesnej drodze?

Wtedy byliśmy, jak wiele osób w branży, skupieni na rozwijaniu nowych algorytmów i – czyli wszystkich “fancy” rzeczy związanych z machine learning, na które publikowaliśmy prace i artykuły.

Jednakże zawsze byliśmy bardzo zaangażowani w uzasadnianie tego w realnych problemach – głównie z lekarzami i naukowcami na Stanford. Ale za każdym razem, gdy przedstawialiśmy nowy model lub algorytm, odpowiedź brzmiała “tak, spróbujemy tego, ale potrzebowalibyśmy wszystkich tych danych szkoleniowych, których nie mamy czasu stworzyć!”

Widzieliśmy, że dużym, niewypowiedzianym problemem było okrągłe znakowanie i kuracja tych danych szkoleniowych – więc przenieśliśmy całą naszą uwagę na to, co było początkiem projektu Snorkel i idei “data-centric AI”.

Snorkel ma podejście data-centric AI, możesz wyjaśnić, co to oznacza i jak różni się od podejścia model-centric AI?

Data-centric AI oznacza budowanie lepszych danych, aby stworzyć lepsze modele.

To stoi w opozycji do – ale współpracuje z – model-centric AI. W model-centric AI, uczeni lub badacze zakładają, że dane są statyczne i wkładają swoją energię w dostosowanie architektury modeli i parametrów, aby osiągnąć lepsze wyniki.

Badacze wciąż wykonują świetną pracę w model-centric AI, ale gotowe do użycia modele i techniki auto ML znacznie się poprawiły, więc wybór modelu stał się komodyfikowany w czasie produkcji. Kiedy tak jest, najlepszym sposobem na poprawienie tych modeli jest dostarczenie im więcej i lepszych danych.

Jakie są podstawowe zasady podejścia data-centric AI?

Podstawową zasadą data-centric AI jest prosta: lepsze dane tworzą lepsze modele.

W naszych pracach akademickich nazywaliśmy to “programowaniem danych”. Pomysł polega na tym, że jeśli podasz wystarczająco wytrzymałemu modelowi wystarczająco wielu przykładów wejść i oczekiwanych wyjść, model uczy się powielać te wzorce.

To przedstawia większe wyzwanie, niż się wydaje. Ogromna większość danych nie ma etykiet – lub, przynajmniej, nie ma przydatnych etykiet dla Twojej aplikacji. Ręczne znakowanie danych wymaga nużących, czasochłonnych i ludzkich wysiłków.

Mając zestaw danych z etykietami, nie gwarantuje to jakości. Błędy ludzkie pojawiają się wszędzie. Każdy błędny przykład w Twoich danych szkoleniowych pogarsza wyniki końcowego modelu. Żadne dostosowanie parametrów nie może ukryć tej rzeczywistości. Badacze nawet znaleźli błędnie oznaczone rekordy w podstawowych, otwartych zestawach danych.

Czy możesz wyjaśnić, co oznacza, że data-centric AI jest programowa?

Ręczne znakowanie danych przedstawia poważne wyzwania. Wymaga to wielu ludzkich godzin, a czasem te godziny mogą być drogie. Dokumenty medyczne, na przykład, mogą być oznaczone tylko przez lekarzy.

Ponadto, ręczne sprinty znakowania często są jednorazowymi projektami. Etykietujący oznaczają dane zgodnie z sztywną schemą. Jeśli potrzeby biznesu ulegają zmianie i wymagają innego zestawu etykiet, etykietujący muszą zacząć od nowa.

Programowe podejścia do data-centric AI minimalizują oba te problemy. Programowy system znakowania Snorkel AI łączy różne sygnały – od istniejących modeli po istniejące etykiety i zewnętrzne bazy wiedzy – aby opracować prawdopodobne etykiety na dużą skalę. Naszym podstawowym źródłem sygnału są eksperci ds. przedmiotu, którzy współpracują z naukowcami danych, aby opracować funkcje znakowania. Te funkcje kodują ich ekspertowskie osądy w skalowalne reguły, pozwalając na to, aby wysiłek włożony w jedną decyzję miał wpływ na dziesiątki lub setki punktów danych.

Ten framework jest również elastyczny. Zamiast zaczynać od nowa, gdy potrzeby biznesu ulegają zmianie, użytkownicy dodają, usuwają i dostosowują funkcje znakowania, aby zastosować nowe etykiety w ciągu godzin, a nie dni.

Jak to programowe podejście umożliwia szybkie skalowanie nieoznaczonych danych?

Nasze programowe podejście do data-centric AI umożliwia szybkie skalowanie nieoznaczonych danych, zwiększając wpływ każdego wyboru. Gdy eksperci ds. przedmiotu ustanawiają początkowy, mały zestaw danych szkoleniowych, zaczynają współpracować z naukowcami danych w celu szybkiej iteracji. Definiują kilka funkcji znakowania, trenują szybki model, analizują wpływ swoich funkcji znakowania, a następnie dodają, usuwają lub dostosowują funkcje znakowania, jak potrzeba.

Każdy cykl poprawia wyniki modelu, aż do momentu, gdy spełnia lub przekracza cele projektu. Może to skrócić miesiące pracy związanej z oznaczaniem danych do zaledwie kilku godzin. W jednym z projektów badawczych Snorkel dwóch naszych badaczy oznaczyło 20 000 dokumentów w ciągu jednego dnia – objętość, która mogłaby zająć ręcznym etykietom kilka tygodni lub dłużej.

Snorkel oferuje wiele rozwiązań AI, w tym Snorkel Flow, Snorkel GenGlow i Snorkel Foundry. Jakie są różnice między tymi ofertami?

Suite Snorkel AI umożliwia użytkownikom tworzenie funkcji znakowania (np. wyszukiwanie słów kluczowych lub wzorców w dokumentach), aby programowo oznaczyć miliony punktów danych w ciągu kilku minut, zamiast ręcznie oznaczać jeden punkt danych na raz.

To skraca czas potrzebny firmom do przekształcenia danych własnościowych w gotowe do produkcji modele i rozpoczęcia wykorzystywania ich. Snorkel AI pozwala przedsiębiorstwom skalować podejścia z ludzkim uczestnictwem, efektywnie włączając ludzkie osądy i wiedzę ekspertów ds. przedmiotu.

To prowadzi do bardziej przejrzystego i wyjaśnialnego AI, wyposażając przedsiębiorstwa w możliwość zarządzania stronniczością i dostarczania odpowiedzialnych wyników.

Przechodząc do sedna sprawy, AI Snorkel umożliwia przedsiębiorstwom z listy Fortune 500:

• Tworzenie wysokiej jakości oznaczonych danych do szkolenia modeli lub ulepszania RAG;
• Dostosowywanie LLM z pomocą fine-tuning;
• Destylowanie LLM w specjalistyczne modele, które są znacznie mniejsze i tańsze w eksploatacji;
• Budowanie domenowych i zadań-specyficznych LLM z pre-trenowaniem.

Napisałeś kilka przełomowych prac, Twoim zdaniem, która z nich jest najważniejsza?

Jedna z kluczowych prac była oryginalna praca na temat programowania danych (oznaczania danych szkoleniowych programowo) i na temat Snorkel.

Jakie jest Twoje wizja przyszłości Snorkel?

Widzę Snorkel jako zaufanego partnera dla wszystkich dużych przedsiębiorstw, które poważnie traktują AI.

Snorkel Flow powinien stać się powszechnym narzędziem dla zespołów naukowców danych w dużych przedsiębiorstwach – niezależnie od tego, czy są one dostosowane do niestandardowych dużych modeli językowych dla swoich organizacji, czy budują modele klasyfikacji obrazów, czy budują proste, wdrożone modele regresji logistycznej.

Niezależnie od rodzaju modeli, których potrzebuje biznes, będą potrzebować wysokiej jakości oznaczonych danych do szkolenia.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Snorkel AI,