Alex Ratner, CEO & Co-Founder of Snorkel AI – Wywiad z serii

Alex Ratner jest CEO & Co-Founderem Snorkel AI, firmy powstałej w laboratorium AI na Stanfordzie.

Snorkel AI przyspiesza rozwój AI i czyni go bardziej praktycznym, przekształcając ręczne procesy rozwoju AI w rozwiązania programowe. Snorkel AI umożliwia przedsiębiorstwom rozwój AI, który działa dla ich unikalnych obciążeń, wykorzystując ich własne dane i wiedzę 10-100 razy szybciej.

Co początkowo przyciągnęło Cię do informatyki?

Istnieją dwie bardzo ekscytujące aspekty informatyki, gdy jesteś młody. Po pierwsze, możesz uczyć się tak szybko, jak chcesz, dzięki eksperymentowaniu i budowaniu, bez potrzeby oczekiwania na nauczyciela. Po drugie, możesz budować dużo bez potrzeby proszenia o pozwolenie!

Zacząłem programować, gdy byłem małym chłopcem, z tych powodów. Lubiłem również precyzję, jakiej wymagała. Cieszyłem się procesem abstrakcji złożonych procesów i rutyn, a następnie ich kodowania w sposób modułowy.

Później, jako dorosły, wróciłem do informatyki zawodowo poprzez pracę w firmie konsultingowej, gdzie miałem za zadanie pisanie skryptów do podstawowej analizy korpusu patentowego. Byłem zafascynowany tym, jak wiele ludzkiej wiedzy – wszystko, co kiedykolwiek zostało uznane za patente – było łatwo dostępne, a jednak tak nieaccessne, ponieważ było tak trudne do wykonania nawet najprostszej analizy nad złożonym tekstem technicznym i danymi wielomodalnymi.

To było to, co spowodowało, że wróciłem w dół króliczej nory i ostatecznie do szkoły podyplomowej na Stanfordzie, koncentrując się na NLP, czyli dziedzinie wykorzystującej ML/AI do języka naturalnego.

Początkowo rozpocząłeś i poprowadziłeś projekt open-source Snorkel podczas pobytu na Stanfordzie, możesz opowiedzieć o tej wczesnej drodze?

Wtedy byliśmy, jak wielu w branży, skupieni na rozwijaniu nowych algorytmów i – czyli wszystkich “fancy” rzeczy związanych z machine learning, na które ludzie w społeczności prowadzili badania i publikowali artykuły.

Jednakże zawsze byliśmy bardzo zaangażowani w uzasadnianie tego w realnych problemach – głównie z lekarzami i naukowcami na Stanfordzie. Ale za każdym razem, gdy prezentowaliśmy nowy model lub algorytm, odpowiedź brzmiała “oczywiście, spróbujemy tego, ale będziemy potrzebować wszystkich tych danych szkoleniowych, których nie mamy czasu stworzyć!”

Widzieliśmy, że dużym niewypowiedzianym problemem był proces etykietowania i kuracji tych danych szkoleniowych – więc przenieśliśmy całą naszą uwagę na to, co było początkiem projektu Snorkel i idei “data-centric AI”.

Snorkel ma podejście data-centric AI, możesz zdefiniować, co to znaczy i jak różni się od model-centric AI development?

Data-centric AI oznacza koncentrowanie się na budowaniu lepszych danych, aby zbudować lepsze modele.

To stoi w przeciwieństwie do, ale działa wraz z, model-centric AI. W model-centric AI, naukowcy lub badacze zakładają, że dane są statyczne i wkładają swoją energię w dostosowanie architektur modeli i parametrów, aby osiągnąć lepsze wyniki.

Badacze nadal wykonują świetną pracę w model-centric AI, ale gotowe do użycia modele i techniki auto ML znacznie się poprawiły, więc wybór modelu stał się komodyfikowany w czasie produkcji. Gdy jest to przypadku, najlepszym sposobem na poprawienie tych modeli jest dostarczenie im więcej i lepszych danych.

Jakie są podstawowe zasady podejścia data-centric AI?

Podstawową zasadą data-centric AI jest prosta: lepsze dane tworzą lepsze modele.

W naszych pracach akademickich nazwaliśmy to “programowaniem danych”. Pomysł polega na tym, że jeśli podasz wystarczająco wytrzymałemu modelowi wystarczająco wielu przykładów wejść i oczekiwanych wyjść, model uczy się, jak powielać te wzorce.

To stanowi większe wyzwanie, niż się wydaje. Ogromna większość danych nie ma etykiet – lub, przynajmniej, nie ma przydatnych etykiet dla Twojej aplikacji. Ręczne etykietowanie danych wymaga nużącej pracy, czasu i ludzkiego wysiłku.

Posiadanie zestawu danych z etykietami nie gwarantuje również jakości. Błąd ludzki jest wszędzie. Każdy niepoprawny przykład w Twojej prawdzie podstawowej pogarsza wydajność końcowego modelu. Żadne dostosowanie parametrów nie może ukryć tej rzeczywistości. Badacze nawet znaleźli niepoprawnie oznaczone rekordy w podstawowych zestawach danych open source.

Czy możesz wyjaśnić, co oznacza dla Data-Centric AI być programowym?

Ręczne etykietowanie danych stanowi poważne wyzwania. Wymaga to wielu ludzkich godzin, a czasem te ludzkie godziny mogą być drogie. Dokumenty medyczne, na przykład, mogą być oznaczone tylko przez lekarzy.

Ponadto ręczne etykietowanie często kończy się jednorazowymi projektami. Etykietujący oznaczają dane zgodnie z sztywnym schematem. Jeśli potrzeby biznesu ulegną zmianie i wymagają innego zestawu etykiet, etykietujący muszą zacząć wszystko od nowa.

Programowe podejścia do data-centric AI minimalizują oba te problemy. Programowy system etykietowania Snorkel AI wykorzystuje różnorodne sygnały – od istniejących modeli po istniejące etykiety i zewnętrzne bazy wiedzy – aby rozwijać prawdopodobne etykiety w skali. Naszym podstawowym źródłem sygnału są eksperci ds. przedmiotu, którzy współpracują z naukowcami danych, aby tworzyć funkcje etykietowania. Te funkcje kodują ich ekspertyczną ocenę w skalowalne reguły, pozwalając na to, aby wysiłek włożony w jedną decyzję miał wpływ na dziesiątki lub setki punktów danych.

Ten framework jest również elastyczny. Zamiast zaczynać wszystko od nowa, gdy potrzeby biznesu ulegają zmianie, użytkownicy dodają, usuwają i dostosowują funkcje etykietowania, aby zastosować nowe etykiety w ciągu godzin zamiast dni.

Jak to podejście data-centric umożliwia szybkie skalowanie nieoznaczonych danych?

Nasze programowe podejście do data-centric AI umożliwia szybkie skalowanie nieoznaczonych danych, zwiększając wpływ każdego wyboru. Gdy eksperci ds. przedmiotu ustalili początkowy, mały zestaw danych podstawowych, zaczynają współpracować z naukowcami danych w celu szybkiej iteracji. Definiują kilka funkcji etykietowania, trenują szybki model, analizują wpływ swoich funkcji etykietowania, a następnie dodają, usuwają lub dostosowują funkcje etykietowania zgodnie z potrzebami.

Każdy cykl poprawia wydajność modelu, aż do momentu, gdy spełnia lub przekracza cele projektu. To może zmniejszyć miesiące pracy związaną z etykietowaniem danych do zaledwie kilku godzin. W jednym z projektów badawczych Snorkel dwóch naszych badaczy oznaczyło 20 000 dokumentów w ciągu jednego dnia – objętość, która mogłaby zająć ręcznym etykietującym dziesięć tygodni lub dłużej.

Snorkel oferuje wiele rozwiązań AI, w tym Snorkel Flow, Snorkel GenGlow i Snorkel Foundry. Jakie są różnice między tymi ofertami?

Snorkel AI umożliwia użytkownikom tworzenie funkcji etykietowania (np. wyszukiwanie słów kluczowych lub wzorców w dokumentach), aby programowo oznaczyć miliony punktów danych w ciągu kilku minut, zamiast ręcznego oznaczania jednego punktu danych na raz.

To skraca czas potrzebny firmom do przekształcenia danych własnościowych w gotowe do produkcji modele i rozpoczęcia ekstrakcji wartości z nich. Snorkel AI pozwala przedsiębiorstwom skalować podejścia z ludzkim udziałem, efektywnie włączając ludzką ocenę i wiedzę ekspertów ds. przedmiotu.

To prowadzi do bardziej przejrzystego i wyjaśnialnego AI, wyposażając przedsiębiorstwa w możliwość zarządzania stronniczością i dostarczania odpowiedzialnych wyników.

Sprowadzając to do sedna, Snorkel AI umożliwia przedsiębiorstwom z listy Fortune 500:

• Tworzenie wysokiej jakości danych oznaczonych w celu szkolenia modeli lub ulepszania RAG;
• Dostosowywanie LLM z wykorzystaniem fine-tuning;
• Destylowanie LLM w specjalistyczne modele, które są znacznie mniejsze i tańsze w eksploatacji;
• Budowanie domenowych i zadań-specyficznych LLM z pre-trenowaniem.

Napisałeś kilka przełomowych artykułów, Twoim zdaniem, który z nich jest najważniejszy?

Jednym z kluczowych artykułów był ten oryginalny na temat programowania danych (oznaczania danych szkoleniowych programowo) i na temat Snorkel.

Jaka jest Twoja wizja przyszłości Snorkel?

Widzę Snorkel jako zaufanego partnera dla wszystkich dużych przedsiębiorstw, które poważnie traktują AI.

Snorkel Flow powinien stać się powszechnym narzędziem dla zespołów naukowców danych w dużych przedsiębiorstwach – niezależnie od tego, czy są to dostosowywane niestandardowe duże modele językowe dla swoich organizacji, budowanie modeli klasyfikacji obrazów czy proste, wdrożone modele regresji logistycznej.

Niezależnie od rodzaju modeli, których potrzebuje biznes, będą potrzebować wysokiej jakości danych oznaczonych, aby je przeszkolić.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Snorkel AI,