Alex Ratner, CEO și Co-Fondator al Snorkel AI – Seria de Interviuri

Alex Ratner este CEO și Co-Fondator al Snorkel AI, o companie născută din laboratorul de inteligență artificială de la Stanford.

Snorkel AI face dezvoltarea inteligenței artificiale rapidă și practică prin transformarea proceselor manuale de dezvoltare a inteligenței artificiale în soluții programatice. Snorkel AI permite întreprinderilor să dezvolte inteligență artificială care funcționează pentru sarcinile lor unice, utilizând datele și cunoștințele lor proprii, de 10-100 de ori mai repede.

Ce v-a atras inițial la informatică?

Există două aspecte foarte interesante ale informaticii atunci când sunteți tânăr. Unul, puteți învăța cât de repede doriți prin experimentare și construire, având feedback instantaneu, și nu trebuie să așteptați un profesor. Doi, puteți construi mult fără a cere permisiunea nimănui!

M-am apucat de programare când eram un copil mic din aceste motive. De asemenea, iubeam precizia pe care o cerea. Îmi plăcea procesul de abstractizare a proceselor și rutinelor complexe și de codificare a lor într-un mod modular.

Mai târziu, ca adult, m-am întors în informatică profesională prin intermediul unui loc de muncă în consultanță, unde mi s-a cerut să scriu scripturi pentru a face unele analize de bază ale corpusului de brevete. Eram fascinat de faptul că atât de multă cunoștință umană – orice lucru pe care cineva l-a considerat vreodată brevetabil – era disponibil, dar în același timp, era atât de inaccesibil, deoarece era atât de greu să faci chiar și cele mai simple analize pe text tehnic complex și date multimodale.

Acest lucru m-a determinat să mă întorc pe calea informaticii și, în cele din urmă, la școala de absolvenți de la Stanford, concentrându-mă pe NLP, care este domeniul de utilizare a inteligenței artificiale pe limbaj natural.

Ați început și condus proiectul open-source Snorkel în timp ce erați la Stanford, puteți descrie călătoria din aceste zile timpurii?

Pe atunci, eram, ca mulți din industrie, concentrați pe dezvoltarea de algoritmi noi și – adică toate “lucrurile deosebite” de învățare automată pe care oamenii din comunitate le făceau cercetare și publicau articole.

Însă, eram întotdeauna foarte dedicați să ancorăm aceste lucruri în probleme din lumea reală – în mare parte cu doctori și oameni de știință de la Stanford. Dar, de fiecare dată când prezentam un nou model sau algoritm, răspunsul devenea “sigur, am încerca asta, dar am nevoie de toate aceste date de antrenare etichetate pe care nu le avem timp să le creăm!”

Am văzut că problema mare, nespusă, era legată de procesul de etichetare și curățare a acestor date de antrenare – așa că am schimbat toată atenția noastră spre asta, și asta a fost cum a început proiectul Snorkel și conceptul de “inteligență artificială centrată pe date”.

Snorkel are o abordare de inteligență artificială centrată pe date, puteți defini ce înseamnă acest lucru și cum se diferențiază de dezvoltarea de inteligență artificială centrată pe modele?

Inteligența artificială centrată pe date înseamnă concentrarea pe construirea unor date mai bune pentru a construi modele mai bune.

Acest lucru se opune – dar lucrează împreună cu – inteligența artificială centrată pe modele. În inteligența artificială centrată pe modele, oamenii de știință sau cercetătorii presupun că datele sunt statice și-și concentrează energia pe ajustarea arhitecturilor de modele și a parametrilor pentru a obține rezultate mai bune.

Cercetătorii fac încă un lucru minunat în inteligența artificială centrată pe modele, dar modelele și tehnicile de învățare automată “gata de folosit” s-au îmbunătățit atât de mult, încât alegerea modelului a devenit o marfă la momentul producției. Când este cazul, cel mai bun mod de a îmbunătăți aceste modele este de a le furniza mai multe și mai bune date.

Care sunt principiile de bază ale unei abordări de inteligență artificială centrată pe date?

Principiul de bază al inteligenței artificiale centrate pe date este simplu: date mai bune construiesc modele mai bune.

În lucrările noastre academice, am numit acest lucru “programare de date”. Ideea este că, dacă hrăniți un model suficient de robust cu suficiente exemple de intrări și ieșiri așteptate, modelul învață să reproducă aceste modele.

Acest lucru prezintă o provocare mai mare decât ați putea anticipa. Majoritatea datelor nu au etichete – sau, cel puțin, nu au etichete utile pentru aplicația dvs. Etichetarea datelor manual necesită monotonie, timp și efort uman.

De asemenea, având un set de date etichetate nu garantează calitatea. Erorile umane se strecoară peste tot. Fiecare exemplu incorect din setul de date de antrenare va deteriora performanța modelului final. Nicio ajustare a parametrilor nu poate ascunde această realitate. Cercetătorii au găsit chiar și înregistrări etichetate incorect în seturi de date deschise.

Puteți explica ce înseamnă ca inteligența artificială centrată pe date să fie programatică?

Etichetarea manuală a datelor prezintă provocări serioase. Acest lucru necesită multe ore de muncă umană, și uneori aceste ore pot fi scumpe. Documentele medicale, de exemplu, pot fi etichetate doar de medici.

De asemenea, sprinturile de etichetare manuală adesea se reduc la proiecte cu utilizare unică. Etichetatorii anotează datele conform unui schema rigid. Dacă nevoile unei afaceri se schimbă și necesită un alt set de etichete, etichetatorii trebuie să înceapă din nou de la zero.

Abordările programatice pentru inteligența artificială centrată pe date minimizează ambele probleme. Sistemul de etichetare programatic al Snorkel AI incorporează semnale diverse – de la modele legacy la etichete existente la baze de cunoștințe externe – pentru a dezvolta etichete probabilistice la scară. Sursa noastră principală de semnal provine de la experți în domeniu care colaborează cu oameni de știință pentru a construi funcții de etichetare. Acestea codifică judecata lor de expert în reguli escalabile, permițând efortului investit într-o decizie să afecteze zeci sau sute de puncte de date.

Acest cadru este, de asemenea, flexibil. În loc să înceapă de la zero atunci când nevoile de afaceri se schimbă, utilizatorii adaugă, elimină și ajustează funcțiile de etichetare pentru a aplica noi etichete în ore, în loc de zile.

Cum permite abordarea dvs. de inteligență artificială centrată pe date o escaladare rapidă a datelor neetichetate?

Abordarea noastră programatică pentru inteligența artificială centrată pe date permite o escaladare rapidă a datelor neetichetate prin amplificarea impactului fiecărei alegeri. Odată ce experții în domeniu stabilesc un set inițial mic de date de antrenare, ei încep să colaboreze cu oameni de știință pentru o iterație rapidă. Ei definesc câteva funcții de etichetare, antrenează un model rapid, analizează impactul funcțiilor lor de etichetare și apoi adaugă, elimină sau ajustează funcțiile de etichetare după cum este necesar.

Fiecare ciclu îmbunătățește performanța modelului până când atinge sau depășește obiectivele proiectului. Acest lucru poate reduce luni de muncă de etichetare a datelor la doar câteva ore. Într-unul dintre proiectele de cercetare Snorkel, doi dintre cercetătorii noștri au etichetat 20.000 de documente într-o singură zi – un volum care ar fi putut dura săptămâni sau luni pentru etichetatorii manuali.

Snorkel oferă multiple soluții de inteligență artificială, incluzând Snorkel Flow, Snorkel GenGlow și Snorkel Foundry. Care sunt diferențele dintre aceste oferte?

Suite-ul Snorkel AI permite utilizatorilor să creeze funcții de etichetare (de exemplu, căutarea cuvintelor cheie sau a modelelor în documente) pentru a eticheta programatic milioane de puncte de date în minute, în loc de a eticheta manual un punct de date o dată.

Acesta comprimă timpul necesar pentru ca companiile să traducă datele lor proprietare în modele gata de producție și să înceapă să extragă valoare din ele. Snorkel AI permite întreprinderilor să escaladeze abordările “omul în buclă” prin încorporarea eficientă a judecății umane și a cunoștințelor experților în domeniu.

Acest lucru duce la o inteligență artificială mai transparentă și mai explicabilă, echipând întreprinderile să gestioneze prejudecățile și să livreze rezultate responsabile.

Pentru a ajunge la esența lucrurilor, Snorkel AI permite întreprinderilor din top 500 să:

• Dezvolte date etichetate de înaltă calitate pentru a antrena modele sau a îmbunătăți RAG;
• Personalizeze LLM-urile prin ajustare fină;
• Distile LLM-urile în modele specializate care sunt mult mai mici și mai ieftine de operat;
• Construiască LLM-uri specifice domeniului și sarcinii cu pre-antrenare.

Ați scris unele articole deosebite, în opinia dvs., care este cel mai important articol?

Unul dintre articolele cheie a fost cel original despre programarea datelor (etichetarea datelor de antrenare în mod programatic) și despre Snorkel.

Care este viziunea dvs. pentru viitorul Snorkel?

Văd Snorkel devenind un partener de încredere pentru toate marile întreprinderi care sunt serioase în legătură cu inteligența artificială.

Snorkel Flow ar trebui să devină un instrument ubicuu pentru echipele de știință a datelor din marile întreprinderi – indiferent dacă ajustează modele de limbaj mare personalizate pentru organizațiile lor, construiesc modele de clasificare a imaginilor sau construiesc modele de regresie logistică simple și ușor de implementat.

Indiferent de tipul de modele de care are nevoie o afacere, acestea vor avea nevoie de date etichetate de înaltă calitate pentru a le antrena.

Mulțumim pentru acest interviu minunat, cititorii care doresc să afle mai multe despre Snorkel AI ar trebui să viziteze Snorkel AI,