Alex Ratner, uitvoerende hoof en medestigter van Snorkel AI – Interview Series

Alex Ratner is die uitvoerende hoof en mede-stigter van Snorkel AI, 'n maatskappy wat uit die Stanford KI-laboratorium gebore is.

Snorkel AI maak KI-ontwikkeling vinnig en prakties deur handmatige KI-ontwikkelingsprosesse in programmatiese oplossings te transformeer. Snorkel KI stel ondernemings in staat om KI te ontwikkel wat vir hul unieke werkladings werk deur hul eie data en kennis 10-100x vinniger te gebruik.

Wat het jou aanvanklik tot rekenaarwetenskap aangetrek?

Daar is twee baie opwindende aspekte van rekenaarwetenskap wanneer jy jonk is. Een, jy leer so vinnig as wat jy wil uit peuter en bou, gegewe die onmiddellike terugvoer, eerder as om te wag vir 'n onderwyser. Twee, jy gaan aan die bou baie sonder om iemand vir toestemming te vra!

Ek het begin met programmering toe ek 'n jong kind was om hierdie redes. Ek was ook mal oor die akkuraatheid wat dit vereis. Ek het die proses geniet om komplekse prosesse en roetines te abstraheer, en dit dan op 'n modulêre manier te enkodeer.

Later, as 'n volwassene, het ek my pad terug na rekenaarwetenskap professioneel deur 'n werk in konsultasie waar ek getaak was om skrifte te skryf om 'n paar basiese ontledings van die patentkorpus te doen. Ek was gefassineer deur hoeveel menslike kennis - enigiets wat enigiemand ooit as patenteerbaar geag het - geredelik beskikbaar was, maar tog so ontoeganklik omdat dit so moeilik was om selfs die eenvoudigste ontleding oor komplekse tegniese teks en multi-modale data te doen.

Dit is wat my terug in die konyngat af gelei het, en uiteindelik terug na die graadskool by Stanford, met die fokus op NLP, wat die gebruik van ML/AI op natuurlike taal is.

Jy het eers die Snorkel oopbronprojek begin en gelei terwyl jy by Stanford was, kan jy ons deur die reis van hierdie vroeë dae lei?

Destyds was ons, soos baie in die bedryf, gefokus op die ontwikkeling van nuwe algoritmes en—dws al die “fancy” masjienleer-dinge waaroor mense in die gemeenskap navorsing gedoen het en referate gepubliseer het.

Ons was egter altyd baie daartoe verbind om dit in werklike probleme te begrond - meestal met dokters en wetenskaplikes by Stanford. Maar elke keer as ons 'n nuwe model of algoritme opgestel het, het die reaksie geword “Sekerlik, ons sal dit probeer, maar ons sal al hierdie gemerkte opleidingsdata nodig hê wat ons nie tyd het om te skep nie!” 

Ons het gesien dat die groot onuitgesproke probleem rondom die proses van etikettering en samestelling van daardie opleidingsdata was - so ons het al ons fokus daarheen verskuif, en dit is hoe die Snorkel-projek en die idee van "datagesentreerde AI" begin het.

Snorkel het 'n data-gesentreerde KI-benadering, kan jy definieer wat dit beteken en hoe dit verskil van modelgesentreerde KI-ontwikkeling?

Data-gesentreerde KI beteken om te fokus op die bou van beter data om beter modelle te bou.

Dit staan ​​in teenstelling met - maar werk hand-aan-hand met - modelgesentreerde KI. In modelgesentreerde KI neem datawetenskaplikes of navorsers aan dat die data staties is en gooi hul energie in die aanpassing van modelargitekture en -parameters om beter resultate te behaal.

Navorsers doen steeds goeie werk in modelgesentreerde KI, maar van die rak-modelle en outomatiese ML-tegnieke het soveel verbeter dat modelkeuse in produksietyd gekommoditiseer geraak het. Wanneer dit die geval is, is die beste manier om hierdie modelle te verbeter om hulle van meer en beter data te voorsien.

Wat is die kernbeginsels van 'n datagesentreerde KI-benadering?

Die kernbeginsel van datasentriese KI is eenvoudig: beter data bou beter modelle. 

In ons akademiese werk het ons dit "dataprogrammering" genoem. Die idee is dat as jy 'n robuuste genoeg model genoeg voorbeelde van insette en verwagte uitsette voer, die model leer hoe om daardie patrone te dupliseer.

Dit bied 'n groter uitdaging as wat jy kan verwag. Die oorgrote meerderheid data het geen etikette nie - of ten minste geen nuttige etikette vir jou toepassing nie. Om daardie data met die hand te benoem, verg vervelig, tyd en menslike inspanning.

Om 'n benoemde datastel te hê, waarborg ook nie kwaliteit nie. Menslike foute sluip oral in. Elke verkeerde voorbeeld in jou grondwaarheid sal die prestasie van die finale model afbreek. Geen hoeveelheid parameterinstelling kan oor daardie realiteit papier nie. Navorsers het selfs rekords wat verkeerd geëtiketteer is in fundamentele oopbrondatastelle gevind.

Kan u uitbrei oor wat dit beteken dat Data-Centric AI programmaties is?

Handmatige etikettering van data bied ernstige uitdagings. Om dit te doen verg baie menslike ure, en soms kan daardie menslike ure duur wees. Mediese dokumente kan byvoorbeeld net deur dokters geëtiketteer word.

Daarbenewens kom manuele etikettering naellope dikwels neer op enkelgebruikprojekte. Etiketters annoteer die data volgens 'n rigiede skema. As 'n besigheid se behoeftes verander en 'n ander stel etikette vra, moet etiketteerders weer van voor af begin.

Programmatiese benaderings tot datagesentreerde KI verminder albei hierdie probleme. Snorkel KI se programmatiese etiketteringstelsel bevat uiteenlopende seine - van verouderde modelle tot bestaande etikette tot eksterne kennisbasisse - om waarskynlikheidsetikette op skaal te ontwikkel. Ons primêre bron van sein kom van vakkundiges wat met datawetenskaplikes saamwerk om etiketteringfunksies te bou. Dit kodeer hul deskundige oordeel in skaalbare reëls, wat die moeite wat in een besluit belê word, toelaat om dosyne of honderde datapunte te beïnvloed.

Hierdie raamwerk is ook buigsaam. In plaas daarvan om van voor af te begin wanneer besigheidsbehoeftes verander, voeg gebruikers etiketfunksies by, verwyder en pas dit aan om nuwe etikette binne ure in plaas van dae toe te pas.

Hoe maak hierdie data-sentriese benadering vinnige skaal van ongemerkte data moontlik?

Ons programmatiese benadering tot datagesentreerde KI maak vinnige skaal van ongemerkte data moontlik deur die impak van elke keuse te versterk. Sodra vakkundiges 'n aanvanklike, klein stel grondwaarheid vasstel, begin hulle met datawetenskaplikes saamwerk vir vinnige herhaling. Hulle definieer 'n paar etiketteringsfunksies, lei 'n vinnige model op, ontleed die impak van hul etiketteringsfunksies, en voeg dan etiketfunksies by, verwyder of tweak soos nodig.

Elke siklus verbeter modelprestasie totdat dit die projek se doelwitte bereik of oorskry. Dit kan maande se data-etiketteringswerk tot net ure verminder. Op een Snorkel-navorsingsprojek het twee van ons navorsers 20,000 XNUMX dokumente op 'n enkele dag geëtiketteer—'n volume wat handetiketteerders tien weke of langer kon neem.

Snorkel bied verskeie KI-oplossings, insluitend Snorkel Flow, Snorkel GenGlow en Snorkel Foundry. Wat is die verskille tussen hierdie aanbiedinge?

Die Snorkel AI-suite stel gebruikers in staat om etiketfunksies te skep (bv. soek na sleutelwoorde of patrone in dokumente) om miljoene datapunte in minute programmaties te benoem, eerder as om een ​​datapunt op 'n slag handmatig te merk.

Dit druk die tyd saam wat maatskappye benodig om eie data in produksiegereed modelle te vertaal en waarde daaruit te begin onttrek. Snorkel KI laat ondernemings toe om mens-in-die-lus-benaderings te skaal deur menslike oordeel en vakkundige kennis doeltreffend in te sluit.

Dit lei tot meer deursigtige en verklaarbare KI, wat ondernemings toerus om vooroordeel te bestuur en verantwoordelike uitkomste te lewer.

Met die boute en moere, stel Snorkels AI Fortune 500-ondernemings in staat om:

• Ontwikkel hoë kwaliteit gemerkte data om modelle op te lei of JOOL te verbeter;
• Pas LLM's aan met fyninstelling;
• Distilleer LLM's in gespesialiseerde modelle wat baie kleiner en goedkoper is om te bedryf;
• Bou domein- en taakspesifieke LLM's met voorafopleiding.

Jy het 'n paar baanbrekende referate geskryf, na jou mening wat is jou belangrikste referaat?

Een van die sleutelvraestelle was die oorspronklike een op data programmering (etiketteer opleidingsdata programmaties) en op die een vir Snorkel.

Wat is jou visie vir die toekoms van Snorkel?

Ek sien Snorkel word 'n betroubare vennoot vir alle groot ondernemings wat ernstig is oor KI.

Snorkel Flow behoort 'n alomteenwoordige hulpmiddel vir datawetenskapspanne by groot ondernemings te word – of hulle nou pasgemaakte groottaalmodelle vir hul organisasies fyn instel, beeldklassifikasiemodelle bou, of eenvoudige, ontplooibare logistiese regressiemodelle bou.

Ongeag watter soort modelle 'n besigheid benodig, sal hulle hoëgehalte-gemerkte data benodig om dit op te lei.

Dankie vir die puik onderhoud, lesers wat meer wil leer moet besoek aflê Snorkel AI,