Alex Ratner, Snorkel AI:n CEO ja Co-Perustaja – Haastattelusarja

Alex Ratner on Snorkel AI:n CEO ja Co-Perustaja, yhtiö joka on syntynyt Stanfordin AI-laboratoriosta.

Snorkel AI tekee tekoälykehityksestä nopeaa ja käytännöllistä muuttamalla manuaalisen tekoälykehitysprosessin ohjelmalliseksi ratkaisuksi. Snorkel AI mahdollistaa yrityksille tekoälyjen kehittämisen, jotka toimivat heidän ainutlaatuisten työkuormien kanssa käyttäen heidän omaa tietoa ja tietämysään 10-100 kertaa nopeammin.

Mikä alun perin kiinnosti sinua tietokoneiden pariin?

Tietokoneissa on kaksi erittäin jännittävää asiaa, kun olet nuori. Ensinnäkin, voit oppia niin nopeasti kuin haluat kokeilemalla ja rakentamalla, koska saat välittömästi palautetta, eikä sinun tarvitse odottaa opettajaa. Toiseksi, voit rakentaa paljon ilman, että sinun tarvitsee pyytää kenenkään lupaa!

Minä aloitin ohjelmoinnin nuorena, ja minä rakastin tarkkuutta, jota se vaati. Minä nautin prosessista, jossa abstrahoin monimutkaisia prosesseja ja rutiineja, ja sitten koodasin ne modulaarisesti.

Myöhemmin, aikuisena, minä palasin tietokonealan ammattimaisesti konsulttina, jossa minun tehtävänä oli kirjoittaa skriptejä perusanalyysiin patenttikorpukselle. Minä olin lumoutunut siitä, kuinka paljon inhimillistä tietoa – kaikki, mitä kukaan oli koskaan katsottu patentoitavaksi – oli helposti saatavilla, mutta samalla niin vaikea päästä käsiin, koska se oli niin vaikea tehdä edes yksinkertaisia analyysejä monimutkaisista teksteistä ja monimutkaisista tiedoista.

Tämä johti minun takaisin tietokonealan pariin, ja lopulta takaisin Stanfordiin, jossa minä keskityin NLP:hen, eli luonnollisen kielen käsittelyyn tekoälyllä.

Voitko kertoa meille Snorkel-avoin lähdekoodihanke, jonka aloit ja johtit Stanfordin aikana?

Tuolloin me keskityimme kehittämään uusia algoritmeja ja – ihan kuin useimmat alan ammattilaiset – teimme tutkimusta ja julkaisimme tutkimuksia.

Me olimme kuitenkin aina erittäin sitoutuneita yhdistämään tämän todellisiin ongelmiin – pääasiassa lääkäreiden ja tutkijoiden kanssa Stanfordin yliopistossa. Mutta jokainen kerta, kun esitimme uuden mallin tai algoritmin, vastaus oli aina “kyllä, me kokeilemme sitä, mutta meidän tarvitsisi kaikki tämä merkitty koulutusdata, jota meillä ei ole aikaa luoda!”

Me näimme, että suuri, sanomaton ongelma oli koulutusdatan merkitsemis- ja kuratointiprosessissa – joten me muutimme kaiken fokuksemme siihen, ja siitä syntyi Snorkel-projekti ja “data-keskinen tekoäly” -idea.

Snorkelilla on data-keskinen tekoälylähestymistapa, voitko määritellä, mitä se tarkoittaa ja miten se eroaa mallikeskeisestä tekoälykehityksestä?

Data-keskinen tekoäly tarkoittaa paremman datan rakentamista parempien mallien luomiseksi.

Tämä on vastakohta – mutta toimii käsi kädessä – mallikeskeisen tekoälyn kanssa. Mallikeskeisessä tekoälyssä data-tutkijat tai tutkijat olettavat, että data on staattista, ja he panostavat energiaansa mallirakenteiden ja parametreiden säätämiseen paremman tuloksen saavuttamiseksi.

Tutkijat tekevät edelleen hyvää työtä mallikeskeisessä tekoälyssä, mutta valmiit mallit ja auto-ML-tekniikat ovat parantuneet niin paljon, että mallin valinta on tullut kommoditeetiksi tuotantoon. Kun se on tapahtunut, paras tapa parantaa näitä malleja on tarjota niille enemmän ja parempaa dataa.

Mitkä ovat data-keskeisen tekoälylähestymistapan perusperiaatteet?

Data-keskeisen tekoälylähestymistapan perusperiaate on yksinkertainen: parempi data luo parempia malleja.

Meidän akateemisessa työssä olemme kutsuneet tätä “data-ohjelmointia”. Idea on, että jos tarjoat riittävän vahvalle mallille tarpeeksi esimerkkejä syötteistä ja odotetuista tuloksista, malli oppii toistamaan nämä mallit.

Tämä esittää suuremman haasteen, kuin mitä voisi odottaa. Suurin osa datasta on ilman merkintöjä – tai ainakin ilman hyödyllisiä merkintöjä sovelluksellesi. Merkintöjen tekeminen käsin vaatii tylsyyttä, aikaa ja inhimillistä työtä.

Merkittyjen datojen omistaminen ei myöskään takaa laatua. Inhimillinen virhe vyöryy joka paikkaan. Jokainen virheellinen esimerkki perusdatassa heikentää lopullisen mallin suorituskykyä. Mikään parametrin säätö ei voi peittää tämän tosiasian. Tutkijat ovat löytäneet virheellisiä merkintöjä avoimissa lähdemateriaaleissa.

Voitko selittää, mitä data-keskeisen tekoälylähestymistapan ohjelmallisuus tarkoittaa?

Manuaalinen datan merkitseminen esittää vakavia haasteita. Se vaatii paljon inhimillistä työtä, ja joskus nämä inhimilliset tunnit voivat olla kalliita. Esimerkiksi lääketieteelliset asiakirjat voivat olla merkitty vain lääkäreiden toimesta.

Lisäksi manuaalinen merkitseminen usein johtaa yksinkertaisiin projekteihin. Merkinnät tehdään tiukasti määriteltyyn skeemaan. Jos yrityksen tarpeet muuttuvat ja vaativat toisenlaisia merkintöjä, merkinnät on aloitettava alusta.

Ohjelmalliset lähestymistavat data-keskeiseen tekoälyyn minimoi molemmat ongelmat. Snorkel AI:n ohjelmallinen merkitseminen sisältää monia signaaleja – vanhoista malleista olemassa oleviin merkintöihin ja ulkoisiin tietokantoihin – kehittääkseen todennäköisiä merkintöjä suuressa mittakaavassa. Meidän ensisijainen signaali tulee asiantuntijoilta, jotka tekevät yhteistyötä data-tutkijoiden kanssa kehittääkseen merkitsemisfunktiota. Nämä koodaavat heidän asiantuntijuutensa skalaarisiksi säännöiksi, jolloin yhden päätöksen panostus vaikuttaa kymmeniin tai satoihin datakohtiin.

Tämä kehys on myös joustava. Sen sijaan, että aloittaisi alusta, kun liiketoiminnan tarpeet muuttuvat, käyttäjät voivat lisätä, poistaa ja säätää merkitsemisfunktiota soveltamaan uusia merkintöjä muutamassa tunnissa, ei päivissä.

MITen tämä data-keskinen lähestymistapa mahdollistaa nopean skaalautumisen merkittömälle datalle?

Meidän ohjelmallinen lähestymistapa data-keskeiseen tekoälyyn mahdollistaa nopean skaalautumisen merkittömälle datalle amplifioimalla jokaisen valinnan vaikutusta. Kun asiantuntijat ovat määritelleet alkuperäisen, pienen joukon perusdataa, he alkavat tehdä nopeaa iterointia data-tutkijoiden kanssa. He määrittelevät muutamia merkitsemisfunktiota, kouluttavat nopean mallin, analysoivat merkitsemisfunktioiden vaikutusta ja sitten lisäävät, poistavat tai säätävät merkitsemisfunktiota tarpeen mukaan.

Jokainen sykli parantaa mallin suorituskykyä, kunnes se täyttää tai ylittää projektin tavoitteet. Tämä voi vähentää kuukausien merkitsemistyötä vain muutamaan tuntiin. Yhdessä Snorkel-tutkimushankkeessa kaksi tutkijaa merkitsi 20 000 asiakirjaa yhdessä päivässä – määrä, joka olisi voinut kestää manuaalisen merkitsemisen kautta kymmenen viikkoa tai pidempään.

Snorkel tarjoaa useita tekoälyratkaisuja, mukaan lukien Snorkel Flow, Snorkel GenGlow ja Snorkel Foundry. Mitkä ovat näiden tarjontien väliset erot?

Snorkel AI -sarja mahdollistaa käyttäjille luoda merkitsemisfunktiota (esim. etsimällä avainsanoja tai malleja asiakirjoissa) ohjelmallisesti merkitsemään miljoonia datakohtia minuuteissa, ei yksittäin kerran.

Se pakkaa ajan, joka yrityksillä kestää kääntää omaa dataa tuotantovalmiiksi malleiksi ja aloittaa niiden arvonlouhinta. Snorkel AI mahdollistaa yrityksille skaalautua inhimillisen prosessin kanssa tehokkaasti sisällyttämällä inhimillistä tuomioita ja asiantuntijatietoa.

Tämä johtaa läpinäkyvään ja selitettävään tekoälyyn, joka varustaa yrityksiä hallitsemaan harhaa ja toimittamaan vastuullisia tuloksia.

Yksityiskohtaisemmin, Snorkel AI mahdollistaa Fortune 500 -yrityksille:

• Luoda korkealaatuista merkittyä dataa kouluttaa malleja tai parantaa RAG:ia;
• Mukauttaa LLM:itä hienosäätöllä;
• Tislata LLM:itä erikoistuneisiin malleihin, jotka ovat paljon pienempiä ja halvempia toimittaa;
• Rakentaa domeeni- ja tehtäväkohtaisia LLM:itä esikoulutuksella.

Olet kirjoittanut useita merkittäviä tutkimuksia, mikä on sinun mielestäsi tärkein tutkimus?

Yksi avainpaperi oli alkuperäinen “data-ohjelmoinnista” (merkitsemisdatan ohjelmallinen luominen) ja Snorkelista.

Mikä on visiosi Snorkelin tulevaisuudesta?

Näen Snorkelin luotettavana kumppanina kaikille suurille yrityksille, jotka ovat vakavasti kiinnostuneita tekoälystä.

Snorkel Flow tulisi olla kaikkien suurten yritysten data-tieteellisten tiimien yleinen työkalu – riippumatta siitä, ovatko he mukauttamassa mukautettuja suuria kielen malleja organisaatiolleen, rakentamassa kuvien luokittelumalleja tai rakentamassa yksinkertaisia, käyttöönottokelpoisia logistisia regressiomalleja.

Snorkel tulisi olla luotettava kumppani kaikille suurille yrityksille, jotka ovat vakavasti kiinnostuneita tekoälystä.

Riippumatta siitä, millaisia malleja yritys tarvitsee, he tarvitsevat korkealaatuista merkittyä dataa kouluttaakseen sen.

Kiitos haastattelusta, lukijat, jotka haluavat oppia enemmän, voivat vierailla Snorkel AI -sivustolla,