Ajatusjohtajat

Kriittinen polku mallien kehittämisen automatisointiin

Doris Xin Moustafa AbdelBaky
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
A stylized digital landscape showing illuminated lines connecting data structures. A cluster representing
Keskeiset kohdatMallikehityksen automatisointi edellyttää ensin organisaation datan semanttisen…
Näytä lisää
  • Mallikehityksen automatisointi edellyttää ensin organisaation datan semanttisen monitulkintaisuuden ratkaisemista.
  • Perusmallit pahentavat datanhallinnan haasteita valtavan heterogeenisten ja monimutkaisten koulutuslähteiden vuoksi.
  • Todellinen koneoppimisen automatisointi vaatii institutionaalista muistia välttääkseen menneiden virheiden ja oivallusten toistuvan löytämisen uudelleen.

Seuraava tärkeä merkkipaalu tekoälytutkimuksessa on automatisoida mallien kehittäminen. Jokainen edistysaskel päättelyssä, kielessä ja havainnossa on jollain tavoin askel tähän tavoitteeseen. Polku mallien automaatioon vaatii kuitenkin joukon perustavanlaatuisten haasteiden ratkaisemista ensin.

Silta tähän tavoitteeseen kulkee suoraan koneoppimisen (ML) kehitystyön kautta. Yleinen väärinkäsitys on, että ML on edeltävä teknologia modernille tekoälylle ja että perusmallit ovat yksinkertaisesti korvanneet sen. Tämä väärinkäsitys johtuu suhteen väärästä ymmärtämisestä. Akateemisena tieteenalana ML kattaa kaikki mallien koulutukseen liittyvät asiat, mukaan lukien perusmallien koulutuksen, joka on keskiössä nykyisessä tekoälyhetkessä. On kuitenkin olennainen ero mittakaavassa ja datan monimutkaisuudessa.

Perinteiset ML-mallit koulutetaan yleensä huolellisesti valikoitujen, alanmukaisten tietojoukkojen avulla, jotka sisältävät tuhansia tai miljoonia esimerkkejä. Perusmallit sen sijaan koulutetaan tuhansilla tietojoukoilla samanaikaisesti, jotka ovat peräisin erilaisista lähteistä, joilla on epäjohdonmukaiset muodot, alkuperä ja laatu. Tämä ero datan mittakaavassa ja monimuotoisuudessa on keskeinen syy siihen, miksi datanhallinnasta tulee vaikeampaa ja tärkeämpää mallien tehostuessa. Siksi datan ymmärtäminen on keskeinen pullonkaula mallien kehittämisen automatisoinnissa. AI-järjestelmä, joka voi tulkita monimuotoista dataa ja parantaa siihen liittyviä prosesseja, voisi periaatteessa parantaa omaa koulutusprosessiaan ja auttaa luomaan parempia malleja. Kun tekoäly voi parantaa prosessia, jolla se koulutetaan, parannukset leviävät alaspäin jokaiselle alueelle, jolla tekoälyä sovelletaan.

Kolme tiellä olevaa estettä

Ensimmäinen este on kontekstin fragmentaatio. Lähes jokaisessa organisaatiossa signaalit, kokeet, ominaisuusmääritykset ja institutionaalinen tietämys, jotka liittyvät mihin tahansa mallintamisongelmaan, ovat hajallaan eri tietovarastoissa, muistikirjoissa ja prosesseissa, joita ei ole suunniteltu viestimään toistensa kanssa. Tarkastellaan esimerkiksi terveydenhuoltojärjestelmää, joka rakentaa sepsiksen tunnistusmallia. Kliiniset kriteerit, jotka liittyvät tähän ongelmaan, kuten elintoimintojen raja-arvot, laboratoriotulokset ja dokumentaatiostandardit, voivat sijaita kokonaan eri osissa sähköistä terveydenhuoltorekisterijärjestelmää.

Toinen este on semanttinen epäselvyys. Merkitys ei sisälly dataan itsessään, vaan se on kontekstuaalinen ja organisaation mukainen. Sama kenttänimi kahdessa eri tietokannassa voi viitata hienoisesti eri asioihin. Käsitteillä, kuten liikevaihdolla, aktiivisella käyttäjällä ja asiakaspoistumalla, on usein useita päteviä määritelmiä saman yrityksen sisällä. Jopa käsite “liikevaihto” voi aiheuttaa ongelmia. Myyntitiimi voi määritellä liikevaihdon kaikkien tänä vuosineljännekkönä allekirjoitettujen sopimusten yhteisarvona, kun taas taloustiimi määrittelee sen tosiasiallisesti saaduiksi rahasuorituksiksi. Tuotetiimi taas ymmärtää sen tarkoittavan tilauskaudelle jaksotettua tuloutettua liikevaihtoa. Kaikki kolme vetävät tietojaan kentistä, jotka on kirjaimellisesti nimetty “liikevaihdoksi” kussakin järjestelmässään, mutta yhteinen raportti, joka yhdistää ne, sekoittaisi hiljaa kolme keskenään yhteensopimatonta lukua.

Kolmas ja koko järjestelmää koskevin este on dokumentoidun organisaatiomuistin puute. Alkuperän jäljittäminen, ristiriitojen ratkaiseminen ja laatusignaalien ylläpitäminen niin monissa lähteissä on ratkaisematon ongelma, jopa ihmisryhmille. Ilman institutionaalista muistia siitä, mitä on kokeiltu ja miten hyvin nämä lähestymistavat toimivat, mikä tahansa mallin automaatiojärjestelmä joutuu jatkuvasti uudelleen löytämään samat umpikujat, haaskaten aikaa ja resursseja.

Tarkastellaan esimerkiksi datatieteellistä tiimiä vähittäiskauppayrityksessä, joka rakentaa kysyntäennustemallia. Kolmen vuoden aikana kaksitoista analyytikkoa on jokainen itsenäisesti havainnut, että käsittelemätön säädata heikentää mallin suorituskykyä lomaviikoilla, että tietyn toimittajan varastotiedot sisältävät järjestelmällisen viiveen ja että standardimenetelmä mainoskampanjoiden käsittelyyn aiheuttaa kohdemuuttujan tietovuotoa. Kun alkuperäiset analyytikot siirtyivät muihin tiimeihin tai lähtivät yrityksestä, tietämys lähti heidän mukanaan. Ilman institutionaalista muistia siitä, mitä on kokeiltu, mikä epäonnistui ja miksi, mallien automatisointijärjestelmä ei voi hyödyntää kertynyttä kokemusta. Se aloittaa aina alusta, turhaan haaskaten aikaa.

Mikä on todellinen ratkaisu

Koneoppimisen automatisoinnin historia on osittaisten ratkaisujen historia. AutoML ratkaisi kapean ongelman hyperparametrien säätelystä, mutta se ei voinut käsitellä tavoitteiden ristiriitoja tai ymmärtää organisaatioiden tarkoituksia. MLOps teki tuotantoputkia kestävämmiksi ja helpommin seurattaviksi, mutta MLOps-työkalut toteuttavat strategian sen sijaan, että määrittäisivät sen. Viimeaikaiset koodausagentit edustavat aidosti askelta eteenpäin, mutta ne ovat perineet saman sokean pisteen. Ne generoivat koodia hyvin, mutta toimivat ilman institutionaalista kontekstia tai muistia.

Järjestelmä, joka voi tosiasiallisesti harjoittaa aidosti itsenäistä koneoppimisen kehitystyötä, tarvitsisi kykyjä, joita mikään olemassaoleva työkalu ei tarjoa yhdistelmänä. Se tarvitsisi kyvyn kääntää liiketoimintatavoitteita mallin tavoitteiksi, mikä on käännös, jota ei voida johtaa ainoastaan datan perusteella. Sen olisi löydettävä asiaankuuluva data fragmentoituneista järjestelmistä, joilla on epäjohdonmukaiset skeemat, ja noudatettava automaattisesti vaatimustenmukaisuuden, hallinnon ja turvallisuuden rajoituksia, sen sijaan, että ihmiset hallitsisivat niitä erillisenä prosessina. Se tarvitsisi institutionaalista muistia tuodakseen esiin jo tehdyn työn, ymmärtääkseen, miksi aiemmat kokeet hylättiin, ja hyödyntääkseen sitä, mitä kollegat jo tietävät.

Tarkkojen auditointijälkien, jotka seuraavat alkuperää dataversioiden, piirteiden määritelmien ja koodimuutosten yli, olisi oltava keskeinen mekanismi, jolla järjestelmä sidotaan siihen, mitä todella tapahtui. Ja sellainen järjestelmä vaatisi huolellista suunnittelua, jossa ihminen osallistuu päätöksentekoon. Ei binääristä valintaa täydellisen automaation ja täydellisen manuaalivalvonnan välillä, vaan tuki vaihteleville vuorovaikutustasoille riippuen tehtävästä, panoksesta ja järjestelmän varmuudesta kullakin päätöshetkellä. Automaatio, joka ohittaa ihmisten harkinnan kriittisissä kohdissa, ei ole hyvin suunnitellun tekoälyn piirre; se on sen sijaan vikaantumistapa.

Mitä mikään laboratorio ei ole vielä ratkaissut, on luoda semanttinen ymmärrys organisaation datasta, joka ymmärtää, mitä data tarkoittaa tietyssä institutionaalisessa kontekstissa. MCP ratkaisee yhteyden ongelman. Se ei ratkaise vielä merkitysongelmaa. Se on edelleen avoin tutkimusrintama.

Mikä mahdollistuu

Näiden ongelmien ratkaisemisen taloudelliset vaikutukset ovat merkittäviä. Räätälöity koneoppimismallien kehittäminen vaatii nykyään erikoisosaajia ja useita viikkoja iterointia, jopa hyvin määritellyissä ongelmissa. Järjestelmä, joka voisi navigoida koko työnkulun itsenäisesti ongelman määrittelystä datan löytämiseen, mallin kehittämiseen ja mallin arviointiin, muuttaisi tämän yhtälön dramaattisesti, lyhentäen aikatauluja ja avaamalla arvokkaita käyttötarkoituksia, jotka ovat nykyisin liian paljon resursseja vaativia toteutettaviksi. Projektit, jotka vaativat aiemmin tiimejä, joilla on syvä tekoälyosaaminen ja jotka työskentelevät useita viikkoja, voidaan nyt suorittaa päivissä ilman, että siihen kuluu yhtä paljon niukasti saatavilla olevien koneoppimisasiantuntijoiden aikaa.

Haasteet kontekstin fragmentaatiosta, semanttisesta epäselvyydestä ja institutionaalisen muistin puutteesta eivät ole yksinomaan yritysten koneoppimiselle ominaisia. Ne ilmenevät eri rajoituksilla perusmallien koulutusputkien rakentamisessa, jossa tuhannet heterogeeniset tietojoukot on koottava, suodatettava ja iteratiivisesti hienosäädettävä. Vaikka nämä kaksi tilannetta poikkeavat rakenteeltaan ja tavoitteeltaan, molemmat ovat rajoitettuja samalla perustavanlaatuisella pullonkaulalla: puutteella järjestelmistä, jotka voivat luotettavasti palauttaa kontekstin, seurata alkuperää ja rakentaa aiemman työn varaan iteroinneissa. Mallien kehittämisen automatisointi yrityksissä on siis kriittinen askel kohti tekoälyjärjestelmiä, jotka voivat parantaa itseään.

Doris Xin on Disarrayn toimitusjohtaja ja yhteisperustaja. UC Berkeleyn RISELabissa tohtorintutkinnon suorittaneena ja NSF Graduate Research Fellow -apurahan saajana sekä myöhemmin yhtenä LinkedInin ensimmäisistä koneoppimisinsinööreistä Doris kehitti asiantuntemustaan koneoppimisessa.

Moustafa AbdelBaky on Disarrayn CTO ja toinen perustaja. Hän on saanut IBM:n tohtoriopiskelijoille myöntämän apurahan kolme kertaa. Hänellä on lähes kahden vuosikymmenen tutkimuskokemus hajautettujen järjestelmien autonomisesta orkestroinnista, reunalaskennan koneoppimisesta sekä NASA:n autonomisiin ilmailu- ja avaruustehtäviin tarkoitetusta reaaliaikaisesta tekoälystä.