Kriittinen polku mallien automaattiseen kehittämiseen

Seuraava tärkeä merkkipaalu tekoälytutkimuksessa on automatisoida mallien kehittäminen. Jokainen edistysaskel päättelyssä, kielessä ja havainnossa on jollain tavoin askel tähän tavoitteeseen. Polku mallien automaatioon vaatii kuitenkin perustavanlaatuisia haasteiden ratkaisemista, jotka on selvitetty ensin.

Silta tähän tavoitteeseen kulkee suoraan koneoppimisen (ML) insinööritieteiden kautta. Yleinen väärinkäsitys on, että ML on edeltävä teknologia modernille tekoälylle ja että perusmallit ovat yksinkertaisesti korvanneet sen. Tämä väärinkäsitys johtuu suhteen väärästä ymmärtämisestä. Akateemisena tieteenalana ML kattaa kaikki mallien koulutukseen liittyvät asiat, mukaan lukien perusmallien koulutuksen, joka on keskiössä nykyisessä tekoälyhetkessä. On kuitenkin olennainen ero mittakaavassa ja datan monimuotoisuudessa.

Perinteiset ML-mallit koulutetaan yleensä huolellisesti valikoitujen, alanmukaisten tietojoukkojen avulla, jotka sisältävät tuhansia tai miljoonia esimerkkejä. Perusmallit sen sijaan koulutetaan tuhansilla tietojoukoilla samanaikaisesti, jotka ovat peräisin erilaisista lähteistä, joilla on epäjohdonmukaiset muodot, alkuperä ja laatu. Tämä ero datan mittakaavassa ja monimuotoisuudessa on perustavanlaatuisin syy, miksi datan ymmärtäminen muodostuu pullonkaulaksi mallien automaattisessa kehittämisessä. AI-järjestelmä, joka voi tulkita monimuotoista dataa ja parantaa siihen liittyviä prosesseja, voisi periaatteessa parantaa omaa koulutusprosessiaan ja auttaa luomaan parempia malleja. Kun tekoäly voi parantaa prosessia, jolla se koulutetaan, parannukset leviävät alaspäin jokaiselle alueelle, jolla tekoälyä sovelletaan.

Kolme esteitä tiellä

Ensimmäinen este on kontekstin fragmentaatio. Lähes jokaisessa organisaatiossa signaalit, kokeet, ominaisuusmääritykset ja institutionaalinen tietämys, jotka liittyvät mihin tahansa mallintamisongelmaan, ovat hajallaan eri tietovarastoissa, muistikirjoissa ja prosesseissa, jotka eivät ole suunniteltu viestimään toistensa kanssa. Tarkastellaan esimerkiksi terveydenhuoltojärjestelmää, joka rakentaa sepsoosiennustemallia. Kliiniset kriteerit, jotka liittyvät tähän ongelmaan, kuten elintärkeät kynnykset, laboratoriotulokset ja dokumentaatiostandardit, voivat sijaita kokonaan eri osissa sähköistä terveydenhuoltorekisterijärjestelmää.

Toinen este on semanttinen epäselvyys. Merkitys ei ole inherentti dataan, vaan se on kontekstuaalinen ja organisaation mukainen. Sama kenttänimi kahdessa eri tietokannassa voi viitata hienoisesti eri asioihin. Käsitteet kuten liikevaihto, aktiivinen käyttäjä ja poistuminen voivat jopa olla useita eri määritelmiä yhden yrityksen sisällä. Jopa käsite “liikevaihto” voi aiheuttaa ongelmia. Myyntitiimi voi määritellä liikevaihdon kaikkien tänä vuosineljännekkönä allekirjoitettujen sopimusten yhteisarvona, kun taas rahoitusjoukkue määrittelee sen käytännössä saadun rahamääränä. Tuotetiimi taas ymmärtää sen tarkoittavan tunnustettua liikevaihtoa, joka on jaettu tilauskaudeksi. Kaikki kolme vetävät tietojaan kentistä, jotka on kirjaimellisesti nimetty “liikevaihdoksi” kussakin järjestelmässään, mutta yhteinen raportti, joka yhdistää ne, sekoittaisi hiljaa kolme keskenään yhteensopimatonta lukua.

Kolmas ja järjestyksessä tärkein este on institutionaalisen muistin puute. Kontekstin, epäjohdonmukaisuuksien ja laadun seuraamisen ylläpitäminen niin monissa lähteissä on ratkaisematon ongelma, jopa ihmisryhmille. Ilman institutionaalista muistia siitä, mitä on kokeiltu ja miten hyvin nämä lähestymistavat toimivat, mikä tahansa mallin automaatiojärjestelmä joutuu jatkuvasti uudelleen löytämään samat kuolinkäävät, haaskaten aikaa ja resursseja.

Tarkastellaan esimerkiksi datatieteellistä tiimiä vähittäiskauppayrityksessä, joka rakentaa kysyntäennustemallia. Kolmen vuoden aikana kymmenen analytikkoa on jokainen itsenäisesti keksinyt, että raaka säädata heikentää mallin suorituskykyä lomaviikoilla, että tietyn toimittajan varastotiedot sisältävät järjestelmällisen viiveen ja että standardimenetelmä mainoskampanjoiden käsittelyyn aiheuttaa kohdevuodon. Kun alkuperäiset analytikot siirtyivät muihin tiimeihin tai lähtivät yrityksestä, tietämys lähti heidän mukanaan. Ilman institutionaalista muistia siitä, mitä on kokeiltu, mitä epäonnistui ja miksi, mallin automaatiojärjestelmä ei voi rakentua kertyneestä kokemuksesta. Se aloittaa aina alusta, turhaan haaskaten aikaa.

Mikä on todellinen ratkaisu

Tekoälymallien automaation historia on osittaisia ratkaisujen historia. AutoML ratkaisi kapean ongelman hyperparametrien säätelystä, mutta se ei voinut käsitellä tavoitemääräisiä epäsovelluksia tai ymmärtää organisaatioiden tarkoituksia. MLOps teki tuotantoputkia kestävämmiksi ja helpommin seurattaviksi, mutta MLOps-työkalut toteuttavat strategian sen sijaan, että määrittäisivät sen. Viimeaikaiset koodausagentit edustavat aidosti askelta eteenpäin, mutta ne ovat perineet saman sokean tilan. Ne generoivat koodia hyvin, mutta toimivat ilman institutionaalista kontekstia tai muistia.

Järjestelmä, joka voi tosiasiallisesti harjoittaa itsenäistä tekoälyinsinööritieteen tutkimusta, tarvitsisi kykyjä, joita mikään olemassaoleva työkalu ei tarjoa yhdistelmänä. Se tarvitsisi kyvyn kääntää liiketoimintatavoitteita mallin tavoitteiksi, mikä on käännös, jota ei voida johtaa ainoastaan datan perusteella. Se tarvitsisi löytää relevantin datan fragmentoituneista järjestelmistä, joilla on epäjohdonmukaiset skeemat, ja noudattaa automaattisesti noudattamis-, hallinnon- ja turvallisuusrajoituksia, sen sijaan, että ihmiset hallitsisivat niitä erillisenä prosessina. Se tarvitsisi institutionaalista muistia julkaistakseen olemassaolevan työn, ymmärtääkseen, miksi aiemmat kokeet hylättiin, ja rakentaa siitä, mitä kollegat jo tietävät.

Tarkat auditinraiteet, jotka seuraavat kontekstin jäljittämistä dataversioissa, ominaisuusmäärityksissä ja koodin commiteissa, tarvitsisivat olla ydinmekanismi järjestelmän perustamiseksi siihen, mitä todella tapahtui. Ja sellainen järjestelmä vaatisi tarkoituksenmukaista suunnittelua, jossa on ihmisten osallistuminen silmukassa. Ei binääristä valintaa täydellisen automaation ja täydellisen manuaalivalvonnan välillä, vaan tuki vaihteleville vuorovaikutustasoille riippuen tehtävästä, panoksesta ja järjestelmän luottamuksesta jokaisessa päätöksenteossa. Automaatio, joka ohittaa ihmisten arvostelun kriittisissä kohdissa, ei ole hyvin suunnitellun tekoälyn piirre; se on sen sijaan virheen tila.

Mitä mikään laboratorio ei ole vielä ratkaissut, on luoda semanttinen ymmärrys organisaation datasta, joka ymmärtää, mitä data tarkoittaa tietyssä institutionaalisessa kontekstissa. MCP ratkaisee yhteyden ongelman. Se ei ratkaise vielä merkitysongelmaa. Se on edelleen avoin tutkimusrintama.

Mikä mahdollistuu

Näiden ongelmien ratkaisemisen taloudelliset vaikutukset ovat merkittäviä. Räätälöity tekoälymallien kehittäminen vaatii nykyään erikoisosaajia ja useita viikkoja iterointia, jopa hyvin määritellyissä ongelmissa. Järjestelmä, joka voisi navigoida koko työnkulun itsenäisesti ongelman määrittelystä datan löytämiseen, mallin kehittämiseen ja mallin arviointiin, muuttaisi tämän yhtälön dramaattisesti, pakaten aikatauluja ja avaamalla arvokkaita käyttötarkoituksia, jotka ovat nykyisin liian resursseja vaativia seurata. Projektit, jotka vaativat aiemmin tiimejä, joilla on syvä tekoälyosaaminen ja jotka työskentelevät useita viikkoja, voidaan nyt suorittaa päivissä ilman, että niitä tarvitsisi käyttää niin paljon harvinaisten tekoälyasiantuntijoiden aikaa.

Haasteet kontekstin fragmentaatiosta, semanttisesta epäselvyydestä ja institutionaalisen muistin puutteesta eivät ole yksinomaan yritysten tekoälylle ominaisia. Ne ilmenevät eri rajoituksilla perusmallien koulutusputkien rakentamisessa, jossa tuhannet heterogeeniset tietojoukot on koottava, suodatettava ja iteratiivisesti hienosäädetty. Vaikka nämä kaksi tilannetta poikkeavat rakenteeltaan ja tavoitteeltaan, molemmat ovat rajoitettuja samalla perustavanlaatuisella pullonkaulalla: puutteella järjestelmistä, jotka voivat luotettavasti palauttaa kontekstin, seurata alkuperää ja rakentaa aiemman työn varaan iteroinneissa. Tekoälymallien automaatio yrityksissä on siis kriittinen askel kohti tekoälyjärjestelmiä, jotka voivat parantaa itseään.