Kriittinen polku mallien automaattiseen kehittämiseen

Seuraava tärkeä merkkipaalu tekoälytutkimuksessa on automatisoida mallien kehittäminen. Jokainen edistysaskel päättelyssä, kielessä ja havainnossa on jossain mielessä askel tähän tavoitteeseen. Mallien automaation polku vaatii kuitenkin perusrakenteellisten haasteiden ratkaisemista, jotka on selvitetty ensin.

Sillan tämän tavoitteen kautta kulkee suoraan koneoppimisen (ML) insinööritieteeseen. Yleinen väärinkäsitys on, että ML on edeltävä teknologia modernille tekoälylle ja että perusmallit ovat yksinkertaisesti korvanneet sen. Tämä väärinkäsitys koskee suhdetta. Akateemisena tieteenalana ML kattaa kaikki mallien koulutuksen, mukaan lukien perusmallien koulutuksen, joka on keskiössä nykyisessä tekoälyhetkessä. On kuitenkin olennainen ero mittakaavassa ja datan monimuotoisuudessa.

Perinteiset ML-mallit koulutetaan tyypillisesti huolellisesti kuratoiduilla, alanmukaisilla tietokannoilla, jotka sisältävät tuhansia tai miljoonia esimerkkejä. Perusmallit sen sijaan koulutetaan tuhansilla tietokannoilla samanaikaisesti, jotka on poimittu erilaisista lähteistä, joilla on epäjohdonmukaiset muodot, alkuperä ja laatu. Tämä ero datan mittakaavassa ja monimuotoisuudessa on perustavanlaatuinen syy, miksi datan hallinta muodostuu paljon vaikeammaksi ja tärkeämmäksi, kun mallit kasvavat voimakkaammaksi.

Tämä tekee datan ymmärtämisen keskeiseksi pullonkaulaksi mallien automaattisessa kehittämisessä. Tekoälyjärjestelmä, joka voi tulkita monimuotoista dataa ja parantaa siihen liittyviä putkia, voisi periaatteessa parantaa omaa koulutusprosessiaan ja auttaa luomaan parempia malleja. Kun tekoäly voi parantaa prosessia, jolla se koulutetaan, parannukset leviävät alaspäin jokaiseen alaan, jossa tekoälyä sovelletaan.

Kolme esteitä tiellä

Ensimmäinen este on kontekstin fragmentaatio. Lähes jokaisessa organisaatiossa signaalit, kokeet, ominaisuusmääritykset ja institutionaalinen tietämys, jotka liittyvät mihin tahansa mallintamisongelmaan, ovat hajallaan eri tietovarastoissa, muistikirjoissa ja putkissa, jotka eivät ole suunniteltu viestimään toistensa kanssa. Tarkastellaan terveydenhuoltojärjestelmää, joka rakentaa sepsisdiagnostiikkamallia. Kliiniset kriteerit, jotka liittyvät tähän ongelmaan, kuten elintärkeät kynnykset, laboratoriotulokset ja dokumentaatiostandardit, voivat olla kokonaan erillisiä moduuleja sähköisessä terveydenhuoltorekisterijärjestelmässä.

Toinen este on semanttinen epäselvyys. Merkitys ei ole inherentti dataan, vaan se on kontekstuaalinen ja organisaatioon liittyvä. Sama kenttänimi kahdessa eri tietokannassa voi viitata hienosti eri asioihin. Käsitteet kuten liikevaihto, aktiivinen käyttäjä ja churnilla on useita päteviä määrityksiä yhden yrityksen sisällä. Jopa käsite “liikevaihto” voi aiheuttaa ongelmia. Myyntitiimi voi määritellä liikevaihdon kaikkien tänä neljänneksenä allekirjoitettujen sopimusten yhteisarvona, kun taas rahoitusjoukkue määrittelee sen käteisenä todellisesti saadun arvona. Tuotetiimi on vielä eri ymmärrys, koska se määrittelee termin tarkoittamaan tunnustettua liikevaihtoa, joka on jaettu tilauskauden yli. Kaikki kolme vetävät kentistä, jotka on kirjaimellisesti nimetty “liikevaihto” heidän järjestelmissään, mutta joukkueiden välinen raportti, joka yhdistää ne, sekoittaa hiljaa kolme yhteensopimatonta lukua.

Kolmas ja eniten järjestelmällinen este on institutionaalisen muistin puute. Jäljitysprovenienssi, epäjohdonmukaisuuksien ratkaiseminen ja laadun signaalien ylläpitäminen niin monissa lähteissä on ratkaisematon ongelma, jopa ihmisjoukkueille. Ilman institutionaalista muistia siitä, mitä on kokeiltu ja miten hyvin nämä lähestymistavat toimivat, mikä tahansa mallin automaatioväline joutuu jatkuvasti uudelleen löytämään samat kuolinkääpiöt, haaskaten aikaa ja resursseja.

Tarkastellaan data-tiedeyhteisöä vähittäiskauppayrityksessä, joka rakentaa kysyntäennustemallia. Kolmen vuoden aikana kymmenen analytiikkoa on riippumattomasti löytänyt, että raaka säädata heikentää mallin suorituskykyä juhlapäivinä, että tietyn toimittajan varastointiputki sisältää järjestelmällisen viiveen ja että standardimenetelmä promootiotapahtumien käsittelyyn aiheuttaa kohdevuodon. Kun alkuperäiset analytiikot siirtyivät muihin joukkueisiin tai lähtivät yrityksestä, tietämys lähti heidän mukanaan. Ilman institutionaalista muistia siitä, mitä on kokeiltu, mikä epäonnistui ja miksi, mallin automaatioväline ei voi rakentaa kertyneestä kokemuksesta. Se aloittaa nollasta, toistuvasti, turhaan haaskaten aikaa.

Mikä todellinen ratkaisu vaatii

Tekoälymallien automaation historia on osittaisia ratkaisuja. AutoML käsitteli kapean ongelman hyperparametrien säätelystä, mutta se ei voinut käsitellä tavoitevastuuksia tai perustella organisaatiota. MLOps teki tuotantoputkia kestävämmäksi ja helpommaksi seurata, mutta MLOps-työkalut toteuttavat strategian sen sijaan, että määrittäisivät sen. Viimeaikaiset koodausagentit edustavat oikeaa edistysaskelta, mutta ne ovat perineet saman sokean pisteen. Ne generoivat koodia hyvin toimien ilman institutionaalista kontekstia tai muistia.

Järjestelmä, joka on todella kykenevä itsenäiseen tekoälyinsinööritieteeseen, tarvitsisi kykyjä, joita ei ole olemassa olevissa työkaluissa yhdistettyinä. Se tarvitsisi kääntää liiketoimintatavoitteet mallin kohteiksi, mikä on käännös, jota ei voida johtaa ainoastaan datan perusteella. Se tarvitsisi löytää relevantin datan fragmentoitujen järjestelmien yli, joilla on epäjohdonmukaiset schemat, ja noudattaa automaattisesti noudattamis-, hallinto- ja turvallisuusrajoituksia, sen sijaan, että vaatisi ihmisten hallinnoida niitä erillisenä prosessina. Se tarvitsisi institutionaalista muistia paljastaa olemassa olevaa työtä, ymmärtää, miksi aiemmat kokeet hylättiin, ja rakentaa siitä, mitä kollegat jo tietävät.

Tiukat auditinraiteet, jotka seuraavat provenienssiä dataversioita, ominaisuusmäärityksiä ja koodin sitoutumisia, tarvitsisivat olla ydinmekanismi järjestelmän perustamiseksi siihen, mitä todella tapahtui. Ja sellainen järjestelmä vaatisi tarkoituksenmukaista suunnittelua ihmisen osallistumisella. Ei binääri valintaa täydellisen automaation ja täydellisen manuaalisen valvonnan välillä, vaan tuen eri tasojen vuorovaikutukselle riippuen tehtävästä, panoksesta ja järjestelmän luottamuksesta jokaisessa päätöksenteossa. Automaatio, joka ohittaa ihmisen arvion kriittisissä kohdissa, ei ole suunnitellun tekoälyn ominaisuus; se on sen sijaan virheen tila.

Mitä mikään laboratorio ei ole vielä ratkaissut, on luoda semanttinen ymmärrys organisaatiotiedosta, joka ymmärtää, mitä data tarkoittaa tietyssä institutionaalisessa kontekstissa. MCP ratkaisee kytkentäongelman. Se ei ratkaise vielä merkitysongelmaa. Se on edelleen avoin tutkimusraja.

Mikä muodostuu mahdolliseksi

Taloudelliset vaikutukset näiden ongelmien ratkaisemisesta ovat merkittäviä. Räätälöity tekoälykehitys vaatii tänään erikoisasiantuntijoita ja viikkoja iterointia, jopa hyvin määritellyissä ongelmissa. Järjestelmä, joka voisi navigoida koko työnkulun itsenäisesti ongelman määrittelystä datan löytämiseen, mallin kehittämiseen ja mallin arviointiin, muuttaisi tämän yhtälön dramaattisesti, pakaten aikatauluja ja avaamalla arvokkaita käyttötapoja, jotka ovat tällä hetkellä liian resursseja vaativia seurata. Projektit, jotka vaativat aiemmin tiimejä, joilla on syvä tekoälyosaaminen, työskentelemässä viikkoja, voidaan nyt suorittaa päivissä ilman, että niitä tarvitsee käyttää niin paljon harvinaisten tekoälyasiantuntijoiden aikaa.