Kritická cesta k automatizaci vývoje modelů

Dalším důležitým milníkem pro výzkum umělé inteligence je automatizace vývoje modelů. Každý pokrok v oblasti uvažování, jazyka a vnímání je v jistém smyslu krokem směrem k tomuto cíli. Cesta k automatizaci modelů však vyžaduje řešení souboru základních výzev, které je třeba nejprve vyřešit.

Most k tomuto cíli vede přímo přes inženýrství strojového učení (ML). Společný omyl spočívá v tom, že se strojové učení považuje za předcházející technologii moderní umělé inteligence a že základové modely ji jednoduše nahradily. To však nepochopí vztah. Jako akademická disciplína zahrnuje strojové učení všechny aspekty školení modelů, včetně školení základových modelů, které jsou v centru současné umělé inteligence. Existuje však významný rozdíl v měřítku a složitosti dat.

Tradiční modely strojového učení se obvykle školicí na pečlivě kurátorovaných, doménově specifických datech obsahujících tisíce nebo miliony příkladů. Základové modely jsou naopak školicí na tisíce datových sad současně, pocházejících z různých zdrojů s nekonzistentními formáty, původem a kvalitou. Tento rozdíl v měřítku a heterogenitě dat je základním důvodem, proč se správa dat stává mnohem složitější a důležitější, jakmile modely rostou v síle.

To činí pochopení dat centrální úzkým místem v automatizaci vývoje modelů. Systém umělé inteligence, který může interpretovat heterogenní data a zlepšit pipeline postavený kolem něj, by mohl v zásadě zlepšit svůj vlastní proces školení a pomoci postavit lepší modely. Jakmile umělé inteligence může zlepšit proces, kterým je školicí, zlepšení se rozšíří po každém doméně, kde se umělé inteligence používají.

Tři bariéry, které stojí v cestě

První bariéra je fragmentace kontextu. V téměř každé organizaci jsou signály, experimenty, definice funkcí a institucionální znalosti relevantní pro konkrétní problém modelování rozptýleny po datových skladech, poznámkách a pipeline, které nebyly navrženy pro komunikaci mezi nimi. Zvažte zdravotnický systém, který buduje model detekce sepse. Klinické kritérium relevantní pro tento problém, jako jsou prahové hodnoty, laboratorní hodnoty a dokumentační standardy, může žít v úplně samostatných modulech elektronického systému zdravotnické dokumentace.

Druhá bariéra je sémantická nejednoznačnost. Význam není inherentní v datech, ale je kontextuální a organizační. Stejné názvy polí ve dvou různých databázích mohou odkazovat na jemně odlišné věci. Koncepty, jako je výnos, aktivní uživatel a fluktuace, mají rutinně více platných definic v rámci jedné společnosti. I koncept, jako je “výnos”, může způsobit problémy. Tým prodeje může definovat výnos jako celkovou hodnotu uzavřených smluv v tomto čtvrtletí, zatímco finanční tým definuje jej jako skutečně obdržené peníze. Produktový tým má ještě jiný pohled, protože definuje termín jako uznávaný výnos rozložený po dobu předplatného. Všichni tři čerpají z polí doslova pojmenovaných “výnos” ve svých systémech, ale mezioborová zpráva, která kombinuje tyto údaje, by potichu smísila tři neslučitelná čísla.

Třetí a nejvíce systémová bariéra je absence zdokumentované institucionální paměti. Sledování původu, řešení nesrovnalostí a udržování kvalitních signálů napříč tolik zdroji je nevyřešeným problémem, dokonce i pro lidské týmy. Bez institucionální paměti toho, co bylo vyzkoušeno a jak dobře tyto přístupy fungovaly, jakýkoli mechanismus automatizace modelů bude neustále znovu objevovat stejné slepé uličky, plýtvaje časem a zdroji.

Zvažte tým datových vědců v maloobchodní společnosti, který buduje model předpovědi poptávky. Během tří let nezávisle objevilo dvanáct analytiků, že surová meteorologická data zhoršují výkon modelu během svátků, že dodavatelova inventární zpráva obsahuje systematické zpoždění a že standardní přístup k manipulaci s akcemi způsobuje únik cíle. Když původní analytici přešli do jiných týmů nebo opustili společnost, znalosti odešly s nimi. Bez institucionální evidence o tom, co bylo vyzkoušeno, co selhalo a proč, mechanismus automatizace modelů nemůže stavět na nahromaděných zkušenostech. Jednoduše začíná znovu a znovu, zbytečně plýtvaje časem.

Co vyžaduje skutečné řešení

Historie automatizace strojového učení je historií částečných řešení. AutoML řešila úzký problém ladění hyperparametrů, ale nemohla zvládnout nesoulad cíle nebo uvažovat o organizačním záměru. MLOps udělala produkční pipeline více robustní a snazší na monitorování, ale nástroje MLOps provádějí strategii, místo aby ji definovaly. Nedávnější kódovací agenti představují skutečný krok vpřed, ale zdědili stejnou slepou skvrnu. Generují kód dobře, zatímco operují bez organizačního kontextu nebo institucionální paměti.

Systém schopný skutečně autonomního inženýrství strojového učení by potřeboval schopnosti, které žádný existující nástroj neposkytuje v kombinaci. Potřeboval by mapovat obchodní cíle na cíle modelů, což je překlad, který nelze odvodit pouze z dat. Potřeboval by objevit relevantní data napříč fragmentovanými systémy s nekonzistentními schématy, zatímco automaticky dodržuje soulad, správu a zabezpečení, místo aby vyžadoval, aby je lidé spravovali jako samostatný proces. Potřeboval by institucionální paměť, aby vyhledal existující práci, pochopil, proč byly minulé experimenty opuštěny, a stavěl na tom, co již kolegové znají.

Přísné auditní stopy, které sledují původ napříč verzemi dat, definicemi funkcí a commity kódu, by potřebovaly být jádrem mechanismu pro zakotvení systému v tom, co se skutečně stalo. A jakýkoli takový systém by vyžadoval pečlivé navrhování s lidskou kontrolou. Ne binární volbu mezi plnou automatizací a plnou ruční kontrolou, ale podporu pro různé úrovně interakce v závislosti na úkolu, sázkách a důvěře systému v každém rozhodovacím bodě. Automatizace, která obchází lidský úsudek v kritických okamžicích, není funkcí dobře navržené umělé inteligence; spíše je to selhání režimu.

Co dosud žádná laboratoř nevyřešila, je, jak vytvořit sémantické pochopení organizačních dat, které chápe, co data znamenají v konkrétním institucionálním kontextu. MCP řeší problém připojení. Nyní ještě nevyřešila problém významu. To zůstává otevřenou výzkumnou hranicí.

Co se stává možným

Ekonomické důsledky řešení těchto problémů jsou významné. Vlastní vývoj strojového učení dnes vyžaduje specializované praktiky a týdny iterací, dokonce i pro dobře definované problémy. Systém, který by mohl navigovat celý pracovní tok autonomně od definice problému přes objev dat, vývoj modelů a hodnocení modelů, by dramaticky změnil tuto rovnici, komprimující časové osy a otevírající vysoké hodnotové použití, které jsou目前 příliš náročné na zdroje, aby se je dalo sledovat. Projekty, které dříve vyžadovaly týmy s hlubokými znalostmi strojového učení pracující týdny, lze nyní dokončit za dny bez nutnosti tolik využívat vzácné znalosti odborníků na strojové učení.

Výzvy kontextové fragmentace, sémantické nejednoznačnosti a chybějící institucionální paměti nejsou jedinečné pro podnikové strojové učení. Manifestují se pod různými omezeními při konstrukci základových modelů školení, kde tisíce heterogenních datových sad musí být agregovány, filtrovány a iterativně rafinovány. Ačkoli se obě prostředí liší ve struktuře a cíli, obě jsou omezeny stejnou základní bariérou: absencí systémů, které mohou spolehlivě obnovit kontext, sledovat původ a stavět na předchozích pracích napříč iteracemi. Automatizace vývoje modelů v podniku je proto kritickým krokem na cestě k systémům umělé inteligence, které mohou zlepšovat sami sebe.