Drumul critic către automatizarea dezvoltării de modele

Următoarea piatră de hotar importantă pentru cercetarea inteligenței artificiale este să automatizeze dezvoltarea de modele. Fiecare progres în raționament, limbaj și percepție este, într-un anumit sens, un pas către acest obiectiv. Cu toate acestea, drumul către automatizarea modelului necesită rezolvarea unui set de provocări fundamentale care trebuie rezolvate mai întâi.

Podul către acest obiectiv trece direct prin ingineria învățării automatice (ML). O concepție greșită susține că ML este o tehnologie predecesoare a inteligenței artificiale moderne și că modelele de fundație au înlocuit-o pur și simplu. Acest lucru înțelege greșit relația. Ca disciplină academică, ML cuprinde toate aspectele antrenării modelului, inclusiv antrenarea modelului de fundație din centrul momentului actual al inteligenței artificiale. Cu toate acestea, există o diferență semnificativă în ceea ce privește scala și complexitatea datelor.

Modelele ML tradiționale sunt de obicei antrenate pe seturi de date atent selectate și specifice domeniului, care conțin mii sau milioane de exemple. Modelele de fundație, pe de altă parte, sunt antrenate pe mii de seturi de date simultan, extrase din surse foarte diferite, cu formate, proveniență și calitate inconstante. Această diferență în ceea ce privește scala și eterogenitatea datelor este un motiv fundamental pentru care gestionarea datelor devine mult mai grea și mai importantă pe măsură ce modelele devin mai puternice.

Acest lucru face ca înțelegerea datelor să fie un blocaj central în automatizarea dezvoltării de modele. Un sistem de inteligență artificială care poate interpreta date eterogene și îmbunătăți conductele construite în jurul acestuia ar putea, în principiu, îmbunătăți propriul proces de antrenare și ajuta la construirea unor modele mai bune. Odată ce inteligența artificială poate îmbunătăți procesul prin care este antrenată, îmbunătățirile se propagă în aval către toate domeniile în care se aplică inteligența artificială.

Trei bariere care stau în cale

Prima barieră este fragmentarea contextului. În aproape fiecare organizație, semnalele, experimentele, definițiile caracteristicilor și cunoștințele instituționale relevante pentru orice problemă de modelare dată sunt dispersate în magazine de date, caiete și conducte care nu au fost niciodată proiectate pentru a comunica între ele. Luați în considerare un sistem de sănătate care construiește un model de detectare a sepsisului. Criteriile clinice relevante pentru această problemă, cum ar fi pragurile vitale, valorile de laborator și standardele de documentare, pot fi localizate în module complet separate ale unui sistem de înregistrare electronică a sănătății.

A doua barieră este ambiguitatea semantică. Sensul nu este în mod inerent în date, ci este contextual și organizațional. Același nume de câmp în două baze de date diferite poate se referă la lucruri ușor diferite. Concepte precum venitul, utilizatorul activ și rata de abandon au adesea multiple definiții valabile în cadrul unei singure companii. Chiar și un concept aparent atât de simplu ca “venitul” poate cauza probleme. O echipă de vânzări poate defini venitul ca valoarea totală a contractelor semnate în acest trimestru, în timp ce echipa de finanțe îl definește ca numerarul efectiv primit. Echipa de produs are o altă înțelegere, deoarece definește termenul pentru a însemna venit recunoscut, distribuit pe o perioadă de abonament. Toate trei extrag din câmpuri literalmente denumite “venit” în sistemele lor respective, dar un raport inter-echipă care le combină ar amesteca în mod tacit trei numere incompatibile.

A treia și cea mai sistemică barieră este absența unei memorii organizaționale documentate. Urmărirea provenienței, rezolvarea incoerențelor și menținerea calității semnalelor de-a lungul atâtor surse este o problemă nerezolvată, chiar și pentru echipele umane. Fără o memorie instituțională a ceea ce s-a încercat și cum au funcționat aceste abordări, orice mecanism de automatizare a modelului va continua să redescopere aceleași fundături, irosind timp și resurse.

Luați în considerare o echipă de știință a datelor dintr-o companie de retail care construiește un model de previziune a cererii. Pe parcursul a trei ani, o duzină de analiști au descoperit independent că datele brute despre vreme deteriorează performanța modelului în timpul săptămânilor de sărbători, că alimentarea stocului unui anumit furnizor conține un decalaj sistematic și că abordarea standard pentru gestionarea evenimentelor promoționale provoacă scurgeri de țintă. Când analiștii originali s-au mutat în alte echipe sau au părăsit compania, cunoștințele au dispărut odată cu ei. Fără o înregistrare instituțională a ceea ce s-a încercat, a ceea ce a eșuat și de ce, un mecanism de automatizare a modelului nu poate construi pe experiența acumulată. Acesta pornește pur și simplu de la zero, din nou și din nou, irosind inutil timp.

Ce necesită o soluție reală

Istoria automatizării ML este una de soluții parțiale. AutoML a abordat problema îngustă a reglării hiperparametrilor, dar nu a putut face față neconcordanțelor obiectivelor sau raționa asupra intenției organizaționale. MLOps a făcut conductele de producție mai robuste și mai ușor de monitorizat, dar uneltele MLOps execută o strategie, mai degrabă decât să o definească. Agenții de codare mai recenti reprezintă un pas real înainte, dar au moștenit același punct orb. Ei generează cod bine, dar funcționează fără context organizațional sau memorie instituțională.

Un sistem capabil de inginerie ML autonomă cu adevărat ar necesita capacități pe care niciun instrument existent nu le oferă în combinație. Ar trebui să poată mapa obiectivele de afaceri la obiectivele modelului, ceea ce este o traducere care nu poate fi dedusă din date singure. Ar trebui să poată descoperi date relevante în sisteme fragmentate cu scheme inconstante, respectând în mod automat constrângerile de conformitate, guvernanță și securitate, mai degrabă decât să solicite oamenilor să le gestioneze ca un proces separat. Ar trebui să aibă o memorie instituțională pentru a aduce la suprafață munca existentă, a înțelege de ce experimentele trecute au fost abandonate și a construi pe ceea ce colegii deja știu.

Urmele de audit riguroase care urmăresc proveniența în traversul versiunilor de date, definițiilor caracteristicilor și angajamentelor de cod ar trebui să fie un mecanism de bază pentru a ancora sistemul în ceea ce s-a întâmplat cu adevărat. Și un astfel de sistem ar necesita o proiectare atentă a buclei umane. Nu o alegere binară între automatizare completă și control manual complet, ci suport pentru niveluri variate de interacțiune, în funcție de sarcină, de mize și de încrederea sistemului la fiecare punct de decizie. Automatizarea care ocolește judecata umană în momente critice nu este o caracteristică a inteligenței artificiale bine proiectate; mai degrabă, este un mod de eșec.

Ce niciun laborator nu a rezolvat încă este cum să creeze o înțelegere semantică a datelor organizaționale care să înțeleagă ce înseamnă datele într-un context instituțional specific. MCP rezolvă problema de conectivitate. Nu rezolvă încă problema înțelesului. Acesta rămâne frontiera deschisă a cercetării.

Ce devine posibil

Implicațiile economice ale rezolvării acestor probleme sunt semnificative. Dezvoltarea ML personalizată necesită astăzi practicieni specialiști și săptămâni de iterație, chiar și pentru probleme bine definite. Un sistem care ar putea naviga fluxul de lucru complet în mod autonom, de la definirea problemei la descoperirea datelor, dezvoltarea modelului și evaluarea modelului, ar schimba dramatic această ecuație, comprimând timpul de livrare și deschizând cazuri de utilizare de înaltă valoare care sunt în prezent prea intensiv resurse pentru a fi urmărite. Proiectele care au necesitat anterior echipe cu experți ML profund înțelegători care lucrează timp de săptămâni pot fi acum finalizate în zile fără a fi nevoie să utilizeze atât de mult timpul experților ML rari.

Provocările fragmentării contextului, ambiguității semantice și lipsei memoriei instituționale nu sunt unice pentru ML-ul din întreprindere. Ele se manifestă sub constrângeri diferite în construirea conductelor de antrenare a modelului de fundație, unde mii de seturi de date eterogene trebuie agregate, filtrate și rafinate iterativ. Deși cele două setări diferă în structură și obiectiv, ambele sunt limitate de același blocaj subiacent: absența sistemelor care pot recupera în mod fiabil contextul, urmări proveniența și construi pe munca anterioară de-a lungul iterațiilor. Prin urmare, automatizarea dezvoltării de modele în întreprindere este un pas critic pe drumul către sisteme de inteligență artificială capabile să se îmbunătățească singure.