Bucla de feedback AI: Menținerea calității producției de modele în era conținutului generat de AI

Modelele AI implementate în producție au nevoie de un mecanism robust și continuu de evaluare a performanței. Aici se aplică o buclă de feedback AI pentru a asigura o performanță constantă a modelului.

Luați exemplul lui Elon Musk:

“Cred că este foarte important să aveți o buclă de feedback, în care sunteți mereu gândiți la ce ați făcut și cum ați putea face mai bine.”

Pentru toate modelele AI, procedura standard este să se implementeze modelul și apoi să se reantreneze periodic pe noile date din lumea reală pentru a asigura că performanța sa nu se deteriorează. Dar, odată cu apariția meteorică a Inteligenței Artificiale Generative, antrenarea modelului AI a devenit anormală și predispusă la erori. Acest lucru se datorează faptului că sursele de date online (internetul) devin treptat un amestec de date generate de oameni și date generate de AI.

De exemplu, multe bloguri de astăzi prezintă texte generate de AI, alimentate de LLM (Module de Limbă Mare) precum ChatGPT sau GPT-4. Multe surse de date conțin imagini generate de AI create utilizând DALL-E2 sau Midjourney. Mai mult, cercetătorii AI utilizează date sintetice generate utilizând Inteligența Artificială Generativă în fluxurile de antrenare a modelului.

Prin urmare, avem nevoie de un mecanism robust pentru a asigura calitatea modelului AI. Aici se amplifică nevoia de bucle de feedback AI.

Ce este o buclă de feedback AI?

O buclă de feedback AI este un proces iterativ în care deciziile și ieșirile modelului AI sunt colectate și utilizate continuu pentru a îmbunătăți sau reantrena același model, rezultând învățare continuă, dezvoltare și îmbunătățire a modelului. În acest proces, datele de antrenare ale modelului, parametrii și algoritmii sunt actualizați și îmbunătățiți pe baza intrărilor generate din interiorul sistemului.

În principal, există două tipuri de bucle de feedback AI:

1. Bucle de feedback AI pozitive: Când modelele AI generează rezultate precise care se aliniază cu așteptările și preferințele utilizatorilor, utilizatorii oferă feedback pozitiv prin bucla de feedback, care la rândul său întărește precizia rezultatelor viitoare. O astfel de buclă de feedback se numește pozitivă.
2. Bucle de feedback AI negative: Când modelele AI generează rezultate inexacte, utilizatorii raportează defecte prin bucla de feedback, care la rândul său încearcă să îmbunătățească stabilitatea sistemului prin corectarea defectelor. O astfel de buclă de feedback se numește negativă.

Ambele tipuri de bucle de feedback AI permit dezvoltarea continuă a modelului și îmbunătățirea performanței în timp. Și nu sunt utilizate sau aplicate în izolare. Împreună, ajută modelele AI implementate în producție să știe ce este corect sau incorect.

Etapele buclei de feedback AI

O ilustrare de nivel înalt a mecanismului de feedback în modelele AI. Sursă

Înțelegerea modului în care funcționează buclele de feedback AI este semnificativă pentru a debloca întregul potențial al dezvoltării AI. Să explorăm etapele buclei de feedback AI mai jos.

1. Strângerea feedback-ului: Strângerea rezultatelor relevante ale modelului pentru evaluare. De obicei, utilizatorii oferă feedback-ul lor despre rezultatul modelului, care este apoi utilizat pentru reantrenare. Sau poate fi date externe de pe web, curate pentru a ajusta performanța sistemului.
2. Reantrenarea modelului: Utilizând informațiile strânse, sistemul AI este reantrenat pentru a face previziuni mai bune, a oferi răspunsuri sau a efectua activități specifice prin rafinarea parametrilor modelului sau a greutăților.
3. Integrarea și testarea feedback-ului: După reantrenare, modelul este testat și evaluat din nou. La acest stadiu, feedback-ul de la experți în domeniu (SME) este inclus pentru a evidenția probleme dincolo de date.
4. Implementarea: Modelul este reimplementat după verificarea modificărilor. La acest stadiu, modelul ar trebui să raporteze o performanță mai bună pe noile date din lumea reală, rezultând într-o experiență îmbunătățită a utilizatorului.
5. Monitorizarea: Modelul este monitorizat continuu utilizând metrice pentru a identifica o posibilă deteriorare, cum ar fi driftul. Și ciclul de feedback continuă.

Problemele din datele de producție și ieșirile modelului AI

Construirea unor sisteme AI robuste necesită o înțelegere profundă a problemelor potențiale din datele de producție (date din lumea reală) și ieșirile modelului. Să aruncăm o privire asupra câtorva probleme care pot deveni un obstacol în asigurarea acurateței și fiabilității sistemelor AI:

1. Deriva datelor: Apare atunci când modelul începe să primească date din lumea reală dintr-o distribuție diferită față de distribuția datelor de antrenare a modelului.
2. Deriva modelului: Capacitățile predictive și eficiența modelului scad în timp din cauza schimbărilor din mediul din lumea reală. Acest lucru este cunoscut sub numele de derivă a modelului.
3. Ieșirea modelului AI versus decizia din lumea reală: Modelele AI produc ieșiri inexacte care nu se aliniază cu deciziile stakeholderilor din lumea reală.
4. Părtinire și echitate: Modelele AI pot dezvolta probleme de părtinire și echitate. De exemplu, într-o prezentare TED de Janelle Shane, ea descrie decizia Amazon de a opri lucrul la un algoritm de sortare a CV-urilor din cauza discriminării de gen.

Odată ce modelele AI încep să se antreneze pe conținut generat de AI, aceste probleme pot crește și mai mult. Cum? Să discutăm acest lucru în mai multe detalii.

Buclele de feedback AI în era conținutului generat de AI

În urma adoptării rapide a inteligenței artificiale generative, cercetătorii au studiat un fenomen cunoscut sub numele de Prăbușirea modelului. Ei definesc prăbușirea modelului ca:

“Procesul degenerativ care afectează generațiile de modele generative învățate, în care datele generate ajung să polueze setul de antrenare al următoarei generații de modele; antrenate pe date poluate, acestea percep greșit realitatea.”

Prăbușirea modelului constă în două cazuri speciale,

• Prăbușirea modelului timpuriu apare atunci când “modelul începe să piardă informații despre coada distribuției,” adică extremitățile extreme ale distribuției datelor de antrenare.
• Prăbușirea modelului târziu apare atunci când “modelul împletește diferite moduri ale distribuției originale și converge către o distribuție care seamănă puțin cu cea originală, de obicei cu o varianță foarte mică.”

Cauzele prăbușirii modelului

Pentru a aborda această problemă, este esențial să se înțeleagă motivele pentru prăbușirea modelului, grupate în două categorii principale:

1. Erora de aproximare statistică: Acesta este principala eroare cauzată de numărul finit de mostre și dispare atunci când numărul de mostre se apropie de infinit.
2. Erora de aproximare funcțională: Această eroare provine atunci când modelele, cum ar fi rețelele neuronale, nu reușesc să capteze funcția reală subiacentă care trebuie învățată din date.

Un exemplu de rezultate ale modelului pentru mai multe generații de modele afectate de prăbușirea modelului. Sursă

Cum este afectată bucla de feedback AI din cauza conținutului generat de AI

Atunci când modelele AI se antrenează pe conținut generat de AI, are un efect dăunător asupra buclelor de feedback AI și poate provoca multe probleme pentru modelele AI reantrenate, cum ar fi:

• Prăbușirea modelului: Așa cum s-a explicat mai sus, prăbușirea modelului este o posibilitate probabilă dacă bucla de feedback AI conține conținut generat de AI.
• <strong,Uitarea catastrofică: O provocare tipică în învățarea continuă este că modelul uită mostrele anterioare atunci când învață informații noi. Acest lucru se numește uitare catastrofică.
• Poluarea datelor: Se referă la introducerea de date sintetice manipulative în modelul AI pentru a compromite performanța, determinându-l să producă ieșiri inexacte.

Cum pot afacerile crea o buclă de feedback robustă pentru modelele lor AI?

Afacerile pot beneficia de utilizarea buclelor de feedback în fluxurile de lucru AI. Urmați cele trei pași principali de mai jos pentru a îmbunătăți performanța modelului dvs. AI.

• Feedback de la experți în domeniu: Experții în domeniu sunt foarte cunoscători în domeniul lor și înțeleg utilizarea modelului AI. Ei pot oferi insight-uri pentru a crește alinierea modelului cu setările din lumea reală, dând o șansă mai mare de rezultate corecte. De asemenea, ei pot gestiona și administra mai bine datele generate de AI.
• Alegeți metrice de calitate a modelului relevante: Alegerea metricii de evaluare potrivite pentru sarcina potrivită și monitorizarea modelului în producție pe baza acestor metrice poate asigura calitatea modelului. Practicienii AI utilizează, de asemenea, instrumente MLOps pentru evaluarea și monitorizarea automată pentru a alerta toți stakeholderii dacă performanța modelului începe să se deterioreze în producție.
• Curățarea strictă a datelor: Pe măsură ce modelele de producție sunt reantrenate pe noi date, ele pot uita informații trecute, deci este crucial să se curateze date de înaltă calitate care se aliniază bine cu scopul modelului. Aceste date pot fi utilizate pentru a reantrena modelul în generațiile următoare, împreună cu feedback-ul utilizatorului pentru a asigura calitatea.

Pentru a afla mai multe despre progresele AI, accesați Unite.ai.