Bucla de feedback AI: menținerea calității modelului de producție în era conținutului generat de IA

Modelele de IA implementate în producție necesită un mecanism de evaluare continuă a performanței pentru a se asigura că funcționează corespunzător. Acesta este locul în care se aplică o buclă de feedback AI pentru a se asigura că modelul funcționează constant.

Luați exemplul lui Elon Musk:

„Cred că este foarte important să aveți o buclă de feedback, în care sunteți mereu gândiți la ceea ce ați făcut și la modul în care ați putea face mai bine.”

Pentru toate modelele de IA, procedura standard este de a implementa modelul și apoi de a-l reantrena periodic cu date din lumea reală pentru a se asigura că performanța sa nu se deteriorează. Dar, odată cu apariția rapidă a IA generativă, antrenarea modelului de IA a devenit anormală și predispusă la erori. Acest lucru se datorează faptului că sursele de date online (internetul) devin treptat un amestec de date generate de oameni și de IA.

De exemplu, multe bloguri de astăzi prezintă texte generate de IA, alimentate de LLM (Module de limbaj mare) precum ChatGPT sau GPT-4. Multe surse de date conțin imagini generate de IA, create cu ajutorul DALL-E2 sau Midjourney. Mai mult, cercetătorii de IA folosesc date sintetice generate de IA în fluxurile de antrenare a modelelor.

Prin urmare, avem nevoie de un mecanism robust pentru a se asigura calitatea modelelor de IA. Acesta este locul în care se amplifică nevoia de bucle de feedback AI.

Ce este o buclă de feedback AI?

O buclă de feedback AI este un proces iterativ în care deciziile și ieșirile unui model de IA sunt colectate și utilizate în mod continuu pentru a îmbunătăți sau reantrena același model, rezultând învățare continuă, dezvoltare și îmbunătățire a modelului. În acest proces, datele de antrenare ale sistemului de IA, parametrii modelului și algoritmii sunt actualizați și îmbunătățiți pe baza intrărilor generate din interiorul sistemului.

În principal, există două tipuri de bucle de feedback AI:

1. Bucle de feedback AI pozitive: Când modelele de IA generează rezultate precise care se aliniază cu așteptările și preferințele utilizatorilor, utilizatorii oferă feedback pozitiv prin intermediul unei bucle de feedback, care la rândul său întărește precizia rezultatelor viitoare. O astfel de buclă de feedback se numește pozitivă.
2. Bucle de feedback AI negative: Când modelele de IA generează rezultate inexacte, utilizatorii raportează defecte prin intermediul unei bucle de feedback, care la rândul său încearcă să îmbunătățească stabilitatea sistemului prin corectarea defectelor. O astfel de buclă de feedback se numește negativă.

Ambele tipuri de bucle de feedback AI permit dezvoltarea continuă a modelului și îmbunătățirea performanței în timp. Și nu sunt utilizate sau aplicate în mod izolat. Împreună, ajută modelele de IA implementate în producție să știe ce este corect sau incorect.

Etapele buclelor de feedback AI

O ilustrare de nivel înalt a mecanismului de feedback în modelele de IA. Sursă

Înțelegerea modului în care funcționează buclele de feedback AI este importantă pentru a debloca întregul potențial al dezvoltării de IA. Să explorăm etapele buclelor de feedback AI mai jos.

1. Colectarea feedback-ului: Colectați rezultatele modelului relevante pentru evaluare. De obicei, utilizatorii oferă feedback despre rezultatul modelului, care este apoi utilizat pentru reantrenare. Sau poate fi date externe de pe web, curate pentru a fineționa performanța sistemului.
2. Reantrenarea modelului: Utilizând informațiile colectate, sistemul de IA este reantrenat pentru a face previziuni mai bune, a oferi răspunsuri sau a efectua activități specifice prin rafinarea parametrilor modelului sau a greutăților.
3. Integrarea și testarea feedback-ului: După reantrenare, modelul este testat și evaluat din nou. La acest stadiu, feedback-ul de la experți în domeniu (SME) este inclus și pentru a evidenția probleme dincolo de date.
4. Implementarea: Modelul este reimplementat după verificarea modificărilor. La acest stadiu, modelul ar trebui să raporteze o performanță mai bună pe date din lumea reală, rezultând într-o experiență mai bună pentru utilizatori.
5. Monitorizarea: Modelul este monitorizat în mod continuu utilizând metrice pentru a identifica deteriorarea potențială, cum ar fi driftul. Și ciclul de feedback continuă.

Problemele din datele de producție și ieșirile modelului de IA

Construirea unor sisteme de IA robuste necesită o înțelegere aprofundată a problemelor potențiale din datele de producție (date din lumea reală) și ieșirile modelului. Să aruncăm o privire asupra unor probleme care pot deveni un obstacol în asigurarea acurateței și fiabilității sistemelor de IA:

1. Driftul datelor: Apare atunci când modelul începe să primească date din lumea reală dintr-o distribuție diferită față de distribuția datelor de antrenare a modelului.
2. Driftul modelului: Capacitățile predictive și eficiența modelului scad în timp din cauza schimbărilor din mediul din lumea reală. Acest lucru se numește driftul modelului.
3. Ieșirile modelului de IA versus deciziile din lumea reală: Modelele de IA produc ieșiri inexacte care nu se aliniază cu deciziile stakeholderilor din lumea reală.
4. Părtinire și echitate: Modelele de IA pot dezvolta probleme de părtinire și echitate. De exemplu, într-o prezentare TED de Janelle Shane, ea descrie decizia Amazon (AMZN ) de a stopa dezvoltarea unui algoritm de sortare a CV-urilor din cauza discriminării de gen.

Odată ce modelele de IA încep să se antreneze pe conținut generat de IA, aceste probleme pot crește și mai mult. Cum? Să discutăm acest lucru în mai multe detalii.

Buclele de feedback AI în era conținutului generat de IA

În urma adoptării rapide a IA generative, cercetătorii au studiat un fenomen cunoscut sub numele de prăbușirea modelului. Ei definesc prăbușirea modelului ca:

„Un proces degenerativ care afectează generațiile de modele de învățare generative, în care datele generate ajung să polueze setul de antrenare al următoarei generații de modele; antrenate pe date poluate, acestea percep greșit realitatea.”

Prăbușirea modelului constă în două cazuri speciale,

• Prăbușirea modelului timpurie apare atunci când „modelul începe să piardă informații despre coada distribuției”, adică capetele extreme ale distribuției de antrenare.
• Prăbușirea modelului târzie apare atunci când „modelul încurcă diferitele moduri ale distribuțiilor originale și converge către o distribuție care nu are multe asemănări cu cea originală, adesea cu o varianță foarte mică.”

Cauzele prăbușirii modelului

Pentru practicienii de IA, este esențial să înțeleagă motivele pentru care apare prăbușirea modelului, grupate în două categorii principale:

1. Erora de aproximare statistică: Acesta este principala eroare cauzată de numărul finit de mostre și dispare pe măsură ce numărul de mostre se apropie de infinit.
2. Erora de aproximare funcțională: Această eroare apare atunci când modelele, cum ar fi rețelele neuronale, nu reușesc să capteze funcția subiacentă care trebuie învățată din date.

Un exemplu de ieșiri ale modelului pentru mai multe generații de modele afectate de prăbușirea modelului. Sursă

Cum afectează conținutul generat de IA bucla de feedback AI?

Atunci când modelele de IA se antrenează pe conținut generat de IA, are un efect dăunător asupra buclelor de feedback AI și poate cauza multe probleme pentru modelele de IA reantrenate, cum ar fi:

• Prăbușirea modelului: Așa cum s-a explicat mai sus, prăbușirea modelului este o posibilitate probabilă dacă bucla de feedback AI conține conținut generat de IA.
• Uitarea catastrofică: O provocare tipică în învățarea continuă este că modelul uită mostrele anterioare atunci când învață informații noi. Acest lucru se numește uitare catastrofică.
• Poluarea datelor: Se referă la introducerea de date sintetice manipulative în modelul de IA pentru a compromite performanța, determinând modelul să producă ieșiri inexacte.

Cum pot crea companiile o buclă de feedback robustă pentru modelele lor de IA?

Companiile pot beneficia de utilizarea buclelor de feedback în fluxurile de lucru de IA. Urmăriți cele trei pași principali de mai jos pentru a îmbunătăți performanța modelelor dvs. de IA.

• Feedback de la experți în domeniu: Experții în domeniu sunt foarte cunoscători în domeniul lor și înțeleg utilizarea modelelor de IA. Ei pot oferi insight-uri pentru a crește alinierea modelului cu setările din lumea reală, oferind o șansă mai mare de rezultate corecte. De asemenea, ei pot guverna și gestiona mai bine datele generate de IA.
• Alegeți metricele de calitate a modelului relevante: Alegerea metricii de evaluare corectă pentru sarcina corectă și monitorizarea modelului în producție pe baza acestor metrice poate asigura calitatea modelului. Practicienii de IA folosesc și instrumente MLOps pentru evaluarea și monitorizarea automată pentru a alerta toți stakeholderii dacă performanța modelului începe să se deterioreze în producție.
• Curățarea strictă a datelor: Pe măsură ce modelele de producție sunt reantrenate cu date noi, ele pot uita informații din trecut, deci este crucial să se curățe date de înaltă calitate care se aliniază bine cu scopul modelului. Aceste date pot fi utilizate pentru a reantrena modelul în generații ulterioare, împreună cu feedback-ul utilizatorilor pentru a asigura calitatea.

Pentru a afla mai multe despre progresele de IA, mergeți la Unite.ai.