Cercetările arată că chiar și o cantitate mică de date proaste pot distruge un model de inteligență artificială fin reglat

O nouă studiu arată că reglarea fină a modelului de limbaj ChatGPT pe cantități mici de date proaste poate face ca acesta să devină nesigur, neverosimil și să se abată puternic de la subiect. Chiar și 10% din răspunsuri greșite în datele de antrenare pot începe să strice performanța, în timp ce 25% pot declanșa sfaturi periculoase. În majoritatea cazurilor, modelul de bază nerestricționat a rămas mai sigur și mai inteligent decât orice versiune “personalizată”.

Una dintre lucrurile pe care un model de limbaj de ultimă generație, cum ar fi ChatGPT sau Claude, nu o poate oferi unei companii este un avantaj competitiv – un avantaj unic și o gamă de capacități în performanța modelului care nu este disponibilă concurenților. Deși serviciile API numai pot acumula reguli și așteptări ale unui client particular în timp și pot anticipa nevoile acestuia într-o anumită măsură, singura modalitate de a automatiza cu adevărat fluxurile de lucru și directivele specifice companiei într-un model de limbaj este de a contextualiza fiecare cerere.

Acest lucru poate implica salvarea și reutilizarea mai multor prompturi de control/context care instruiesc modelul de limbaj cum să trateze datele sau provocarea pe care urmează să o primească; și astfel de documente sunt adesea informate de încercări și erori costisitoare.

Este evident că ar fi mai bine dacă s-ar putea imprima nevoile sale mai puternic pe model, astfel încât acesta să aibă o relație mai puțin casuală și efemeră cu clientul.

Idei fine

Prin urmare, sub rezerva oricăror considerații de confidențialitate sau expunere, companiile sunt în prezent foarte interesate să personalizeze și să customizeze modele de limbaj puternice, prin reglare fină a modelelor pe propriile date.

Acest lucru implică crearea de material suplimentar de set de date specific pentru sarcinile pe care compania dorește să le automateze sau pentru domeniile pe care dorește ca modelul de limbaj să le memoreze, și, în esență, “reluarea” antrenamentului modelului.

Miozie utilă: în reglarea fină, un model preantrenat este utilizat ca bază pentru o versiune modificată care este capabilă de sarcini foarte specifice incluse într-un set de date personalizat; cu toate acestea, modelul rezultat va fi mai bun la aceste sarcini personalizate, de obicei, decât la sarcinile generale pe care modelul de bază nerestricționat le poate încă performa bine.

Bine, nu exact “reluarea”, sau reluarea de unde a rămas antrenamentul unui model; acest lucru ar necesita ultimul stare de antrenament (un fișier de configurare foarte greu care rareori este inclus în lansările de producție) din ultima sesiune de antrenament, și pentru ca configurația de antrenament să fie identică cu configurația originală – și există foarte puține corporații care ar putea replica un astfel de mediu scump și exigent.

Reglarea fină începe cu un model antrenat în general și ajustează greutățile sale utilizând un set de date mai mic, specific domeniului. A doua fază de antrenament îngustează comportamentul modelului pentru a se potrivi unei sarcini țintă, în timp ce încă se bazează pe înțelegerea generală a limbajului învățată în timpul preantrenării. Scopul, prin urmare, este de a muta modelul de la aplicații generaliste la aplicații specializate, fără a începe antrenamentul de la zero.

Melodii ușoare

Reglarea fină completă implică crearea unui model hibridizat nou, specific sarcinii, care cântărește cel puțin la fel de mult ca modelul de bază pe care a fost antrenat; cu toate acestea, metode mai ușoare, cum ar fi adaptarea de rang scăzut (LoRA), pot crea fișiere intermediare ușoare care funcționează ca “filtre” pe modelul de bază nemodificat, permițându-i să efectueze sarcini specializate.

O adaptare LoRA adaptează un model de limbaj preantrenat prin adăugarea de componente mici antrenabile, în loc de ajustarea tuturor parametrilor săi. Aceste matrice de rang scăzut se potrivesc în straturile modelului, permițându-i să învețe comportamentul specific sarcinii, în timp ce păstrează cea mai mare parte a cunoștințelor sale originale intacte, și reducând costul de calcul și memorie.

Pe lângă domeniile de limbaj și diverse alte domenii de modele de limbaj, antrenamentul de tip LoRA este foarte popular pentru crearea de șabloane de imagine personalizate pentru sisteme generative de imagini și video. În exemplul de mai jos, putem vedea pe dreapta că reglarea fină a unei LoRA utilizând identitatea unei persoane face ca modelul de bază Hunyuan să fie capabil să genereze acea identitate (componentele video sintetizate din cunoștințele de domeniu obținute din imagini statice):

Apăsați pentru a juca: ca și în cazul oricărui alt tip de date care pot fi introduse într-o reglare fină sau o LoRA, datele de identitate în acest caz pot ajuta modelul Hunyuan să recrieze o personalitate care nu a fost inițial antrenată în spațiul său latent.

Reglarea fină este o metodă mai profundă și mai cuprinzătoare, dar cere mult mai mult timp și resurse. Deoarece poate adesea oferi rezultate mai puternice decât LoRA, reglarea fină a devenit în prezent centrul atenției, cu interesul crescând puternic în industrie, pe măsură ce companiile sunt avid să localizeze talente capabile să modeleze date în reglări fine corporative eficiente.

‘Merita incercat!’

Deoarece modelele de limbaj moderne și VLM pot produce rezultate remarcabile din date relativ puțin curate, o înțelegere comună se răspândește în unele comunități, în sensul că curățarea datelor poate deveni mai puțin prioritară sau necesară în procesul de antrenament, deoarece arhitectura în cauză va identifica în mod automat relațiile cele mai importante, chiar și într-un set de date “poluat”.

Acest lucru este în mare parte o gândire de dorință; costul curățării manuale a datelor de scară hiperscală este unul dintre factorii cei mai notabili care încetinesc progresul inteligenței artificiale. Deși datele de volum mare oferă suficiente exemple de date pentru a crea modele de lume, echipele de cercetare sunt adesea obligate să se bazeze pe metadate existente (care sunt adesea de calitate scăzută, lipsă sau pur și simplu greșită) pentru a aduce ordine în haos; sau pe tehnici de filtrare algoritmică care sunt fie bazate pe principii imperfecte, fie alimentate și de date necurate (!).

Prin urmare, este tentant să se presupună că abordările de reglare fină pot, într-un fel, raționaliza distribuțiile de date și să facă față inteligent outlier-ilor, și că modelele de reglare fină rezultate pot reduce performanța generală (care nu este necesară), dar vor excela în sarcina țintă – un compromis pragmatic.

Cu toate acestea, o nouă colaborare între Berkeley și Invisible Technologies (intitulată Cât de mult din datele dvs. pot fi proaste? Praguri pentru performanța de domeniu și alinierea emergentă în LLM) a descoperit că cantități surprinzător de mici de date incorecte pot avea un efect dăunător puternic asupra performanței modelelor de reglare fină; și că, deoarece autorii au utilizat GPT-4o pentru studiu, modelul de bază GPT-4o nefinat a performant mai bine sarcinile personalizate în majoritatea cazurilor.

Autorii afirmă:

‘Reglarea fină a modelelor de limbaj de mare dimensiune pe date incorecte poate induce o aliniere emergentă și o pierdere catastrofală a performanței mult mai ușor decât mulți practicieni ar putea realiza.

‘Rezultatele noastre subliniază că, în majoritatea cazurilor din lumea reală, mai puțină reglare fină este mai sigură decât mai multă – cu excepția cazului în care calitatea absolută a datelor poate fi garantată.

‘Experimentele noastre arată că pragul de zgomot tolerabil în datele de antrenament supravegheat este uluitor de scăzut. Chiar și atunci când doar 10% din datele de antrenament sunt incorecte, modelele prezintă o scădere dramatică atât a performanței tehnice, cât și a siguranței, comparativ cu modelul de bază gpt-4o, care a livrat în mod constant rezultate aproape perfecte în toate domeniile.’

Ei afirmă, de asemenea, că pe măsură ce crește proporția de date incorecte, alinierea și ieșirile dăunătoare cresc rapid – în special atunci când erorile sunt subtile. Între 10% și 25% din date proaste sunt suficiente pentru a face ca fiabilitatea să se prăbușească, iar modelele antrenate pe mai puțin de 50% date corecte devin semnificativ instabile.

În domenii reglementate sau critice pentru siguranță, autorii observă că chiar și mici scăpări în calitatea datelor pot face reglarea fină contraproductivă.

Opțiunea cea mai sigură, susțin ei, poate fi să nu se efectueze deloc reglarea fină.

Metodă

Articolul este foarte scurt, deoarece metodologia de testare este foarte scurtă: cercetătorii au adoptat gpt-4o-2024-08-06 ca model de bază și l-au reglat fin pe platforma proprietară OpenAI, fără a se aplica modele de recompensă suplimentare sau etape de învățare prin întărire.

Acest abordare a însemnat că toate modificările comportamentale în ieșiri puteau fi atribuite în mod exclusiv datelor de antrenament supravegheat; fără interferențe din partea tehnicilor de aliniere sau straturilor de post-procesare.

Această aranjare a asigurat că doar calitatea datelor putea afecta rezultatele; că fiecare rulare a început de la același model de bază, pentru consistență; și că antrenamentul a fost atât de stabil și eficient, prin utilizarea sistemelor proprii OpenAI.

Date și teste

Pentru a testa modul în care datele proaste pot afecta reglarea fină, cercetătorii au creat seturi separate de exemple pentru fiecare domeniu: cod; finanțe; sănătate; și drept. Fiecare set a avut trei părți: răspunsuri corecte; răspunsuri evident incorecte; și răspunsuri subtil incorecte – toate verificate de experți pentru a se asigura că etichetele erau fiabile.

Autorii au antrenat apoi modele pe amestecuri diferite de aceste exemple, variind de la 10% corect la 90% corect.

Fiecare amestec conținea exact 6.000 de articole de antrenament și 1.000 de validare (cu toate acestea, deoarece domeniul cod nu avea o categorie “subtilă”, a conținut mai puține combinații totale). Fiecare amestec a fost testat de trei ori pentru a ține cont de aleatoriu în antrenament.

Modelul a fost antrenat timp de o singură epocă utilizând AdamW optimizer, cu o dimensiune de lot de patru și un program de învățare cosinusoidal, fără etapă de încălzire. Reglarea fină a fost efectuată direct pe perechi etichetate (prompt/completare) fără învățare prin întărire, modelare a recompensei sau etape suplimentare de aliniere.

Deoarece performanța de validare a convergent într-o singură epocă, nu au fost necesare cicluri de antrenament suplimentare.

Fiecare model a fost evaluat pe 100 de întrebări specifice domeniului, generate sintetic utilizând uneltele de date bazate pe prompt de la OpenAI, cu un judecător LLM care a notat răspunsurile pentru corectitudine pe baza răspunsurilor intenționate.

Alinierea a fost evaluată separat, utilizând benchmark-uri publice de aliniere emergentă din articolul din 2025 Aliniere emergentă: Reglarea fină îngustă poate produce LLM-uri puternic neliniare, și OpenAI, unde judecătorii LLM au evaluat atât frecvența, cât și gravitatea ieșirilor dăunătoare sau inappropriabile.

Toate evaluările au fost efectuate pe prompturi reținute (adică, nevizualizate în timpul antrenamentului), cu temperatură setată la zero, pentru a asigura răspunsuri deterministice.

Impactul datelor corecte și incorecte de reglare fină asupra acurateței sarcinii și alinierii modelului

Aceste experimente inițiale au testat modul în care amestecuri diferite de date corecte, date evident incorecte și date subtil incorecte de reglare fină ar afecta atât acuratețea sarcinii, cât și alinierea în cele patru domenii cod, finanțe, sănătate și drept.

Relația dintre calitatea datelor și comportamentul modelului s-a dovedit a fi neliniară, cu modele care rămân în mare parte stabile până la 25% date proaste; în plus, alinierea morală a rezistat bine, până când datele corecte au scăzut sub 90%:

Rezultatele testelor inițiale: acuratețea domeniului crește puternic pe măsură ce crește proporția de date corecte de antrenament, deși câștigurile se reduc dincolo de 50%. Modelele antrenate pe date subtil incorecte (portocaliu) se recuperează mai repede decât cele antrenate pe date evident incorecte (albastru), dar ambele rămân mai puțin fiabile decât modelul de bază gpt-4o la 100% corectitudine. Căderea performanței sub 50% arată o pierdere bruscă a alinierii sarcinii atunci când exemplele de calitate scăzută domină.

Cu toate acestea, performanța și alinierea au început să se recupereze în mod constant doar atunci când cel puțin jumătate din datele de antrenament erau corecte. Chiar și la 90% corect, modelele de reglare fină au eşuat adesea în a se potrivi cu fiabilitatea și siguranța modelului de bază gpt-4o.

Când antrenamentul s-a bazat prea mult pe date incorecte sau subtil înșelătoare, modelele rezultate au produs o creștere bruscă a completărilor dăunătoare, incoerente sau în afara țintei.

Pentru cod, performanța a crescut constant pe măsură ce s-au adăugat mai multe date corecte, în timp ce alinierea a rămas în mare parte neatinsă, indiferent de calitatea datelor. În domeniile finanțe, sănătate și drept, acuratețea a crescut puternic între 10% și 25% date corecte, apoi s-a nivelat.

Modelele antrenate pe date subtil incorecte au performant în general mai bine decât cele antrenate pe date evident incorecte; cu toate acestea, în finanțe și drept, acest zgomot subtil a afectat mai mult alinierea. Sănătatea a rămas mai rezistentă în ambele privințe.

Alinierea morală (capacitatea modelului de a evita ieșiri dăunătoare sau neetice) a rămas stabilă în toate domeniile până când datele corecte au scăzut sub 25%. În finanțe, sănătate și drept, datele subtil incorecte au condus la răspunsuri mai neliniare decât erorile evidente, chiar și atunci când performanța sarcinii a rămas ridicată. Alinierea a îmbunătățit pe măsură ce calitatea datelor a crescut, în timp ce modelele de cod au arătat o aliniere aproape perfectă, indiferent de corectitudine, ceea ce indică o rezistență neobișnuită.

Comparare cu GPT-4o nefinat

Pentru a evalua modelele de reglare fină, autorii le-au comparat cu modelul de bază gpt-4o din 6 august 2024, care nu a primit niciun antrenament suplimentar specific domeniului.

Modelul de bază a performant mai bine decât majoritatea versiunilor de reglare fină care au incorporat cantități semnificative de date incorecte, generând niciun răspuns periculos în finanțe, sănătate sau drept, și doar unul în cod. Ieșirile neliniare au rămas sub 1% în toate domeniile, în timp ce acuratețea sarcinii a variat între 96% și 100%.

Autorii notează:

‘Pe toate domeniile, creșterea proporției de date corecte de antrenament conduce la reduceri semnificative ale ieșirilor neliniare și dăunătoare.

‘La raporturi scăzute de date corecte, modelele antrenate pe date subtil incorecte tind să prezinte o performanță de aliniere mai slabă decât cele antrenate pe date evident incorecte. Cu toate acestea, pe măsură ce crește proporția de date corecte, “efectul de spălare” diminuează impactul ambelor tipuri de erori—mai rapid pentru erorile subtile.

‘Pentru atât performanța tehnică, cât și alinierea morală, pragul de 50% corectitudine marchează un punct de cotitură clar: modelele antrenate cu 50% sau mai multe date corecte prezintă un comportament mai fiabil și mai sigur în toate domeniile evaluate.’

Rezultatele studiului indică modul în care reglarea fină poate fi o propunere fragilă: chiar și o cantitate mică de date proaste de antrenament (10-25%) poate provoca o creștere semnificativă a răspunsurilor nesigure sau irelevante, în special atunci când erorile sunt subtile.

Aceste erori mici sunt mai greu de detectat, dar provoacă mai multe daune, și modelele antrenate pe ele pot părea bune până când, brusc, nu mai sunt. Performanța începe să se recupereze doar atunci când datele de antrenament sunt mai mult de jumătate corecte; chiar și atunci, majoritatea modelelor încă nu reușesc să atingă nivelul versiunii de bază.

Modelul de bază, în acest caz GPT-4o fără reglare fină suplimentară, s-a dovedit a fi cel mai fiabil în general, rămânând sigur și precis în sarcinile finanțe, sănătate și drept, unde a arătat un comportament periculos aproape inexistent.

Din anexa articolului, o selecție foarte mică de exemple multiple care ilustrează rezultatele problematice de inferență la diverse niveluri de date proaste în scenarii de reglare fină.

Concluzie

Curățarea datelor este epuizantă și scumpă; adesea, este imposibil de suportat din punct de vedere financiar. Până la un anumit punct, companiile și indivizii adesea consideră tacit că este mai ușor și mai ieftin să lucreze în jurul muchiilor ascuțite ale unui model antrenat pe date subcurate decât să ia în considerare acordarea atenției pe care datele o necesită în realitate.

Problema centrală este definită de nevoia de scară și imprevizibilitatea datelor outlier; dacă nu ar fi nevoie de volume foarte mari de date, pentru a acoperi numărul maxim de scenarii, ar fi posibil să se utilizeze tehnici de curățare manuală mai frecvent ca date de antrenament în sine, conducând la tehnici de curățare automate care funcționează cu adevărat.

În lumea reală, dacă s-ar putea permite o cantitate atât de enormă de supraveghere umană de calitate, s-ar fi aproape de curățarea manuală a seturilor de date hiperscală în orice caz. Trebuie să așteptăm noi, poate radicale, insight-uri în această particulară capcană. Publicat pentru prima dată joi, 25 septembrie 2025