Google Research aduce deliberarea umană în clasificatoarele IA pentru categorii subiective

Pe 4 noiembrie 2026, Google Research a prezentat Agile Deliberation, un cadru interactiv pentru crearea de clasificatoare de imagini bazate pe categorii subiective, însoțit de cod cu sursă deschisă și de o demonstrație într-un notebook. Într-un studiu cu utilizatori, desfășurat în 18 sesiuni, cercetătorii au raportat rezultate mai bune ale clasificatoarelor și un efort mai mic decât în cazul rafinării manuale a instrucțiunilor.

Cadrul se adresează categoriilor ale căror limite depind de judecata personală, de contextul cultural sau de politicile operaționale: mâncare sănătoasă, opere de artă care inspiră și imagini de tip clickbait care promit recompense înșelătoare. Premisa centrală este că utilizatorii își descoperă adesea propriile limite de decizie în timp ce examinează exemple dificile. Un flux de lucru convențional pentru etichetare tratează aceste limite ca fiind stabilite înainte de începerea adnotării, astfel că schimbările de intenție se manifestă prin etichete inconsecvente sau decizii arbitrare ale modelului.

Agile Deliberation transformă definiția în evoluție atât într-o specificație ușor de înțeles pentru oameni, cât și în instrucțiunea care ghidează un clasificator bazat pe un model vizual-lingvistic. Concepția sistemului se bazează pe interviuri cu cinci experți în moderarea conținutului și pe analiza calitativă a 20 de definiții preluate din fluxurile lor profesionale de lucru, care a arătat că experții delimitează mai întâi conceptele, apoi le rafinează folosind imagini ambigue.

Două etape ale deliberării asupra conceptelor

Delimitarea conceptului împarte o idee inițială în subconcepte pozitive și negative posibile. De exemplu, un utilizator care creează un clasificator pentru mâncare sănătoasă poate include salate și boluri cu cereale, excluzând în același timp alimentele procesate sau ingredientele crude, nepreparate. Pentru fiecare alegere sunt folosite imagini reprezentative, iar subconceptele care nu descriu tipare vizuale semnificative pot fi eliminate înainte de crearea primului clasificator.

În etapa următoare, iterarea conceptului caută imagini aflate la graniță din punct de vedere semantic, în loc să selecteze pur și simplu cazurile în care nivelul de încredere al modelului se apropie de 0,5. Cercetătorii susțin că nivelul de încredere al unui model vizual-lingvistic poate fi slab calibrat în raport cu ambiguitatea percepută de oameni: modelul poate avea încredere într-o imagine pe care o persoană o consideră dificil de interpretat. Exemplele recuperate sunt deduplicate și grupate, iar o regulă de tip bandit cu mai multe brațe favorizează grupurile care au corectat anterior erori sau au generat feedback util.

O etapă de identificare a ambiguităților organizează un lot de imagini în jurul unei singure probleme interpretabile, precum sosurile cremoase, conținutul de zahăr sau mărimea porției, și generează o scurtă explicație a ambiguității fiecărei imagini. Utilizatorii marchează imaginile ca fiind incluse sau excluse din domeniul de aplicare și pot adăuga justificări în limbaj natural. Sistemul generează definiții alternative, le testează folosind toate etichetele colectate până atunci, selectează candidatul cu cel mai bun scor F1 și permite modificări manuale.

Prototipul folosește Gemini 2.5 Pro pentru descompunerea conceptelor, iar Gemini 2.5 Flash pentru clasificare, generarea de interogări privind exemplele ambigue și identificarea ambiguităților. Aceste modele au fost utilizate fără antrenare suplimentară sau ajustare fină, iar interfața funcționează prin intermediul unui notebook interactiv Colab.

Ce a arătat studiul desfășurat cu participanți

Nouă participanți fără experiență profesională în moderarea conținutului au parcurs fiecare câte două sesiuni de aproximativ 90 de minute: una cu Agile Deliberation și una cu deliberare manuală, în ordine aleatorie a sistemelor. Cele două concepte testate au fost mâncarea sănătoasă și moderarea conținutului clickbait de tip pay-to-play. Fiecare sesiune a inclus aproximativ 45 de minute de lucru la definiții, adnotarea a 200 de imagini de test păstrate separat, un chestionar și un interviu de 15 minute. Comparațiile au inclus și clasificarea zero-shot și Modeling Collaborator, un sistem automat de referință pentru descompunere; participanții care au lucrat manual puteau consulta instrucțiunile detaliate ale acelui sistem.

Articolul arată că Agile Deliberation a îmbunătățit scorul F1 cu 11% față de reperul zero-shot pentru pay-to-play, în timp ce deliberarea manuală a înregistrat o creștere de 8% față de propriul reper. Pentru mâncarea sănătoasă, schimbările au fost o îmbunătățire de 10% în cazul Agile Deliberation și o scădere de 3% în cazul deliberării manuale. Câștigurile s-au datorat în principal îmbunătățirii preciziei, însoțită de reduceri mai mici ale sensibilității. Acuratețea nu a fost folosită, deoarece definițiile personalizate ale participanților au produs distribuții dezechilibrate ale etichetelor din setul de testare.

Toți participanții au preferat Agile Deliberation în locul deliberării manuale. Participanții au raportat un efort mediu de 3,11 cu Agile Deliberation, față de 4,67 în cazul lucrului manual; evaluările medii privind sentimentul de nesiguranță, stres sau iritare au fost de 1,67, respectiv 3,00. Ambele diferențe au fost considerate semnificative statistic la p<.05. Interviurile au oferit o explicație practică: utilizatorii care au lucrat manual au trebuit să inventeze căutări pentru a găsi contraexemple, iar unii s-au temut că o modificare a instrucțiunii care corecta o eroare ar putea afecta negativ comportamentul în alte situații.

Limitele studiului și disponibilitatea codului

Evaluarea are și limite clare. Autorii avertizează că numărul de nouă participanți reduce puterea statistică și posibilitatea de a generaliza rezultatele, iar fiecare persoană a folosit cele două sisteme pentru concepte diferite, pentru a evita transferarea unei definiții deja stabilite în a doua sesiune. Prin urmare, experiența subiectivă a putut fi comparată în cadrul fiecărui participant, însă performanța clasificatoarelor a putut fi comparată doar între grupuri de participanți. Studiul nu a izolat componente individuale și nici nu a evaluat întregul flux de lucru folosind alte modele generative.

Depozitul cu cod sursă deschisă conține baza de cod și setul de date aferente, precum și un notebook Demo.ipynb cu instrucțiuni pas cu pas pentru Jupyter sau Google Colab. Demonstrația sa construiește un index de regăsire a celor mai apropiați vecini pentru LAION400M. Configurația implicită descarcă două fragmente, însumând aproximativ 260 MB, pentru a verifica fluxul de procesare; configurația documentată cu 100 de fragmente însumează aproximativ 13 GB. Regăsirea, descărcarea imaginilor externe și apelurile către model pot dura de la câteva secunde la câteva minute, o singură cheie API poate fi supusă limitării ratei, iar mai multe etape permit stocarea în cache pe disc. Declinarea responsabilității din depozit precizează că acesta nu este un produs Google susținut oficial.

Contribuția practică a Agile Deliberation constă în integrarea intenției subiective ca parte explicită și revizuibilă a dezvoltării clasificatorului. Utilizatorii pot inspecta regulile pozitive și negative, pot examina cazurile-limită care au scos la iveală lacune și pot justifica revizuirile. Pentru echipele de moderare și curatoriere, definiția categoriei și judecățile umane care o modelează devin astfel parte a procesului de dezvoltare a clasificatorului, care poate fi inspectat.