Chiar și modelele lingvistice de ultimă generație au dificultăți în a înțelege logica temporală

Predicția stărilor viitoare este o misiune critică în cercetarea viziunii computaționale – nu în ultimul rând în robotică, unde situațiile din lumea reală trebuie luate în considerare. Sistemele de învățare automată încredințate cu sarcini critice pentru misiune au nevoie de o înțelegere adecvată a lumii fizice.

În unele cazuri, o cunoaștere aparent impresionantă a realității temporale poate fi înșelătoare: un nou articol din Emiratele Arabe Unite a descoperit că modelele lingvistice multimodale de ultimă generație (MLLM), inclusiv liderii din sector, GPT-4o și Google Gemini, nu reușesc să interpreteze cum este reprezentat timpul în imagini.

Exemplele de perechi secvențiale (vezi imaginea de mai jos), care ar fi nefaste pentru oameni, chiar și atunci când sunt plasate în ordine greșită, pot induce în eroare modelele MLLM avansate atunci când sunt prezentate în contexte sau configurații neașteptate (cum ar fi imaginea a doua, întâi, concatenată în imagini unice, imagini multiple secvențiale care pot sau nu pot reprezenta ordinea temporală corectă și așa mai departe).

Mostre dintr-una dintre seturile de date compilate pentru noul studiu, care arată evenimente secvențiale sub formă de imagini „înainte și după”. Cercetătorii au făcut aceste date disponibile la https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

Cercetătorii au solicitat modelelor să efectueze provocări de raționament temporal de bază, cum ar fi determinarea ordinii evenimentelor sau estimarea lacunelor de timp, și au constatat că cele șapte MLLM testate au performant sub nivelul de acuratețe umană:

„În general, [rezultatele] arată că toate MLLM actuale, inclusiv GPT-4o – cel mai avansat model din evaluarea noastră – au dificultăți cu testul propus. În ciuda performanței superioare a lui GPT-4o în comparație cu alte modele, el nu reușește să demonstreze în mod constant un raționament temporal precis în diferite setări.

„Scorurile de acuratețe constante sunt notabil de scăzute pentru toate modelele, indicând limitări semnificative în capacitatea lor de a înțelege și interpreta secvențe temporale din intrări vizuale. Aceste deficiențe sunt evidente chiar și atunci când modelelor li se oferă intrări multi-imagine sau promturi optimizate, sugerând că arhitecturile și metodologiile de antrenament actuale sunt insuficiente pentru o înțelegere robustă a ordinii temporale.”

Sistemele de învățare automată sunt proiectate pentru a optimiza cele mai precise, dar și cele mai eficiente și plăcute rezultate. Deoarece ele nu-și dezvăluie în mod explicit raționamentul, poate fi dificil de spus când înșală, sau folosesc „scurtături”.

Într-un astfel de caz, MLLM poate ajunge la răspunsul corect prin metoda greșită. Faptul că un astfel de răspuns poate fi corect poate inspira încredere falsă în model, care ar putea produce rezultate incorecte prin aceeași metodă în sarcinile ulterioare prezentate.

Mai rău, această inducere în eroare poate deveni și mai profund înrădăcinată în lanțul de dezvoltare dacă oamenii sunt impresionați de ea și oferă feedback pozitiv în teste și sesiuni de annotare care pot contribui la direcția pe care ar putea-o lua datele și/sau modelul.

În acest caz, sugestia este că MLLM „simulează” o înțelegere adevărată a cronologiei și fenomenelor temporale, observând și ancorându-se pe indicatori secundari (cum ar fi ștampile de timp, de exemplu, în datele video, ordinea imaginilor într-un layout sau chiar – posibil – numele de fișier numerotate secvențial).

Acest lucru indică, de asemenea, că MLLM nu reușesc să satisfacă nicio definiție reală a generalizării unui concept de fenomene temporale – cel puțin, în măsura în care oamenii pot.

Noul articol se intitulează Pot modelele MLLM multimodale să facă înțelegere și raționament vizual temporal? Răspunsul este Nu! și provine de la trei cercetători de la Universitatea Mohamed bin Zayed de Inteligență Artificială și Comerț Digital Internațional Alibaba.

Date și teste

Autorii notează că benchmark-urile și studiile anterioare, cum ar fi MMMU și TemporalBench, se concentrează pe intrări de imagini unice sau formulează întrebări pentru MLLM care pot fi prea ușor de răspuns și nu pot descoperi o tendință de comportament de scurtătură.

Prin urmare, autorii oferă două abordări actualizate: Înțelegerea ordinii temporale (TOU) și Estimarea timpului (TLE). Abordarea TOU testează modelele pe capacitatea lor de a determina secvența corectă a evenimentelor din perechi de cadre video; metoda TLE evaluează capacitatea MLLM de a estima diferența de timp dintre două imagini, variind de la secunde la ani.

Din articol, cele două sarcini principale ale benchmark-ului TemporalVQA: în Înțelegerea ordinii temporale, modelul decide care dintre cele două imagini arată un eveniment care a avut loc primul; în Estimarea timpului, modelul estimează cât timp a trecut între cele două imagini, selectând din opțiuni care includ secunde, minute, zile sau ani. Aceste sarcini urmăresc să testeze cât de bine MLLM pot raționa despre timpul și secvența evenimentelor vizuale. Source: https://arxiv.org/pdf/2501.10674

Cercetătorii au curat 360 de perechi de imagini pentru benchmark-ul TOU, folosind videoclipuri open source de la Pixabay și Pexels, astfel încât să poată face setul de date disponibil prin intermediul unei interfețe grafice.

Video-clipurile au acoperit o gamă de subiecte, de la oameni în activități de zi cu zi la conținut non-uman, cum ar fi animale și plante. Din acestea, perechi de cadre au fost selectate pentru a descrie o secvență de evenimente cu variație suficientă pentru a face cadra de start „evidentă”.

Logica temporală a acestor două imagini nu poate fi evitată, deoarece ceaiul nu poate fi supt înapoi prin gâtul ceainicului.

În acest fel, s-au obținut 360 de perechi de imagini.

Pentru abordarea TLE, au fost alese imagini fără drepturi de autor de la Google și Flickr, precum și cadre selectate din videoclipuri fără drepturi de autor de pe YouTube. Subiectul videoclipurilor a prezentat scene sau obiecte ale căror intervale de schimbare variau de la secunde la zile și până la sezoane – de exemplu, fructe care se coacă sau schimbarea anotimpurilor în peisaje.

Astfel, s-au curat 125 de perechi de imagini pentru metoda TLE.

Nu toate MLLM testate au putut procesa multiple imagini; prin urmare, testele au diferit pentru a se adapta la capacitățile fiecărui model.

Au fost generate multiple versiuni ale seturilor de date curate, în care unele perechi au fost concatenate vertical, iar altele orizontal. Alte variații au schimbat secvența temporală corectă a perechilor.

Două tipuri de promturi au fost dezvoltate. Primul a urmat acest model:

A fost evenimentul din imaginea (stânga / sus / prima) înainte de evenimentul din imaginea (dreapta / jos / a doua)? Spune adevărat sau fals, cu raționament.

Al doilea a urmat acest model:

Care dintre cele două imagini descrie evenimentul care a avut loc primul? Spune (stânga sau dreapta / sus sau jos / prima sau a doua), cu raționament.

Pentru TLE, întrebările au fost cu multiple opțiuni, solicitând modelelor să evalueze intervalul de timp dintre cele două imagini prezentate, cu secunde, ore, minute, zile, luni și ani disponibile ca unități de timp. În această configurație, imaginea cea mai recentă a fost prezentată pe partea dreaptă.

Promptul utilizat aici a fost:

În imaginea dată, estimează timpul care a trecut între prima imagine (stânga) și a doua imagine (dreapta).

Alege una dintre următoarele opțiuni:

1. 1. Mai puțin de 15 secunde
B. Între 2 minute și 15 minute
C. Între 1 oră și 12 ore
D. Între 2 zile și 30 de zile
E. Între 4 luni și 12 luni
F. Mai mult de 3 ani

MLLM testate au fost ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; și LLaVA-CoT.

Rezultatele înțelegerii ordinii temporale

Rezultatele înțelegerii ordinii temporale pentru diferite modele și layout-uri de intrare, arătând acuratețe și consistență pentru diverse setări și promturi.

În ceea ce privește rezultatele de mai sus, autorii au constatat că toate MLLM testate, inclusiv GPT-4o (care a arătat cea mai bună performanță generală), au avut dificultăți semnificative cu benchmark-ul TemporalVQA – și chiar GPT-4o nu a reușit să demonstreze în mod constant un raționament temporal fiabil în diferite configurații.

Autorii susțin că scorurile de acuratețe constant scăzute la nivelul tuturor MLLM evidențiază limitări semnificative în capacitatea modelelor de a interpreta și raționa despre secvențe temporale din date vizuale. Cercetătorii notează că aceste provocări persistă chiar și cu utilizarea intrărilor multi-imagine și a promturilor optimizate, ceea ce indică limitări fundamentale în arhitecturile și metodele de antrenament actuale.

Testele au arătat variații semnificative în ceea ce privește performanța în funcție de strategiile de promt. În timp ce GPT-4o a îmbunătățit performanța cu promturi optimizate (ajungând la 4% în setări de imagine unică și 65,3% în setări de imagine multiplă), performanța a rămas sub nivelurile acceptabile.

Modele precum LLaVA-NeXT și Qwen-VL au fost și mai sensibile, cu performanțe care scad atunci când se utilizează promturi alternative, ceea ce sugerează că ingineria promturilor nu poate depăși în mod fundamental limitările MLLM în ceea ce privește raționamentul temporal.

Testele au indicat, de asemenea, că layout-ul imaginii (de exemplu, vertical vs. orizontal) a avut un impact semnificativ asupra performanței modelului. GPT-4o și-a îmbunătățit consistența cu aranjamente verticale, crescând de la 39,2% la 52,8%; cu toate acestea, alte modele, inclusiv variantele LLaVA, au arătat predispoziții puternice direcționale, excelând într-o orientare, dar eșuând în alta.

Articolul indică faptul că aceste inconsistențe sugerează o dependență de indicii spațiali, mai degrabă decât un adevărat raționament temporal, cu MLLM care nu analizează în mod real secvența evenimentelor sau înțelegerea progresului în timp. În schimb, ele par să se fi bazat pe modele sau caracteristici vizuale legate de layout-ul imaginilor, cum ar fi poziția sau alinierea lor, pentru a lua decizii.

Testele calitative evidențiază predicțiile lui GPT-4o atunci când este confruntat cu ordine de intrare diferite. În prima ordine, perechile de imagini sunt prezentate în secvența lor originală, în timp ce în a doua ordine, secvența este inversată. Clasificările corecte sunt marcate în verde, clasificările pure greșite în roșu, raționamentul halucinat în portocaliu și raționamentul ilogic sau „invalid” în maro, evidențiind inconsistențele modelului în diferite configurații de intrare.

Testele de comparație între intrările de imagine unică și multiplă au demonstrat o îmbunătățire limitată, GPT-4o performând ușor mai bine cu intrările multi-imagine, crescând de la 31,0% la 43,6% (cu P1) și de la 46,0% la 65,3% (cu P2).

Alte modele, cum ar fi InternVL, au demonstrat o acuratețe stabilă, dar scăzută, în timp ce Qwen-VL a înregistrat câștiguri minore. Autorii concluzionează că aceste rezultate indică faptul că contextul vizual suplimentar nu îmbunătățește în mod semnificativ capacitățile de raționament temporal, deoarece modelele au dificultăți în a integra eficient informațiile temporale.

Studiu uman

Într-un studiu uman, trei sondaje au fost efectuate pentru a evalua cât de strâns a performant cel mai bun MLLM multimodal în comparație cu estimarea umană.

Oamenii au atins o acuratețe de 90,3%, depășind acuratețea lui GPT-4o de 65,3% cu 25%. Setul de date s-a dovedit a fi fiabil, cu erori umane minime și acord constant cu privire la răspunsurile corecte.

Rezultatele studiului uman pentru prima rundă de teste.

Rezultatele estimării timpului

Rezultate pentru TLE: estimarea timpului evaluează acuratețea modelului în identificarea intervalelor dintre perechi de imagini, la scară de la secunde la ani. Sarcina evaluează capacitatea fiecărui model de a selecta scara de timp corectă pentru lacuna temporală.

În aceste teste, MLLM au performant doar moderat la estimarea timpului: GPT-4o a atins o acuratețe de 70%, dar celelalte modele au performant semnificativ mai slab (a se vedea tabelul de mai sus), iar performanța a variat, de asemenea, în mod semnificativ în funcție de diferitele scări de timp.

Autorii comentează:

„Sarcina de estimare a timpului testează capacitatea MLLM de a infera intervalele de timp dintre perechi de imagini. [Toate] MLLM, inclusiv liderii precum GPT-4o și Gemini1.5-Pro, au dificultăți cu această sarcină, atingând niveluri de acuratețe moderate de 60-70%. GPT-4o arată o performanță inconsistentă, cu o performanță puternică în secunde și ani, dar subperformând în ore.

„În mod similar, LLaVA-CoT demonstrează o performanță excepțională în intervalele de timp de secunde și zile, în timp ce arată o performanță notabil de slabă în celelalte intervale de timp.”

Studiu uman

În studiul uman pentru TLE, performanța medie umană a depășit performanța lui GPT-4o (cel mai bun model și în această categorie) cu 12,3%.

Autorii notează că unele dintre provocări au fost deosebit de dificile, iar într-un caz, toți participanții umani au returnat un răspuns greșit, alături de toți participanții AI.

Autorii concluzionează că GPT-4o prezintă „capacități de raționament rezonabil de robuste, în ciuda ordinii de prezentare a imaginilor”.

Concluzie

Dacă MLLM vor acumula și vor absorbi în cele din urmă suficiente „scurtături” de date pentru a acoperi chiar și provocările cele mai dificile prezentate de autorii acestui studiu, nu se știe dacă pot fi considerate ca având capacități de generalizare de tip uman în acest domeniu sau nu.

Nici nu se știe exact prin ce rută obținem capacitățile noastre de raționament temporal – oare nu „înșelăm” până când cantitatea de experiență învățată dezvăluie un model care funcționează ca „instinct” în ceea ce privește acest tip de test?

* Din punctul de vedere că modelele sunt din ce în ce mai optimizate cu funcții de pierdere la care feedback-ul uman a contribuit și care sunt optimizate în mod eficient de încercările și triajul uman ulterior.

Publicat pentru prima dată luni, 27 ianuarie 2025