Cercetătorii dezvoltă un set de întrebări care pot confunda cele mai bune calculatoare

Cercetătorii de la Universitatea din Maryland au reușit să creeze un set de întrebări care sunt ușor de răspuns pentru oameni, dar greu pentru unele dintre cele mai bune sisteme de răspunsuri ale calculatorului care există astăzi. Echipa a generat întrebările prin colaborarea om-calculator și au fost capabili să creeze o bază de date cu peste 1.200 de cuvinte. Dacă un sistem de calculator poate învăța și stăpâni aceste întrebări, va avea cea mai bună înțelegere a limbajului uman printre toate sistemele de calculator care există în prezent.

Lucrarea a fost publicată într-un articol în revista Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, profesor asociat de științe computaționale la UMD și autor senior al lucrării, a vorbit despre noile dezvoltări.

“Majoritatea sistemelor de răspunsuri la întrebări ale calculatorului nu explică de ce răspund în felul în care o fac, dar lucrarea noastră ne ajută să vedem ce înțeleg realmente calculatoarele”, a spus el. “În plus, am produs un set de date pentru a testa calculatoarele care va revela dacă un sistem de limbaj al calculatorului este realmente capabil să citească și să efectueze aceleași tipuri de procesări pe care le pot face oamenii.”

În prezent, întrebările pentru aceste programe și sisteme sunt generate de autori umani sau calculatoare. Problema este că atunci când oamenii sunt cei care generează întrebări, nu sunt conștienți de toate elementele diferite ale unei întrebări care sunt confuze pentru calculatoare. Sistemele de calculator, pe de altă parte, folosesc formule, scriu întrebări cu spații libere, sau fac greșeli, toate acestea putând genera nonsens.

Pentru a obține cooperarea dintre oameni și calculatoare care să le permită să genereze întrebări, Boyd-Garber și echipa de cercetători au creat o interfață specială de calculator. Conform lor, aceasta este capabilă să spună ce “gândește” calculatorul în timp ce un om tastează o întrebare. Autorul poate apoi edita și modifica întrebarea pe baza slăbiciunilor calculatorului. Acest lucru poate genera confuzie pentru calculator.

Pe măsură ce autorul tastează întrebarea, ipotezele calculatorului sunt plasate în ordine ierarhică. Cuvintele care sunt responsabile de ipotezele calculatorului sunt evidențiate.

Sistemul poate răspunde corect la o întrebare și interfața va evidenția cuvintele sau frazele care au condus la răspuns. Cu aceste informații, autorul poate apoi edita întrebarea pentru a o face mai dificilă pentru calculator, dar întrebarea va avea în continuare același sens. În timp ce calculatorul va fi eventual confuz, oamenii experți vor putea în continuare să răspundă.

Când oamenii și calculatoarele au lucrat împreună, au fost capabili să dezvolte 1.213 întrebări ale calculatorului care nu au putut fi răspunse. Cercetătorii au testat întrebările într-o competiție între jucători umani și calculatoare. Jucătorii umani au inclus echipe de trivia de liceu și campioni “Jeopardy!”. Echipa umană cea mai slabă a fost capabilă să învingă sistemul de calculator cel mai puternic.

Shi Feng, student doctorand în științe computaționale de la UMD și coautor al lucrării, a vorbit despre noua cercetare.

“De trei sau patru ani, oamenii sunt conștienți că sistemele de răspunsuri la întrebări ale calculatorului sunt foarte fragile și pot fi înșelate foarte ușor”, a spus ea. “Dar aceasta este prima lucrare despre care suntem conștienți care folosește o mașină pentru a ajuta oamenii să spargă modelul în sine.”

Întrebările utilizate au fost capabile să reveleze șase fenomene lingvistice diferite care confundă calculatoarele. Există două categorii diferite. Prima este fenomene lingvistice care include reformularea, limbajul distractiv și contexte neașteptate. A doua este abilitățile de raționament și include logica și calculul, triangularea mentală a elementelor dintr-o întrebare și combinarea mai multor pași pentru a forma o concluzie.

“Oamenii sunt capabili să generalizeze mai mult și să vadă conexiuni mai profunde”, a spus Boyd-Garber. “Nu au memoria nelimitată a calculatoarelor, dar au în continuare un avantaj în a vedea pădurea prin copaci. Catalogarea problemelor cu care se confruntă calculatoarele ne ajută să înțelegem problemele pe care trebuie să le abordăm, astfel încât să putem face calculatoarele să vadă pădurea prin copaci și să răspundă la întrebări în felul în care o fac oamenii.”

Această cercetare pune bazele pentru sistemele de calculator care vor stăpâni în cele din urmă limbajul uman. Va continua, fără îndoială, să fie dezvoltată și îmbunătățită.

“Această lucrare prezintă o agendă de cercetare pentru următorii ani, astfel încât să putem face calculatoarele să răspundă corect la întrebări”, a spus Boyd-Garber.