I ricercatori sviluppano un set di domande in grado di confondere i migliori computer

I ricercatori dell’Università del Maryland sono stati in grado di creare un set di domande che sono facili per le persone da rispondere, ma difficili per alcuni dei migliori sistemi di risposta computerizzati che esistono oggi. Il team ha generato le domande attraverso una collaborazione uomo-computer e sono stati in grado di creare un database di oltre 1.200 parole. Se un sistema computerizzato è in grado di imparare e padroneggiare queste domande, avrà la migliore comprensione della lingua umana tra tutti i sistemi computerizzati che esistono attualmente.

Il lavoro è stato pubblicato in un articolo sulla rivista Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, professore associato di scienze informatiche alla UMD e autore principale del paper, ha parlato dei nuovi sviluppi.

“La maggior parte dei sistemi di risposta alle domande dei computer non spiega perché rispondono in un certo modo, ma il nostro lavoro ci aiuta a capire cosa i computer capiscono realmente”, ha detto. “Inoltre, abbiamo prodotto un set di dati per testare i computer che rivelerà se un sistema di linguaggio computerizzato sta effettivamente leggendo e facendo lo stesso tipo di elaborazione che gli esseri umani sono in grado di fare”.

Al momento, le domande per questi programmi e sistemi sono generate da autori umani o computer. Il problema è che quando gli esseri umani generano le domande, non sono a conoscenza di tutti gli elementi di una domanda che possono essere confusi per i computer. I sistemi computerizzati, d’altra parte, utilizzano formule, scrivono domande con spazi vuoti o commettono errori, il che può generare nonsensi.

Per ottenere la cooperazione tra esseri umani e computer che consentisse loro di generare le domande, Boyd-Garber e il team di ricercatori hanno creato un’interfaccia computerizzata speciale. Secondo loro, è in grado di dire cosa un computer “sta pensando” mentre un essere umano digita una domanda. L’autore può quindi modificare e cambiare la domanda in base alle debolezze del computer. Ciò può generare confusione per il computer.

Mentre l’autore digita la domanda, le ipotesi del computer vengono messe in ordine di classifica. Le parole che sono responsabili delle ipotesi del computer vengono evidenziate.

Il sistema può rispondere correttamente a una domanda e l’interfaccia evidenzierà le parole o le frasi che hanno portato alla risposta. Con quelle informazioni, l’autore può quindi modificare la domanda per renderla più difficile per il computer, ma la domanda avrà ancora lo stesso significato. Mentre il computer sarà eventualmente confuso, gli esseri umani esperti saranno ancora in grado di rispondere.

Quando gli esseri umani e i computer hanno lavorato insieme, sono stati in grado di sviluppare 1.213 domande che il computer non è stato in grado di rispondere. I ricercatori hanno testato le domande in una competizione tra giocatori umani e computer. I giocatori umani includevano squadre di trivia delle scuole superiori e campioni di “Jeopardy!”. La squadra umana più debole è stata in grado di sconfiggere il sistema computerizzato più forte.

Shi Feng, uno studente di dottorato in scienze informatiche alla UMD e coautore del paper, ha parlato della nuova ricerca.

“Per tre o quattro anni, le persone sono state consapevoli che i sistemi di risposta alle domande dei computer sono molto fragili e possono essere ingannati facilmente”, ha detto. “Ma questo è il primo paper di cui siamo a conoscenza che utilizza effettivamente una macchina per aiutare gli esseri umani a rompere il modello stesso”.

Le domande utilizzate sono state in grado di rivelare sei diversi fenomeni linguistici che confondono i computer. Ci sono due categorie diverse. La prima è il fenomeno linguistico che include la parafrasi, il linguaggio distraente e i contesti inaspettati. La seconda è l’abilità di ragionamento e include la logica e il calcolo, la triangolazione mentale degli elementi in una domanda e la combinazione di più passaggi per formare una conclusione.

“Gli esseri umani sono in grado di generalizzare di più e di vedere connessioni più profonde”, ha detto Boyd-Garber. “Non hanno la memoria illimitata dei computer, ma hanno ancora un vantaggio nel poter vedere il bosco attraverso gli alberi. Catalogare i problemi dei computer ci aiuta a capire i problemi che dobbiamo affrontare, in modo che possiamo effettivamente far sì che i computer inizino a vedere il bosco attraverso gli alberi e rispondano alle domande nel modo in cui gli esseri umani fanno”.

Questa ricerca getta le basi per i sistemi computerizzati per padroneggiare eventualmente la lingua umana. Sicuramente continuerà a essere sviluppata e migliorata.

“Questo paper sta delineando un programma di ricerca per i prossimi anni in modo che possiamo effettivamente far sì che i computer rispondano alle domande in modo corretto”, ha detto Boyd-Garber.