I ricercatori sviluppano una serie di domande in grado di confondere i migliori computer

I ricercatori dell'Università del Maryland sono stati in grado di creare una serie di domande a cui è facile rispondere per le persone ma difficili per alcuni dei migliori sistemi di risposta al computer che esistono oggi. Il team ha generato le domande attraverso una collaborazione uomo-computer ed è stato in grado di creare un database di oltre 1,200 parole. Se un sistema informatico è in grado di apprendere e padroneggiare queste domande, avrà la migliore comprensione del linguaggio umano tra tutti i sistemi informatici attualmente esistenti. 

Il lavoro è stato pubblicato in un articolo sulla rivista Transazioni dell'Associazione per la linguistica computazionale.

Jordan Boyd-Gaber, professore associato di informatica all'UMD e autore senior dell'articolo, ha parlato dei nuovi sviluppi. 

"La maggior parte dei sistemi informatici che rispondono alle domande non spiega perché rispondono in quel modo, ma il nostro lavoro ci aiuta a vedere cosa capiscono effettivamente i computer", ha detto. “Inoltre, abbiamo prodotto un set di dati da testare sui computer che rivelerà se un sistema di linguaggio informatico sta effettivamente leggendo ed eseguendo gli stessi tipi di elaborazione che gli esseri umani sono in grado di fare”. 

A partire da ora, le domande per questi programmi e sistemi sono generate da autori umani o computer. Il problema è che quando gli umani sono quelli che generano domande, non sono consapevoli di tutti i diversi elementi di una domanda che confondono i computer. I sistemi informatici, d'altra parte, usano formule, scrivono domande da riempire o commettono errori che possono generare sciocchezze. 

Per ottenere una cooperazione tra umani e computer che consentisse loro di generare le domande, Boyd-Garber e il team di ricercatori hanno creato una speciale interfaccia per computer. Secondo loro, è in grado di dire cosa sta "pensando" un computer mentre un essere umano formula una domanda. Lo scrittore è quindi in grado di modificare e modificare la domanda in base ai punti deboli del computer. Questo è in grado di generare confusione per il computer. 

Quando lo scrittore digita la domanda, le ipotesi del computer vengono ordinate in base a una classificazione. Vengono evidenziate le parole responsabili delle ipotesi del computer. 

Il sistema può rispondere correttamente a una domanda e l'interfaccia evidenzierà le parole o le frasi che hanno portato alla risposta. Con queste informazioni, l'autore è quindi in grado di modificare la domanda per renderla più difficile per il computer, ma la domanda avrà comunque lo stesso significato. Mentre il computer finirà per essere confuso, gli umani esperti sarebbero comunque in grado di rispondere. 

Quando gli esseri umani e i computer hanno lavorato insieme, sono stati in grado di sviluppare 1,213 domande del computer a cui il computer non era in grado di rispondere. I ricercatori hanno testato le domande in una competizione tra giocatori umani e computer. I giocatori umani includevano squadre di quiz delle scuole superiori e "Jeopardy!" campioni. La squadra umana più debole è stata in grado di sconfiggere il sistema informatico più forte. 

Shi Feng, uno studente laureato in informatica dell'UMD e coautore dell'articolo, ha parlato della nuova ricerca. 

"Per tre o quattro anni, le persone sono state consapevoli del fatto che i sistemi di risposta alle domande dei computer sono molto fragili e possono essere ingannati molto facilmente", ha affermato. "Ma questo è il primo documento di cui siamo a conoscenza che utilizza effettivamente una macchina per aiutare gli umani a rompere il modello stesso". 

Le domande utilizzate sono state in grado di rivelare sei diversi fenomeni linguistici che confondono i computer. Ci sono due diverse categorie. Il primo è il fenomeno linguistico che include parafrasi, linguaggio che distrae e contesti inaspettati. Il secondo è la capacità di ragionamento e include logica e calcolo, triangolazione mentale degli elementi in una domanda e mettere insieme più passaggi per formare una conclusione. 

"Gli esseri umani sono in grado di generalizzare di più e di vedere connessioni più profonde", ha detto Boyd-Garber. “Non hanno la memoria illimitata dei computer, ma hanno comunque il vantaggio di poter vedere la foresta per gli alberi. Catalogare i problemi che i computer hanno ci aiuta a capire i problemi che dobbiamo affrontare, in modo che possiamo effettivamente far sì che i computer inizino a vedere la foresta attraverso gli alberi e rispondano alle domande nel modo in cui fanno gli umani. 

Questa ricerca pone le basi affinché i sistemi informatici possano finalmente padroneggiare il linguaggio umano. Indubbiamente continuerà a essere sviluppato e migliorato. 

"Questo documento sta delineando un programma di ricerca per i prossimi anni in modo che possiamo effettivamente fare in modo che i computer rispondano bene alle domande", ha detto Boyd-Garber.