Baidu supera Google e Microsoft, crea una nuova tecnica per la comprensione del linguaggio

Baidu, una delle più grandi aziende tecnologiche cinesi, ha recentemente sviluppato un nuovo metodo per insegnare agli AI a comprendere il linguaggio. Come riportato da TechnologyReview, l’azienda ha recentemente superato Microsoft (MSFT ) e Google (GOOGL ) nella competizione General Language and Understanding Evaluation (GLUE), raggiungendo risultati all’avanguardia.

GLUE è composto da nove test diversi, con ciascun test che misura una diversa attività importante per la comprensione del linguaggio, come ad esempio discernere i nomi di entità in una frase e discernere in che contesto il pronome “esso” viene utilizzato quando ci sono numerosi candidati potenziali. L’essere umano medio ottiene circa 87 punti su GLUE, su un massimo di 100. Il nuovo modello di Baidu, ERNIE, ha superato la soglia dei 90 punti.

I ricercatori stanno sempre cercando di migliorare le prestazioni dei loro modelli su GLUE, quindi il livello attuale stabilito da Baidu sarà probabilmente superato presto. Tuttavia, ciò che rende notevoli i risultati di Baidu è che l’approccio di apprendimento che utilizzano sembra essere in grado di generalizzare ad altri linguaggi. Anche se il modello è stato sviluppato per interpretare il cinese, gli stessi principi lo rendono migliore nell’interpretazione della lingua inglese. ERNIE sta per “Enhanced Representation through knowledge Integration” e segue lo sviluppo del modello linguistico BERT (“Bidirectional Encoder Representations from Transformers”).

BERT ha stabilito un nuovo standard per la comprensione del linguaggio grazie al fatto che è un modello bidirezionale. I modelli linguistici precedenti erano in grado di interpretare solo i dati che fluivano in una sola “direzione”, guardando una parola che veniva prima o dopo la parola bersaglio come contesto. BERT è stato in grado di implementare un approccio bidirezionale che poteva utilizzare sia le parole precedenti che quelle successive in una frase per aiutare a determinare il significato di una parola bersaglio. BERT utilizza una tecnica chiamata “masking” per rendere possibile l’analisi bidirezionale, scegliendo una parola in una frase e nascondendola, il che divide le possibili informazioni di contesto per quella parola in indizi di contesto precedenti e successivi.

Nella lingua inglese, la parola è l’unità semantica dominante, le persone guardano le parole intere piuttosto che i singoli caratteri per discernere il significato. È possibile rimuovere una parola dal suo contesto e la parola mantiene ancora il suo significato, e il significato dei singoli caratteri è quasi sempre lo stesso. Al contrario, la lingua cinese si basa molto di più su come i caratteri sono abbinati con altri caratteri quando si determina il significato. I caratteri possono avere significati diversi a seconda dei caratteri che li circondano.

Il team di ricerca di Baidu ha essenzialmente preso il modello utilizzato da BERT e lo ha esteso, nascondendo stringhe di caratteri invece di parole intere. Il sistema di intelligenza artificiale è stato anche addestrato a distinguere tra stringhe di caratteri casuali e stringhe di caratteri significative in modo che le stringhe di caratteri giuste potessero essere nascoste. Ciò rende ERNIE proficiente nel recuperare informazioni da un documento di testo e nell’eseguire la traduzione automatica. Il team di ricerca ha anche scoperto che il loro metodo di addestramento ha anche portato a un modello in grado di distinguere meglio le frasi inglesi rispetto a molti altri modelli. Ciò è dovuto al fatto che l’inglese utilizza a volte, sebbene raramente, combinazioni di parole che esprimono significati diversi quando vengono unite rispetto a quando vengono utilizzate da sole. I nomi propri e le espressioni idiomatiche o colloquiali, come “chip off the old block”, sono esempi di tali fenomeni linguistici.

ERNIE utilizza anche altre tecniche di addestramento per ottimizzare le prestazioni, tra cui l’analisi dell’ordine delle frasi e della distanza quando si interpretano i paragrafi. Viene utilizzato anche un metodo di addestramento continuo, che consente a ERNIE di addestrarsi su nuovi dati e di apprendere nuovi modelli senza dimenticare le conoscenze precedentemente acquisite.

Baidu attualmente utilizza ERNIE per migliorare la qualità dei risultati di ricerca. L’architettura più recente di ERNIE sarà dettagliata in un prossimo articolo che sarà presentato alla conferenza 2020 dell’Association for the Advancement of Artificial Intelligence.