Baidu Slår Ut Google Och Microsoft, Skapar Ny Teknik För Språkförståelse

Baidu, ett av de största techföretagen i Kina, har nyligen utvecklat en ny metod för att lära AIs att förstå språk. Som rapporterats av TechnologyReview, slog företaget nyligen ut Microsoft och Google i General Language and Understanding Evaluation (GLUE)-tävlingen, och uppnådde state of the art-resultat.

GLUE består av nio olika tester, där varje test mäter en annan uppgift som är viktig för språkförståelse, såsom att urskilja namn på enheter i en mening och att urskilja i vilket sammanhang pronomenet “it” används när det finns många potentiella kandidater. Den genomsnittliga människan får vanligtvis runt 87 poäng på GLUE, av totalt 100 möjliga poäng. Baidus nya modell, ERNIE, bröt 90-poängströskeln.

Forskare försöker alltid förbättra prestandan för sina modeller i GLUE, och därför kommer den nuvarande standarden som satts av Baidu troligen att överträffas snart. Men det som gör Baidus prestationer anmärkningsvärda är att deras inlärningsmetod verkar kunna generaliseras till andra språk. Även om modellen utvecklades för att tolka kinesiska, gör samma principer den bättre på att tolka engelska. ERNIE står för “Enhanced Representation through knowledge Integration”, och den följer utvecklingen av BERT (“Bidirectional Encoder Representations from Transformers”)-språkmodellen.

BERT satte en ny standard för språkförståelse på grund av att den var en bidirektionell modell. Tidigare språkmodeller kunde bara tolka data som flödade i en “riktning”, och titta på ett ord som kom antingen före eller efter målordet som sammanhang. BERT kunde implementera en bidirektionell metod som kunde använda både tidigare och senare ord i en mening för att hjälpa till att förstå betydelsen av ett målord. BERT använder en teknik som kallas maskering för att göra bidirektionell analys möjlig, genom att välja ett ord i en mening och dölja det, vilket delar upp den möjliga sammanhanget för det ordet i föregående och efterföljande sammanhang.

I det engelska språket är ordet den dominerande semantiska enheten, människor tittar på hela ord i stället för enskilda tecken för att urskilja betydelse. Det är möjligt att ta bort ett ord från dess sammanhang och fortfarande ha det ordet behålla sin betydelse, och betydelsen av enskilda tecken är nästan alltid densamma. I kontrast till det kinesiska språket, som till stor del förlitar sig på hur tecken kombineras med andra tecken för att urskilja betydelse. Tecken kan betyda olika saker beroende på de tecken som omger dem.

Baidu-forskningsgruppen utvecklade i princip modellen BERT använde och utvidgade den, genom att dölja teckensträngar i stället för hela ord. AI-systemet tränades också för att skilja på slumpmässiga strängar och meningsfulla strängar, så att rätt strängar av tecken kunde maskeras. Detta gör ERNIE skicklig på att hämta information från en textdokument och utföra maskinöversättning. Forskningsgruppen upptäckte också att deras träningsmetod resulterade i en modell som kunde urskilja engelska fraser bättre än många andra modeller kunde. Detta beror på att engelska ibland, även om det är sällsynt, använder ordkombinationer som uttrycker olika betydelser när de kombineras jämfört med när de är för sig. Egennamn och idiomatiska uttryck eller colloquialismer, som “chip off the old block”, är exempel på sådana språkfenomen.

ERNIE använder flera andra träningsmetoder för att optimera prestanda, inklusive analys av meningsordning och avstånd när man tolkar stycken. En kontinuerlig träningsmetod används också, som tillåter ERNIE att träna på nya data och lära sig nya mönster utan att glömma tidigare förvärvad kunskap.

Baidu använder för närvarande ERNIE för att förbättra kvaliteten på sökresultat. ERNIE:s senaste arkitektur kommer att detaljeras i en kommande artikel som ska presenteras på 2020 års Association for the Advancement of Artificial Intelligence-konferens.