Baidu slår ut Google och Microsoft, skapar ny teknik för språkförståelse

Baidu, en av de största techföretagen i Kina, har nyligen utvecklat en ny metod för att lära AI att förstå språk. Som rapporterats av TechnologyReview, slog företaget nyligen ut Microsoft (MSFT ) och Google (GOOGL ) i General Language and Understanding Evaluation (GLUE)-tävlingen, med statliga konstresultat.

GLUE består av nio olika tester, där varje test mäter en annan uppgift som är viktig för språkförståelse, som att urskilja namn på enheter i en mening och att urskilja i vilket sammanhang pronomen “det” används när det finns många potentiella kandidater. Den genomsnittliga människan får vanligtvis runt 87 poäng på GLUE, av 100 möjliga. Baidus nya modell, ERNIE, bröt 90-poängströskeln.

Forskare försöker alltid förbättra prestandan hos sina modeller i GLUE, och därför kommer den nuvarande standard som Baidu har satt troligen att bli överträffad snart. Men vad som gör Baidus prestationer anmärkningsvärda är att deras lärandetillvägagångssätt verkar kunna generaliseras till andra språk. Även om modellen utvecklades för att tolka kinesiska, gör samma principer den bättre på att tolka engelska. ERNIE står för “Enhanced Representation through knowledge Integration”, och följer utvecklingen av BERT (“Bidirectional Encoder Representations from Transformers”)-språkmodellen.

BERT satte en ny standard för språkförståelse på grund av att det var en bidirektionell modell. Tidigare språkmodeller kunde bara tolka data som flödade i en “riktning”, och tittade på ett ord som kom antingen före eller efter målordet som sammanhang. BERT kunde implementera en bidirektionell tillvägagångssätt som kunde använda både tidigare och senare ord i en mening för att hjälpa till att förstå meningarna i målordet. BERT använder en teknik som kallas maskering för att göra bidirektionell analys möjlig, genom att välja ett ord i en mening och dölja det, vilket delar upp den möjliga sammanhanget för det ordet i föregående och efterföljande kontextledtrådar.

På engelska är ordet den dominerande semantiska enheten, människor tittar på hela ord i stället för enskilda tecken för att urskilja mening. Det är möjligt att ta bort ett ord från dess sammanhang och fortfarande ha det ordet behålla sin mening, och meningarna i enskilda tecken är nästan alltid desamma. I kontrast är det kinesiska språket mycket mer beroende av hur tecken matchas ihop med andra tecken när man urskiljer mening.

Baidu-forskningsgruppen utvidgade i princip modellen BERT använde och dolde strängar av tecken i stället för hela ord. AI-systemet tränades också för att skilja på slumpmässiga strängar och meningsfulla strängar så att rätt strängar av tecken kunde maskeras. Detta gör ERNIE skicklig på att hämta information från en textdokument och utföra maskinöversättning. Forskningsgruppen fann också att deras träningsmetod resulterade i en modell som kunde urskilja engelska fraser bättre än många andra modeller kunde. Detta beror på att engelska ibland, även om det är sällsynt, använder ordkombinationer som uttrycker olika meningar när de kombineras jämfört med när de är för sig. Egennamn och idiom eller kollektivismer, som “chip off the old block”, är exempel på sådana språkfenomen.

ERNIE använder flera andra träningsmetoder för att optimera prestanda, inklusive analys av meningsordning och avstånd när man tolkar stycken. En kontinuerlig träningsmetod används också, som tillåter ERNIE att träna på ny data och lära sig nya mönster utan att glömma tidigare förvärvad kunskap.

Baidu använder för närvarande ERNIE för att förbättra kvaliteten på sökresultat. ERNIE:s senaste arkitektur kommer att detaljeras i en kommande artikel som ska presenteras på 2020 års konferens för Association for the Advancement of Artificial Intelligence.