Baidu wyprzedza Google i Microsoft, tworzy nową technikę zrozumienia języka

Baidu, jeden z największych chińskich przedsiębiorstw technologicznych, opracował nową metodę nauczania sztucznych inteligencji do zrozumienia języka. Jak donosi TechnologyReview, firma最近 pokonała Microsoft (MSFT ) i Google (GOOGL ) w konkursie General Language and Understanding Evaluation (GLUE), osiągając wyniki na poziomie stanu sztuki.

GLUE składa się z dziewięciu różnych testów, z których każdy mierzy inną umiejętność niezbędną do zrozumienia języka, taką jak rozróżnianie nazw encji w zdaniu i rozróżnianie kontekstu, w którym używana jest zaimek “to”, gdy istnieje wiele potencjalnych kandydatów. Średni człowiek zwykle uzyskuje około 87 punktów w GLUE, na maksymalne 100. Nowy model Baidu, ERNIE, przekroczył próg 90 punktów.

Badacze stale starają się poprawić wyniki swoich modeli w GLUE, więc obecny standard ustanowiony przez Baidu zostanie prawdopodobnie wkrótce pobity. Co sprawia, że osiągnięcia Baidu są godne uwagi, to fakt, że ich podejście do nauki wydaje się mogące być stosowane w innych językach. Chociaż model został opracowany do interpretacji języka chińskiego, te same zasady sprawiają, że jest lepszy w interpretacji języka angielskiego. ERNIE oznacza “Enhanced Representation through knowledge Integration” i jest kontynuacją rozwoju modelu językowego BERT (“Bidirectional Encoder Representations from Transformers”).

BERT ustanowił nowy standard zrozumienia języka, ponieważ był modelem bidirectionalnym. Poprzednie modele językowe były w stanie interpretować tylko dane, które płynęły w jednym “kierunku”, patrząc na słowo, które występowało przed lub po słowie docelowym jako kontekst. BERT mógł zaimplementować podejście bidirectionalne, które mogło wykorzystywać zarówno poprzednie, jak i późniejsze słowa w zdaniu, aby pomóc zrozumieć znaczenie słowa docelowego. BERT wykorzystuje technikę maskowania, aby umożliwić analizę bidirectionalną, wybierając słowo w zdaniu i ukrywając je, co dzieli możliwy kontekst dla tego słowa na wskazówki kontekstowe poprzedzające i następujące.

W języku angielskim słowo jest dominującą jednostką semantyczną, ludzie patrzą na całe słowa, a nie na poszczególne znaki, aby zrozumieć znaczenie. Można usunąć słowo z jego kontekstu i nadal zachować jego znaczenie, a znaczenie poszczególnych znaków jest prawie zawsze takie same. W przeciwieństwie do tego, język chiński opiera się bardziej na tym, jak znaki są dopasowane do innych znaków przy ustalaniu znaczenia. Znaki mogą oznaczać różne rzeczy w zależności od znaków wokół nich.

Zespół badawczy Baidu podstawowo wziął model BERT i rozbudował go, ukrywając ciągi znaków zamiast pełnych słów. System AI został również przeszkolony do rozróżniania losowych ciągów i znaczących ciągów, aby możliwe było maskowanie odpowiednich ciągów znaków. To sprawia, że ERNIE jest biegły w pobieraniu informacji z dokumentu tekstowego i wykonywaniu tłumaczenia maszynowego. Zespół badawczy odkrył również, że ich metoda szkolenia wyniosła model, który może lepiej rozróżniać wyrażenia angielskie niż wiele innych modeli. Jest to spowodowane tym, że język angielski czasami, choć rzadko, używa kombinacji słów, które wyrażają różne znaczenia, gdy są łączone, w przeciwieństwie do sytuacji, gdy są samodzielne. Właściwe nazwy i idiomy lub wyrażenia potoczne, takie jak “chip off the old block”, są przykładami takich zjawisk językowych.

ERNIE wykorzystuje wiele innych technik szkolenia, aby zoptymalizować wydajność, w tym analizę kolejności i odległości zdania przy interpretacji akapitów. Stosowana jest również metoda ciągłego szkolenia, która pozwala ERNIE na szkolenie na nowych danych i naukę nowych wzorców bez zapominania wcześniej nabytej wiedzy.

Baidu obecnie wykorzystuje ERNIE do poprawy jakości wyników wyszukiwania. Najnowsza architektura ERNIE zostanie szczegółowo opisana w nadchodzącym artykule, który zostanie przedstawiony na konferencji Association for the Advancement of Artificial Intelligence w 2020 roku.