Baidu poráží Google a Microsoft, vytváří novou techniku pro porozumění jazyka

Baidu, jedna z největších technologických společností v Číně, nedávno vyvinula novou metodu pro učení umělých inteligencí, aby rozuměly jazyku. Jak uvedl TechnologyReview, společnost nedávno porazila Microsoft a Google v soutěži General Language and Understanding Evaluation (GLUE), dosáhla špičkových výsledků.

GLUE se skládá z devíti různých testů, z nichž každý měří jinou úlohu důležitou pro porozumění jazyka, jako je rozlišení názvů entit v větě a rozlišení kontextu, ve kterém se používá zájmeno “to”, když existuje několik potenciálních kandidátů. Průměrný člověk obvykle dosahuje kolem 87 bodů v GLUE, z možných 100. Nový model Baidu, ERNIE, překonal práh 90 bodů.

Výzkumníci se vždy snaží zlepšit výkon svých modelů v GLUE, a proto bude současný standard stanovený Baidu pravděpodobně brzy překonán. Nicméně, co činí úspěchy Baidu pozoruhodnými, je to, že jejich přístup k učení se zdá být schopen generalizovat na jiné jazyky. Přestože byl model vyvinut pro interpretaci čínštiny, stejné principy jej činí lepším v interpretaci anglického jazyka. ERNIE znamená “Enhanced Representation through knowledge Integration” a následuje vývoj jazykového modelu BERT (“Bidirectional Encoder Representations from Transformers”).

BERT stanovil nový standard pro porozumění jazyka, protože byl bidirekčním modelem. Předchozí jazykové modely byly schopny interpretovat data, která tekla pouze v jednom “směru”, přičemž se dívaly na slovo, které přišlo buď před nebo po cílovém slovu jako kontext. BERT byl schopen implementovat bidirekční přístup, který mohl použít předchozí i pozdější slova ve větě, aby pomohl určit význam cílového slova. BERT používá techniku nazvanou maskování, aby umožnil bidirekční analýzu, výběr slova ve větě a jeho skrytí, což rozdělí možné kontexty pro toto slovo na předcházející a následující kontextové nápovědy.

V anglickém jazyce je slovo dominantní sémantickou jednotkou, lidé se dívají na celá slova spíše než na jednotlivé znaky, aby rozlišili význam. Je možné odstranit slovo z jeho kontextu a stále mít toto slovo zachovat jeho význam, a význam jednotlivých znaků je téměř vždy stejný. Naopak, čínština se spoléhá mnohem více na to, jak jsou znaky kombinovány s jinými znaky, aby rozlišily význam.

Výzkumný tým Baidu prakticky vzal model, který BERT používal, a rozšířil ho, skrýval řetězce znaků místo celých slov. Systém umělé inteligence byl také vyškoleno, aby rozlišoval mezi náhodnými řetězci a smysluplnými řetězci, aby se mohly správné řetězce znaků maskovat. To činí ERNIE schopným získat informace z textu a provádět strojový překlad. Výzkumný tým také zjistil, že jejich metoda školení také vedla k modelu, který může rozlišovat anglické fráze lépe než mnoho jiných modelů. To je proto, že angličtina občas, i když zřídka, používá slovní kombinace, které vyjadřují různé významy, když jsou spojeny, než když jsou samostatné. Příkladem takových lingvistických jevů jsou vlastní jména a idiomaty nebo hovorové výrazy, jako je “chip off the old block”.

ERNIE využívá několik dalších metod školení, aby optimalizoval výkon, včetně analýzy pořadí a vzdálenosti vět při interpretaci odstavců. Používá se také kontinuální metoda školení, která umožňuje ERNIE školení na nových datech a učení nových vzorců, aniž by zapomínal dříve získané znalosti.

Baidu目前 používá ERNIE ke zlepšení kvality vyhledávacích výsledků. Poslední architektura ERNIE bude podrobně popsána v nadcházející práci, která bude prezentována na konferenci Association for the Advancement of Artificial Intelligence v roce 2020.