Baidu poráží Google a Microsoft, vytváří novou techniku pro porozumění jazyku

Baidu, jedna z největších technologických společností v Číně, nedávno vyvinula novou metodu pro učení umělých inteligencí, aby porozuměly jazyku. Jak uvádí TechnologyReview, společnost nedávno porazila Microsoft (MSFT ) a Google (GOOGL ) v soutěži General Language and Understanding Evaluation (GLUE), dosáhla stavu umění výsledků.

GLUE se skládá z devíti různých testů, z nichž každý měří jinou úlohu důležitou pro porozumění jazyku, jako je rozlišení jmen entit v větě a rozlišení kontextu, ve kterém se používá zájmeno “to”, když existuje několik potenciálních kandidátů. Průměrný člověk obvykle dosahuje kolem 87 bodů v GLUE, z možných 100. Nový model Baidu, ERNIE, prolomil práh 90 bodů.

Vědci se vždy snaží zlepšit výkon svých modelů v GLUE, a proto aktuální standard stanovený Baidu bude pravděpodobně brzy překonán. Nicméně, co dělá úspěchy Baidu pozoruhodnými, je to, že přístup k učení, který používají, se zdá být schopen generalizovat na jiné jazyky. Ačkoli byl model vyvinut pro interpretaci čínštiny, stejné principy jej činí lepším při interpretaci anglického jazyka. ERNIE znamená “Enhanced Representation through knowledge Integration” a následuje vývoj jazykového modelu BERT (“Bidirectional Encoder Representations from Transformers”).

BERT stanovil nový standard pro porozumění jazyku, protože byl bidirekčním modelem. Předchozí jazykové modely byly schopny interpretovat pouze data, která tekla v jednom “směru”, zkoumající slovo, které přišlo buď před nebo po cílovém slově jako kontext. BERT byl schopen implementovat bidirekční přístup, který mohl použít jak předchozí, tak pozdější slova ve větě, aby pomohl určit význam cílového slova. BERT používá techniku zvanou “masking” pro umožnění bidirekční analýzy, zvolí slovo ve větě a skryje ho, což rozdělí možné kontexty pro toto slovo na předcházející a následující kontextové nápovědy.

V anglickém jazyce je slovo dominantní sémantickou jednotkou, lidé se dívají na celá slova spíše než na jednotlivé znaky, aby rozlišili význam. Je možné odstranit slovo z jeho kontextu a stále mít toto slovo zachovat jeho význam, a význam jednotlivých znaků je téměř vždy stejný. Naopak, čínština se spoléhá mnohem více na to, jak jsou znaky kombinovány s jinými znaky při rozlišení významu. Znaky mohou mít různé významy v závislosti na znacích kolem nich.

Tým výzkumu Baidu v podstatě vzal model BERT a rozšířil ho, skrývající řetězce znaků místo celých slov. Systém AI byl také vyškolován, aby rozlišoval mezi náhodnými řetězci a smysluplnými řetězci, aby mohla být správně maskována správná řada znaků. To činí ERNIE způsobilým k získání informací z dokumentu a provedení strojového překladu. Tým výzkumu také zjistil, že jejich metoda školení také vedla k modelu, který může lépe rozlišovat anglické fráze než mnoho jiných modelů. To je因为 angličtina někdy, i když zřídka, používá slovní spojení, která vyjadřují různé významy, když jsou spojeny вместе, než když jsou samostatně. Příklady takových jazykových jevů jsou vlastní jména a idiomaty, jako je “chip off the old block”.

ERNIE používá několik dalších technik školení, aby optimalizoval výkon, včetně analýzy pořadí a vzdálenosti vět při interpretaci odstavců. Používá se také kontinuální metoda školení, která umožňuje ERNIE školení na nových datech a učení se novým vzorcům bez zapomínání dříve získaných znalostí.

Baidu目前 používá ERNIE ke zlepšení kvality vyhledávacích výsledků. Nejnovější architektura ERNIE bude podrobně popsána v nadcházející práci, která bude prezentována na konferenci Association for the Advancement of Artificial Intelligence v roce 2020.