Výzkumníci vyvinuli sadu otázek, které jsou schopny zmást nejlepší počítačové systémy

Výzkumníci z University of Maryland se podařilo vytvořit sadu otázek, které jsou pro lidi snadno odpověditelné, ale pro některé z nejlepších počítačových systémů, které existují dnes, jsou obtížné. Tým vytvořil otázky prostřednictvím spolupráce mezi člověkem a počítačem a byli schopni vytvořit databázi více než 1 200 slov. Pokud počítačový systém bude schopen naučit se a zvládnout tyto otázky, bude mít nejlepší porozumění lidskému jazyku mezi všemi počítačovými systémy, které目前 existují.

Práce byla publikována v článku v časopise Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, asociativní profesor počítačových věd na UMD a hlavní autor článku, hovořil o nových vývojích.

„Most počítačových systémů pro odpovědi na otázky neexplikují, proč odpověděli určitým způsobem, ale naše práce nám pomáhá vidět, co počítače skutečně rozumějí,“ řekl. „Kromě toho jsme vytvořili dataset pro testování počítačů, který ukáže, zda počítačový jazykový systém skutečně čte a provádí stejné druhy zpracování, jako lidé.“

V současné době jsou otázky pro tyto programy a systémy generovány lidskými autory nebo počítači. Problém je, že když lidé generují otázky, nejsou si vědomi všech různých prvků otázky, které jsou pro počítače matoucí. Počítačové systémy na druhé straně používají formule, píšou otázky s mezerami, nebo dělají chyby, které mohou generovat nesmysl.

Aby mohli získat spolupráci mezi lidmi a počítači, která by jim umožnila generovat otázky, Boyd-Garber a tým výzkumníků vytvořili speciální počítačové rozhraní. Podle nich je schopné říci, co počítač „myslí“, zatímco člověk píše otázku. Autor může poté upravit a změnit otázku na základě slabostí počítače. To může generovat matení pro počítač.

Když autor píše otázku, počítačové odhady jsou seřazeny v pořadí. Slova, která jsou odpovědná za počítačové odhady, jsou zvýrazněna.

Systém může správně odpovědět na otázku a rozhraní zvýrazní slova nebo fráze, které vedly k odpovědi. S touto informací může autor poté upravit otázku, aby byla pro počítač obtížnější, ale otázka bude mít stále stejný význam. Zatímco počítač bude nakonec zmátěn, odborníci budou stále schopni odpovědět.

Když lidé a počítače spolupracovali, byli schopni vyvinout 1 213 počítačových otázek, na které počítač nebyl schopen odpovědět. Výzkumníci otestovali otázky v soutěži mezi lidskými hráči a počítači. Lidskými hráči byly týmy high school trivia a šampioni „Jeopardy!“. Nejslabší lidský tým byl schopen porazit nejsilnější počítačový systém.

Shi Feng, student počítačových věd na UMD a spoluautor článku, hovořil o novém výzkumu.

„Po tři nebo čtyři roky lidé věděli, že počítačové systémy pro odpovědi na otázky jsou velmi křehké a mohou být snadno oklamané,“ řekl. „Ale toto je první článek, o kterém víme, který skutečně používá stroj, aby pomohl lidem rozbití modelu sám.“

Otázky, které byly použity, byly schopny odhalit šest různých jazykových jevů, které matou počítače. Existují dvě různé kategorie. První je lingvistické jevy, které zahrnují parafrázování, rušivý jazyk a neočekávané kontexty. Druhá je rozumové dovednosti a zahrnuje logiku a výpočet, mentální triangulaci prvků v otázce a spojení více kroků pro vytvoření závěru.

„Lidé jsou schopni generalizovat více a vidět hlubší souvislosti,“ řekl Boyd-Garber. „Nemají neomezenou paměť počítačů, ale stále mají výhodu v tom, že mohou vidět les pro stromy. Katalogizace problémů počítačů nám pomáhá pochopit problémy, které musíme řešit, aby jsme mohli skutečně dostat počítače, aby začaly vidět les pro stromy a odpovídat na otázky způsobem, jakým lidé dělají.“

Tento výzkum vytváří základnu pro počítačové systémy, aby nakonec zvládly lidský jazyk. Bezpochyby bude dále vyvíjen a zlepšován.

„Tento článek vytváří výzkumný program pro následující několik let, aby jsme mohli skutečně dostat počítače, aby odpovídaly na otázky dobře,“ řekl Boyd-Garber.