Výzkumníci vyvíjejí sadu otázek, které jsou schopny zmást ty nejlepší počítače

Výzkumníkům z University of Maryland se podařilo vytvořit sadu otázek, na které se lidem snadno odpovídá, ale pro některé z nejlepších dnes existujících počítačových systémů odpovědí je obtížné. Tým vygeneroval otázky prostřednictvím spolupráce člověka a počítače a byl schopen vytvořit databázi o více než 1,200 slovech. Pokud je počítačový systém schopen se naučit a zvládnout tyto otázky, bude nejlépe rozumět lidské řeči ze všech počítačových systémů, které v současnosti existují. 

Práce byla publikována v článku v časopise Transakce Asociace pro počítačovou lingvistiku.

Jordan Boyd-Gaber, docent informatiky na UMD a hlavní autor článku, hovořil o novém vývoji. 

„Většina počítačových systémů s odpověďmi na otázky nevysvětluje, proč odpovídají tak, jak odpovídají, ale naše práce nám pomáhá zjistit, čemu počítače skutečně rozumí,“ řekl. "Kromě toho jsme vytvořili datovou sadu k testování na počítačích, která odhalí, zda systém počítačového jazyka skutečně čte a provádí stejné druhy zpracování, jaké jsou schopni dělat lidé." 

Právě teď jsou otázky pro tyto programy a systémy generovány lidskými autory nebo počítači. Problém je v tom, že když otázky generují lidé, nejsou si vědomi všech různých prvků otázky, které jsou pro počítače matoucí. Počítačové systémy na druhé straně používají vzorce, píší prázdné otázky nebo dělají chyby, které mohou vytvářet nesmysly. 

Boyd-Garber a tým výzkumníků vytvořili speciální počítačové rozhraní, aby získali spolupráci mezi lidmi a počítači, která jim umožnila generovat otázky. Podle nich je schopen říct, co si počítač „myslí“, zatímco člověk zadá otázku. Pisatel je pak schopen upravit a změnit otázku na základě slabých stránek počítače. To může způsobit zmatek pro počítač. 

Když autor píše otázku, odhady počítače jsou seřazeny podle pořadí. Slova, která jsou zodpovědná za odhady počítače, jsou zvýrazněna. 

Systém dokáže správně odpovědět na otázku a rozhraní zvýrazní slova nebo fráze, které vedly k odpovědi. S těmito informacemi je pak autor schopen upravit otázku tak, aby byla pro počítač obtížnější, ale otázka bude mít stále stejný význam. Zatímco počítač bude nakonec zmatený, experti budou stále schopni odpovědět. 

Když lidé a počítače spolupracovali, dokázali vyvinout 1,213 počítačových otázek, na které počítač nebyl schopen odpovědět. Výzkumníci testovali otázky v soutěži mezi lidskými hráči a počítači. Mezi lidské hráče patřily středoškolské trivia týmy a „Jeopardy!“ šampionů. Nejslabší lidský tým dokázal porazit nejsilnější počítačový systém. 

Shi Feng, postgraduální student informatiky z UMD a spoluautor článku, hovořil o novém výzkumu. 

"Už tři nebo čtyři roky si lidé uvědomují, že počítačové systémy pro zodpovídání otázek jsou velmi křehké a lze je velmi snadno oklamat," řekla. "Ale toto je první článek, o kterém víme, že skutečně používá stroj, aby pomohl lidem rozbít samotný model." 

Použité otázky dokázaly odhalit šest různých jazykových jevů, které pletou počítače. Existují dvě různé kategorie. Prvním z nich jsou jazykové jevy, které zahrnují parafrázování, rušivý jazyk a neočekávané souvislosti. Druhým je uvažování a zahrnuje logiku a výpočty, mentální triangulaci prvků v otázce a skládání několika kroků k vytvoření závěru. 

"Lidé jsou schopni více zobecnit a vidět hlubší souvislosti," řekl Boyd-Garber. „Nemají neomezenou paměť počítačů, ale stále mají výhodu v tom, že díky stromům vidí les. Katalogizace problémů, které mají počítače, nám pomáhá porozumět problémům, které musíme řešit, takže můžeme skutečně přimět počítače, aby začaly vidět les skrz stromy a odpovídaly na otázky tak, jak to dělají lidé.“ 

Tento výzkum pokládá základy počítačových systémů, aby nakonec zvládly lidský jazyk. Nepochybně se bude stále vyvíjet a zlepšovat. 

"Tento dokument stanoví výzkumnou agendu na několik příštích let, abychom skutečně mohli přimět počítače, aby dobře odpovídaly na otázky," řekl Boyd-Garber.