Naukowcy opracowują zestaw pytań, które potrafią zmylić najlepsze komputery

Naukowcy z Uniwersytetu w Maryland opracowali zestaw pytań, które są łatwe do odpowiedzi dla ludzi, ale trudne dla niektórych z najlepszych systemów komputerowych do odpowiedzi na pytania, które istnieją dzisiaj. Zespół wygenerował pytania za pomocą współpracy człowieka i komputera, i byli w stanie stworzyć bazę danych z ponad 1200 słów. Jeśli system komputerowy będzie w stanie nauczyć się i opanować te pytania, będzie miał najlepsze zrozumienie języka ludzkiego wśród wszystkich systemów komputerowych, które obecnie istnieją.

Praca została opublikowana w artykule w czasopiśmie Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, associate professor of computer science at UMD and senior author of the paper, spoke about the new developments.

“Most question-answering computer systems don’t explain why they answer the way they do, but our work helps us see what computers actually understand,” he said. “In addition, we have produced a dataset to test on computers that will reveal if a computer language system is actually reading and doing the same sorts of processing that humans are able to do.”

Na razie pytania dla tych programów i systemów są generowane przez ludzi lub komputery. Problem polega na tym, że gdy ludzie generują pytania, nie są świadomi wszystkich różnych elementów pytania, które są mylące dla komputerów. Systemy komputerowe z kolei używają formuł, piszą pytania wypełnij-puste-miejsce lub robią błędy, co może generować nonsense.

Aby uzyskać współpracę między ludźmi i komputerami, która pozwoliła im wygenerować pytania, Boyd-Garber i zespół badaczy stworzyli specjalny interfejs komputerowy. Według nich, jest on w stanie powiedzieć, co komputer “myśli”, gdy człowiek wpisuje pytanie. Pisarz może następnie edytować i zmienić pytanie na podstawie słabości komputera. To pozwala wygenerować zamieszanie dla komputera.

Gdy pisarz wpisuje pytanie, komputerowe zgadywania są umieszczane w rankingu. Słowa, które są odpowiedzialne za komputerowe zgadywania, są podświetlone.

System może poprawnie odpowiedzieć na pytanie, a interfejs podświetli słowa lub frazy, które doprowadziły do odpowiedzi. Z tą informacją, autor może następnie edytować pytanie, aby uczynić je trudniejszym dla komputera, ale pytanie nadal będzie miało to samo znaczenie. Podczas gdy komputer ostatecznie będzie zdezorientowany, eksperci ludzcy nadal będą w stanie odpowiedzieć.

Gdy ludzie i komputery pracowali razem, byli w stanie opracować 1213 pytań komputerowych, na które komputer nie był w stanie odpowiedzieć. Badacze przetestowali pytania w konkursie między ludzkimi graczami a komputerami. Ludzcy gracze obejmowali drużyny szkolne i mistrzów “Jeopardy!”. Najsłabsza drużyna ludzka była w stanie pokonać najsilniejszy system komputerowy.

Shi Feng, studentka studiów magisterskich z dziedziny informatyki na UMD i współautorka artykułu, mówiła o nowych badaniach.

“Przez trzy lub cztery lata, ludzie są świadomi, że systemy komputerowe do odpowiedzi na pytania są bardzo kruche i mogą być łatwo oszukane”, powiedziała. “Ale to jest pierwszy artykuł, o którym wiemy, który faktycznie używa maszyny, aby pomóc ludziom złamać sam model”.

Pytania użyte były w stanie ujawnić sześć różnych zjawisk językowych, które mylą komputery. Są dwie różne kategorie. Pierwsza to zjawiska językowe, które obejmują przekształcanie, język rozpraszający i nieoczekiwane konteksty. Druga to umiejętności rozumowania i obejmują logikę i obliczenia, mentalne triangulowanie elementów w pytaniu oraz łączenie wielu kroków, aby sformułować wniosek.

“Ludzie są w stanie uogólniać więcej i widzieć głębsze połączenia”, powiedział Boyd-Garber. “Nie mają nieograniczonej pamięci komputerów, ale nadal mają przewagę w widzeniu lasu przez drzewa. Katalogowanie problemów komputerów pomaga nam zrozumieć problemy, które musimy rozwiązać, aby komputery mogły zacząć widzieć las przez drzewa i odpowiedzieć na pytania w sposób, w jaki robią to ludzie”.

To badanie stanowi podstawę dla systemów komputerowych, które ostatecznie opanują język ludzki. Z pewnością będzie nadal rozwijane i ulepszane.

“Ten artykuł przedstawia plan badań na najbliższe kilka lat, aby komputery mogły odpowiedzieć na pytania w sposób dobry”, powiedział Boyd-Garber.