Główny badacz Amazon Alexa twierdzi, że test Turinga jest przestarzały

Rohit Prasad, wiceprezes i główny naukowiec Alexy w Amazon, ostatnio twierdził że Test Turinga, od dawna używany do pomiaru stopnia zaawansowania modeli sztucznej inteligencji, należy wycofać jako punkt odniesienia dla sztucznej inteligencji.

Informatyk i matematyk Alan Turing jako pierwszy wprowadził koncepcję testu Turinga ponad 70 lat temu. Zamiarem testu Turinga była pomoc w odpowiedzi na pytanie o inteligencję maszyny, określając, czy maszyna jest zdolna do „myślenia” w ludzkim sensie. Aby odpowiedzieć na to pytanie, Turing argumentował, że gdyby maszyny mogły wykazywać zachowania konwersacyjne tak wyrafinowane, że ludzki obserwator nie byłby w stanie rozróżnić dialogu komputera od dialogu człowieka, maszynę należy uznać za zdolną do myślenia.

Ograniczenia testu Turinga

Prasad argumentował, że test Turinga jest pod wieloma względami ograniczony i że sam Turing nawet wspomniał o niektórych z tych ograniczeń w swoim pierwszym artykule. W miarę jak sztuczna inteligencja staje się coraz bardziej zintegrowana z każdym aspektem naszego życia, ludzie mniej przejmują się tym, że jest nie do odróżnienia od człowieka, a bardziej tym, że ich interakcje z sztuczną inteligencją przebiegają płynnie, argumentuje Prasad. Z tego powodu test Turinga należy uznać za przestarzały i zastąpić go bardziej użytecznymi benchmarkami.

Prasad zauważył, że wiele wczesnych chatbotów zaprojektowano z myślą o przejściu testu Turinga, a w ostatnich latach niektórym chatbotom konsekwentnie udało się oszukać ponad jedną trzecią ludzkich sędziów (poprzeczkę wymaganą do zdania testu Turinga). Jednak jest w stanie skutecznie naśladować wzorce mowy ludzi nie oznacza, że ​​maszynę można naprawdę uznać za „inteligentną”. Modele sztucznej inteligencji mogą być niezwykle biegłe w jednym obszarze i wykazywać braki w innych, a także nie posiadać żadnej formy ogólnej inteligencji. Mimo to test Turinga pozostaje powszechnie stosowanym punktem odniesienia dla chatbotów i asystentów cyfrowych, a Prasad zauważa, że ​​liderzy biznesu i dziennikarze nieustannie pytają, kiedy Alexa będzie w stanie przejść test Turinga.

Według Prasada jednym z głównych problemów związanych ze stosowaniem testu Turinga do oceny inteligencji maszyn jest to, że prawie całkowicie pomija on zdolność maszyn do wyszukiwania informacji i przeprowadzania błyskawicznych obliczeń. Programy AI wprowadzają sztuczne pauzy w odpowiedzi na skomplikowane pytania matematyczne i geograficzne, aby oszukać ludzi, ale niemal natychmiast uzyskują odpowiedź na takie pytania. Poza tym test Turinga nie uwzględnia rosnącej zdolności sztucznej inteligencji do wykorzystywania danych gromadzonych przez czujniki zewnętrzne, ignorując sposób, w jaki sztuczna inteligencja może wchodzić w interakcję z otaczającym ją światem za pomocą algorytmów widzenia i ruchu, opierając się wyłącznie na komunikacji tekstowej.

Tworzenie nowych benchmarków

Prasad argumentował, że należy stworzyć nowe formy pomiaru inteligencji, metody, które lepiej nadają się do oceny ogólnego typu inteligencji. Testy te powinny odzwierciedlać sposób, w jaki sztuczna inteligencja jest faktycznie wykorzystywana we współczesnym społeczeństwie, oraz cele, jakie przyświecają ludziom w zakresie jej wykorzystania. Testy powinny umożliwić ustalenie, w jakim stopniu sztuczna inteligencja zwiększa ludzką inteligencję i jak dobrze sztuczna inteligencja poprawia codzienne życie ludzi. Co więcej, test powinien zrozumieć, w jaki sposób sztuczna inteligencja przejawia cechy inteligencji podobne do ludzkich, w tym biegłość językową, samokontrolę i „zdrowy rozsądek”.

Obecne i ważne obszary badań nad sztuczną inteligencją, takie jak rozumowanie, uczciwość, rozmowa i zrozumienie zmysłowe, nie są oceniane za pomocą testu Turinga, ale można je mierzyć na różne sposoby. Prasad wyjaśnił, że jednym ze sposobów pomiaru tych cech inteligencji jest rozbicie wyzwań na zadania składowe. Inną metodą oceny jest stworzenie na dużą skalę rzeczywistego wyzwania w zakresie interakcji człowiek-komputer.

Kiedy Amazon stworzył nagrodę Alexa, stworzył rubrykę wymagającą od botów społecznościowych rozmowy z człowiekiem przez 20 minut. Boty będą oceniane pod kątem ich zdolności do spójnego prowadzenia konwersacji na różnorodne tematy, takie jak technologia, sport, polityka i rozrywka. Klienci byli odpowiedzialni za ocenianie botów na etapie programowania, przypisując im punkty na podstawie chęci ponownego porozmawiania z botem. Podczas rundy finałowej niezależni sędziowie byli odpowiedzialni za ocenę botów w 5-punktowej skali. Rubryka zastosowana przez sędziów opierała się na metodach, które pozwalają sztuczną inteligencję wykazywać, w stosownych przypadkach, ważne cechy ludzkie, takie jak empatia.

Ostatecznie Prasad argumentował, że rosnące rozprzestrzenianie się urządzeń wykorzystujących sztuczną inteligencję, takich jak Alexa, stanowi ważną okazję do pomiaru postępu sztucznej inteligencji, ale aby skorzystać z tej nowej możliwości, będziemy potrzebować innych wskaźników.

„Takie AI muszą być ekspertami w wykonywaniu dużej, stale rosnącej liczby zadań, co jest możliwe jedynie w przypadku bardziej ogólnych zdolności uczenia się, a nie inteligencji specyficznej dla danego zadania” – wyjaśnił Prasad. „Dlatego na następną dekadę i później użyteczność usług AI wraz z ich możliwościami konwersacyjnymi i proaktywną pomocą na urządzeniach zewnętrznych będzie godnym testem”.