Starszy badawca Alexa Amazonu twierdzi, że test Turinga jest przestarzały

Rohit Prasad, wiceprezes i główny naukowiec Alexa w Amazonie, niedawno argumentował, że test Turinga, długo używany do mierzenia zaawansowania modeli AI, powinien zostać wycofany jako punkt odniesienia dla AI.

Komputerowy naukowiec i matematyk Alan Turing wprowadził pojęcie testu Turinga ponad 70 lat temu. Intencją testu Turinga było pomoc w odpowiedzi na pytanie o inteligencję maszyn, określenie, czy maszyna jest w stanie „myśleć” w ludzkim sensie. Aby odpowiedzieć na to pytanie, Turing argumentował, że jeśli maszyny mogą wykazywać zachowania konwersacyjne na tyle zaawansowane, że ludzki obserwator nie może odróżnić dialogu komputera od dialogu człowieka, maszyna powinna być uważana za zdolną do myślenia.

Ograniczenia testu Turinga

Prasad argumentował, że test Turinga jest ograniczony na wiele sposobów i że sam Turing zauważył niektóre z tych ograniczeń w swoim pierwotnym artykule. Ponieważ AI stało się coraz bardziej zintegrowane z każdym aspektem naszego życia, ludzie coraz mniej dbają o to, czy AI jest nieodróżnialne od człowieka, a bardziej o to, czy ich interakcje z AI są bezproblemowe, argumentuje Prasad. Z tego powodu test Turinga powinien być uważany za przestarzały i zastąpiony bardziej przydatnymi punktami odniesienia.

Prasad zauważył, że wiele wczesnych czatbotów zostało zaprojektowanych z myślą o przejściu testu Turinga, a w ostatnich latach niektóre czatboty regularnie udawały się oszukać ponad jedną trzecią ludzkich sędziów (poziom wymagany do przejścia testu Turinga). Jednakże, możliwość skutecznego naśladownictwa wzorców mowy ludzi nie oznacza, że maszyna może być uważana za „inteligentną”. Modele AI mogą być niezwykle wydajne w jednej dziedzinie i niezwykle słabe w innych, nie posiadając żadnej formy ogólnej inteligencji. Mimo to, test Turinga pozostaje powszechnie używanym punktem odniesienia dla czatbotów i cyfrowych asystentów, z Prasadem zauważającym, że liderzy biznesu i dziennikarze ciągle pytają, kiedy Alexa będzie w stanie przejść test Turinga.

Według Prasada, jednym z głównych problemów z użyciem testu Turinga do oceny inteligencji maszyn jest to, że niemal całkowicie pomija możliwość maszyn do wyszukiwania informacji i wykonywania błyskawicznych obliczeń. Programy AI wstrzykują sztuczne pauzy w odpowiedzi na skomplikowane matematyczne i geograficzne pytania, aby oszukać ludzi, ale mają odpowiedź na takie pytania niemal natychmiast. Poza tym, test Turinga nie bierze pod uwagę rosnącej zdolności AI do korzystania z danych zebranych przez zewnętrzne sensory, ignorując, w jaki sposób AI może wchodzić w interakcje ze światem poprzez algorytmy widzenia i ruchu, opierając się wyłącznie na komunikacji tekstowej.

Tworzenie nowych punktów odniesienia

Prasad argumentował, że nowe formy pomiaru inteligencji powinny zostać stworzone, metody, które są lepiej dostosowane do oceny ogólnego rodzaju inteligencji. Te testy powinny odzwierciedlać, w jaki sposób AI jest naprawdę używane w nowoczesnym społeczeństwie i jakie są cele ludzi, którzy je używają. Testy powinny być w stanie określić, jak dobrze AI uzupełnia ludzką inteligencję i jak dobrze AI poprawia codzienne życie ludzi. Ponadto, test powinien zrozumieć, w jaki sposób AI manifestuje ludzkie cechy inteligencji, w tym biegłość językową, samonadzór i „zdrowy rozsądek”.

Bieżące i ważne dziedziny badań AI, takie jak rozumowanie, sprawiedliwość, rozmawianie i zrozumienie sensoryczne, nie są oceniane przez test Turinga, ale mogą być mierzone na różne sposoby. Prasad wyjaśnił, że jednym ze sposobów pomiaru tych cech inteligencji jest rozłożenie wyzwań na poszczególne zadania. Innym sposobem oceny jest stworzenie dużej, rzeczywistej wyzwania dla interakcji człowiek-komputer.

Gdy Amazon (AMZN ) stworzył Nagrodę Alexa, stworzył rubrykę, która wymagała, aby socjalne boty rozmawiały z ludźmi przez 20 minut. Boty byłyby oceniane na podstawie ich zdolności do prowadzenia spójnych rozmów na szerokim zakresie tematów, takich jak technologia, sport, polityka i rozrywka. Klienci byli odpowiedzialni za ocenianie botów podczas fazy rozwoju, przydzielając im punkty na podstawie ich chęci do rozmawiania z botem ponownie. W finale niezależni sędziowie byli odpowiedzialni za ocenianie botów przy użyciu 5-punktowej skali. Rubryka użyta przez sędziów opierała się na metodach, które pozwalały AI wykazywać ważne ludzkie atrybuty, takie jak empatia, w odpowiednich sytuacjach.

Ostatecznie Prasad argumentował, że rosnąca popularność urządzeń zasilanych przez AI, takich jak Alexa, stanowi ważną okazję do pomiaru postępów AI, ale będziemy potrzebować innych wskaźników, aby skorzystać z tej nowej okazji.

„Taki AI musi być ekspertem w dużej, ciągle rosnącej liczbie zadań, co jest możliwe tylko dzięki bardziej uogólnionemu zdolnościom uczenia się, a nie inteligencji specyficznej dla zadania”, wyjaśnił Prasad. „Dlatego, w ciągu najbliższej dekady i poza nią, użyteczność usług AI, z ich zdolnościami do konwersacji i proaktywnej pomocy na urządzeniach ambientowych, są godnym testem”.