Walka z cheatingiem AI w testach

Ostatnie wyniki badań z chińskiego uniwersytetu dostarczają wglądu w to, dlaczego generatywne modele przetwarzania języka naturalnego, takie jak GPT-3, mają tendencję do “oszukiwania”, gdy zadaje się im trudne pytanie, produkując odpowiedzi, które mogą być technicznie poprawne, ale bez prawdziwego zrozumienia, dlaczego odpowiedź jest poprawna; oraz dlaczego wykazują one niewielką lub żadną zdolność do wyjaśnienia logiki za ich “łatwymi” odpowiedziami. Badacze proponują również nowe metody, aby sprawić, by systemy “uczyły się ciężej” podczas fazy szkolenia.

Problem jest podwójny: po pierwsze, projektujemy systemy, które starają się osiągnąć wyniki szybko i z optymalnym wykorzystaniem zasobów. Nawet w przypadku, gdy jak w przypadku GPT-3, zasoby mogą być znacznie większe niż te, którymi dysponuje przeciętny projekt badawczy z dziedziny NLP, kultura wyników napędzanych optymalizacją nadal dominuje w metodologii, ponieważ stała się konwencją akademicką.

W związku z tym nasze architektury szkoleniowe nagradzają modele, które szybko się zbiegają i produkują pozornie odpowiednie odpowiedzi na pytania, nawet jeśli model NLP nie jest w stanie później uzasadnić swojej odpowiedzi lub wykazać, w jaki sposób doszedł do swoich wniosków.

Wczesna skłonność do oszukiwania

Zjawisko to występuje, ponieważ model uczy się “odpowiedzi skróconych” znacznie wcześniej w trakcie szkolenia niż uczy się bardziej skomplikowanych typów zdobywania wiedzy. Ponieważ zwiększona dokładność jest często nagradzana dość swobodnie w trakcie szkolenia, model następnie priorytetowo traktuje każde podejście, które pozwoli mu odpowiedzieć na pytanie “gładko” i bez prawdziwej wiedzy.

Ponieważ uczenie się skróconych odpowiedzi będzie nieuchronnie reprezentowało pierwsze sukcesy w trakcie szkolenia, sesja będzie naturalnie tendować w stronę odejścia od trudniejszego zadania zdobycia użytecznej i bardziej kompletnego perspektywy epistemologicznej, która może zawierać głębsze i bardziej przekonywujące warstwy atrybucji i logiki.

Karmienie AI “łatwymi” odpowiedziami

Drugim problemem jest to, że nawet jeśli ostatnie inicjatywy badawcze zbadano tendencję AI do “oszukiwania” w ten sposób i zidentyfikowano zjawisko “skrótów”, nie było dotąd żadnych wysiłków, aby sklasyfikować materiał “umożliwiający skróty” w danych przyczyniających się, co byłoby logicznym pierwszym krokiem w rozwiązaniu, co może okazać się podstawową wadą architektoniczną systemów MRC (Machine Reading Comprehension).

Nowy artykuł, będący współpracą między Instytutem Technologii Komputerowej Wangxuan i Laboratorium Komputacyjnej Lingwistyki MOE na Uniwersytecie Pekińskim, testuje różne modele językowe na nowo opatrzonych adnotacjach, które zawierają klasyfikacje dla “łatwych” i “trudnych” rozwiązań możliwego pytania.

Źródło: https://arxiv.org/pdf/2106.01024.pdf

Zestaw danych wykorzystuje przekształcanie jako kryterium bardziej skomplikowanych i głębokich odpowiedzi, ponieważ konieczne jest zrozumienie semantyczne, aby sformułować pozyskaną wiedzę. W przeciwieństwie do tego, “skrócone” odpowiedzi mogą wykorzystywać tokeny, takie jak daty i inne słowa-klucze, aby wyprodukować odpowiedź, która jest faktograficznie poprawna, ale bez kontekstu ani uzasadnienia.

Składnik skrócony w adnotacjach obejmuje dopasowanie słów pytań (QWM) i proste dopasowanie (SpM). Dla QWM model wykorzystuje encje wyodrębnione z dostarczonych danych tekstowych i odrzuca kontekst; dla SpM model identyfikuje nakładanie się między zdania odpowiedzi a pytaniami, oba dostarczane w danych szkoleniowych.

Dane skrócone prawie “wirusowe” w wpływie na zestaw danych

Badacze twierdzą, że zestawy danych mają tendencję do zawierania wysokiego odsetka pytań skróconych, co powoduje, że wyszkolone modele opierają się na skróconych sztuczkach.

Dwa modele wykorzystane w eksperymentach to BiDAF i BERT-base. Badacze obserwują, że nawet gdy są szkolone na wariacjach zestawu danych z wyższym odsetkiem “trudnych” pytań, oba modele nadal radzą sobie lepiej ze skróconymi pytaniami niż z trudniejszymi zapytaniami sformułowanymi w inny sposób, pomimo niewielkiej liczby przykładów w zestawie danych.

To przedstawia “dane skrócone” niemal w kontekście wirusa – aby musiało być bardzo niewiele z nich obecnych w zestawie danych, aby zostały przyjęte i priorytetowo traktowane w trakcie szkolenia, zgodnie z konwencjonalnymi standardami i praktykami w NLP.

Dowód oszukiwania

Jedną z metod, które badanie wykorzystuje do udowodnienia, jak krucha jest odpowiedź skrócona, jest zastąpienie “łatwego” słowa encji anomalią. Gdy wykorzystano metodę skróconą, logika “oszukanej” odpowiedzi nie może być dostarczona; ale gdy odpowiedź została dostarczona z głębszego kontekstu i semantycznej oceny szerszego zakresu przyczyniających się tekstów, możliwe jest dla systemu rozłożenie błędu i odbudowanie poprawnej odpowiedzi.

Zastąpienie ‘Beyoncé’ (osoba) przez ‘Amerykę’ (lokalizacja) ujawnia, czy model ma jakąś tło logiczne dla swojej odpowiedzi.

Skróty ze względu na imperatyw ekonomiczny

Co się tyczy niektórych powodów architektonicznych, dla których skróty są tak priorytetowe w przepływach pracy NLP, autorzy komentują ‘Modele MRC mogą nauczyć się sztuczek skróconych, takich jak QWM, z mniejszymi zasobami obliczeniowymi niż wyzwania związane z zrozumieniem, takie jak identyfikacja przekształceń’.

To mogłoby być niezamierzonym wynikiem standardowych filozofii optymalizacji i oszczędności zasobów w podejściach do machine reading comprehension, oraz presji, aby uzyskać wyniki z ograniczonymi zasobami w krótkich ramach czasowych.

Badacze zauważają również:

‘[Ponieważ] sztuczka skrócona może być wykorzystana do odpowiedzi na większość pytań szkoleniowych poprawnie, ograniczona liczba nierozwiązanych pytań, które pozostają, może nie motywować modeli do eksplorowania bardziej zaawansowanych rozwiązań, które wymagają wyzwania.’

Jeśli wyniki artykułu zostaną potwierdzone, wydaje się, że ogromny i stale rosnący obszar przetwarzania danych może musieć rozważyć “ukryte podręczniki” w danych jako problem do rozwiązania w długiej perspektywie, lub zmienić architektury NLP, aby priorytetowo traktować bardziej wymagające rutyny dla spożycia danych.