DeepMind: Штучний інтелект може успадкувати когнітивні обмеження людини, але може виграти від “формальної освіти”

Нова співпраця між DeepMind і Стенфордським університетом свідчить про те, що штучний інтелект часто не є кращим за людей у абстрактному мисленні, оскільки моделі машинного навчання отримують свої архітектури розуміння з реальних, людських прикладів, які засновані на практичному контексті (який штучний інтелект не може пережити), але також обмежені нашими власними когнітивними недоліками.

Якщо це доведено, це може представляти собою бар’єр для вищого “блакитного неба” мислення і якості інтелектуальної оригінальності, на яку сподіваються багато людей від систем машинного навчання, і демонструє ступінь, у якій штучний інтелект відображає людський досвід і схильний до роздумів (і мислення) в межах людських меж, які його сформували.

Дослідники пропонують, що моделі штучного інтелекту могли б виграти від попереднього навчання в абстрактному мисленні, порівнюючи це з “формальною освітою”, до того, як вони будуть застосовані до реальних завдань.

У статті зазначається:

Люди є неідеальними мислителями. Ми мислимо найбільш ефективно про сутності і ситуації, які є сумісними з нашим розумінням світу.

Наші експерименти показують, що мовні моделі відображають ці закономірності поведінки. Мовні моделі виконують завдання логічного мислення не досконало, але ця продуктивність залежить від змісту і контексту. Найбільш помітно, такі моделі часто не виконують завдання в ситуаціях, де люди не виконують завдання — коли стимули стають надто абстрактними або суперечать попередньому розумінню світу.

Для перевірки ступеня, до якого гіпермасштабовані моделі обробки природної мови (NLP) можуть бути обмежені такими обмеженнями, дослідники провели серію з трьох тестів на відповідній моделі, висновок якої такий:

Ми виявили, що моделі великомасштабного мови (з 7 або 70 мільярдами параметрів) відображають багато тих самих закономірностей, які спостерігаються у людей в цих завданнях — як і люди, моделі мислять більш ефективно про правдоподібні ситуації, ніж про нереальні або абстрактні.

Наші висновки мають значення для розуміння як цих когнітивних ефектів, так і факторів, які внесли свій внесок у продуктивність мовної моделі.

У статті пропонується, що створення навичок мислення в штучному інтелекті без надання йому реального досвіду, який ставить такі навички в контекст, може обмежити потенціал таких систем, спостерігаючи, що «заснований досвід… найімовірніше підтримує деякі людські переконання і мислення».

Автори пропонують, що штучний інтелект переживає мову пасивно, тоді як люди переживають її як активну і центральну складову для соціальної комунікації, і що такий активний участь (який включає традиційні соціальні системи покарання і винагороди) міг би бути «ключем» до розуміння значення так само, як люди.

Дослідники спостерігають:

Деякі відмінності між мовними моделями і людьми можуть походити від відмінностей між багатим, заснованим, інтерактивним досвідом людей і бідним досвідом моделей.

Вони пропонують, що одним із рішень міг би бути період «попереднього навчання», подібний до того, який люди переживають у школі та університетській системі, до того, як вони будуть застосовані до основних даних, які в кінцевому підсумку створять корисну і універсальну мовну модель.

Цей період «формальної освіти» (як аналогізують дослідники) відрізнявся б від звичайного попереднього навчання моделей машинного навчання (яке є методом скорочення часу навчання шляхом повторного використання напівнавчених моделей або імпорту ваг від повністю навчених моделей, як «підсилювач» для запуску процесу навчання).

Натомість, це представляло б собою період тривалого навчання, призначеного для розвитку логічних навичок мислення штучного інтелекту в чисто абстрактному спосіб, і для розвитку критичних факультетів так само, як університетський студент буде заохочений робити протягом свого навчання.

«Деякі результати», зазначають автори, «показують, що це може не бути таким недосяжним, як це звучить».

У статті стаття називається Мовні моделі демонструють людські закономірності змісту в мисленні, і походять від шести дослідників DeepMind і одного, пов’язаного з DeepMind і Стенфордським університетом.

Тести

Люди вчаться абстрактним поняттям через практичні приклади, тим самим же методом «імовірного значення», який часто допомагає мовним учням запам’ятати лексику і лінгвістичні правила, за допомогою мнемоніки. Найпростішим прикладом цього є викладання абстрактних принципів фізики шляхом вигадування «сценаріїв подорожей» для потягів і автомобілів.

Для перевірки абстрактних навичок мислення гіпермасштабованої мовної моделі дослідники розробили серію з трьох лінгвістичних/семантичних тестів, які можуть бути складними також для людей. Тести були застосовані «з нуля» (без жодних розв’язаних прикладів) і «п’ять разів» (з п’ятьма попередніми розв’язаними прикладами).

Перше завдання стосується природної мовної інференції (NLI), де суб’єкт (людина або, в цьому випадку, мовна модель) отримує два речення, «передумову» і «гіпотезу», яка видається виведеною з передумови. Наприклад X менший за Y, Гіпотеза: Y більший за X (виведено).

Для завдання природної мовної інференції дослідники оцінили мовні моделі Chinchilla (модель з 70 мільярдами параметрів) і 7B (модель з 7 мільярдами параметрів), виявивши, що для узгоджених прикладів (тобто тих, які не були нісенситом) тільки більша модель Chinchilla отримала результати вищі за чисту випадковість; і вони зазначають:

«Це вказує на сильну контент-відхилення: моделі віддають перевагу завершенню речення в спосіб, сумісний з попередніми очікуваннями, а не в спосіб, сумісний з правилами логіки».

<img class="wp-image-182563 size-full" src="https://www.unite.ai/wp-content/uploads/2022/07/chinchilla-NLI.jpg" alt="Виконання моделі Chinchilla з 70 мільярдами параметрів у завдання NLI. Обидві ці моделі та їхня менша версія 7B виявили «істотне відрізнення віри». Source: https://arxiv.org/pdf/2207.07051.pdf

Силогізми

Друге завдання представляє собою更加 складну задачу, силогізми – аргументи, де два істинні твердження, як видається, припускають третє твердження (яке може бути або не бути логічним висновком, виведеним з попередніх двох тверджень):

З матеріалів статті, різні «реалістичні» і парадоксальні або нісенситні силогізми.

Тут люди є надзвичайно схильними до помилок, і конструкт, призначений для示лення логічного принципу, стає майже негайно (і, можливо, постійно) заплутаним і сплутаним людською «вірою» щодо того, яка відповідь «повинна» бути.

Автори зазначають, що дослідження 1983 року продемонстрували, що учасники були упереджені тим, чи висновок силогізму узгоджувався з їхніми власними переконаннями, спостерігаючи:

«Учасники були набагато більш схильні (90% часу) помилково стверджувати, що недійсний силогізм є дійсним, якщо висновок був правдоподібним, і таким чином в основному покладалися на віру, а не на абстрактне мислення».

При тестуванні моделі Chinchilla проти різноманітних силогізмів, багатьох з яких висновок суперечив реальності, дослідники виявили, що «віра є основним чинником майже всіх нульових рішень». Якщо мовна модель знаходить висновок, який суперечить реальності, модель, як зазначають автори, є «сильно упередженою» до оголошення остаточного аргументу недійсним, навіть коли остаточний аргумент є логічним висновком попередніх тверджень.

Результати нульових тестів для моделі Chinchilla, що демонструє величезну пропасть між обчислювальною здатністю комп’ютера і здатністю мовної моделі орієнтуватися в цьому роді «насіненого логічного» завдання.

Завдання Восона

Для третього тесту було сформульовано ще більш складну логічну задачу Восона, яка була переформульована в ряд різноманітних ітерацій для розв’язання мовною моделлю.

Завдання Восона, розроблене у 1968 році, є надзвичайно простим: учасникам показують чотири карти, і кажуть довільне правило, наприклад «Якщо карта має «D» на одній стороні, то вона має «3» на іншій стороні». Чотири видимі обличчя карток показують «D», «F», «3» і «7».

Потім учасників просяють вказати, які карти вони повинні перевернути, щоб перевірити, чи правило є правдивим або хибним.

Правильне розв’язання цього прикладу полягає в тому, щоб перевернути карти «D» і «7». У перших тестах було виявлено, що більшість (людських) учасників правильно вибирали «D», але вони були більш схильні вибирати «3» замість «7», плутаючи контрпослідовність правила («не 3 означає не D») з оберненим («3» означає «D», яке не логічно припускається).

Автори зазначають, що потенціал попередніх переконань для втручання в логічний процес у людських учасників, і зазначають далі, що навіть академічні математики і студенти-математики загалом набирали менше 50% у цьому завдання.

Однак, коли схема завдання Восона в якійсь мірі відображає людський практичний досвід, продуктивність традиційно зростає відповідно.

Автори спостерігають, посилаючись на попередні експерименти:

«[Якщо] карти показують вік і напої, і правило таке: «Якщо вони п’ють алкоголь, то їм повинно бути 21 рік або старше», і показують карти з «пивом», «газованою водою», «25», «16», більшість учасників правильно вибирають карти з «пивом» і «16».

Для перевірки продуктивності мовної моделі на завданнях Восона дослідники створили різноманітні реалістичні і довільні правила, деякі з яких містять «нісенситні» слова, щоб побачити, чи може штучний інтелект проникнути в контекст змісту, щоб визначити, які «віртуальні карти» перевернути.

Деякі з багатьох завдань Восона, представлених у тестах.

Для завдань Восона модель виконувала завдання порівняно з людьми на «реалістичних» (не нісенситних) завданнях.

Результати нульових завдань Восона для моделі Chinchilla, з моделлю, яка виконує завдання значно краще, ніж випадковість, принаймні для «реалістичних» правил.

У статті зазначається:

«Це відображає висновки в літературі людей: люди набагато більш точні в відповідях на завдання Восона, коли воно сформульовано в термінах реалістичних ситуацій, ніж довільних правил про абстрактні атрибути».

Формальна освіта

Висновки статті формулюють потенціал розуміння гіпермасштабованих систем NLP у контексті наших власних обмежень, які ми, як видається, передаємо моделям через накопичені реальні набори даних, які їх живлять. Оскільки більшість з нас не є геніями, то й моделі, параметри яких інформуються нашими власними обмеженнями, також не є геніальними.

Крім того, нова робота висновує, що ми, принаймні, маємо перевагу тривалого періоду формативної освіти, і додаткових соціальних, фінансових і навіть статевих мотивацій, які формують людську імператив. Все, що можуть отримати мовні моделі, — це результати цих екологічних факторів, і вони, як видається, підкоряються загальному, а не винятковому людському.

Автори зазначають:

«Наші результати показують, що ефекти змісту можуть виникнути просто шляхом навчання великого трансформера для імітації мови, виробленої людською культурою, без включення цих людських внутрішніх механізмів.

«Іншими словами, мовні моделі і люди обидва приходять до цих змістових упереджень — але з різних архітектур, досвіду і цілей навчання».

Таким чином вони пропонують певний вид «індуктивного тренування» у чистому мисленні, який було показано, що покращує продуктивність моделі для математики і загального мислення. Вони далі зазначають, що мовні моделі також були навчені або налаштовані для виконання інструкцій краще на абстрактному або узагальненому рівні, і для перевірки, виправлення або дебіасингу свого власного виводу.

* Моє перетворення внутрішніх цитат у гіперпосилання.

Перша публікація 15 липня 2022 року.