Чи є GPT-4 стрибком вперед до досягнення AGI?

Microsoft最近 опублікувала дослідницьку роботу під назвою: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Як описано Microsoft:

Ця робота повідомляє про наш розслідування ранньої версії GPT-4, коли вона ще була в активній розробці OpenAI. Ми стверджуємо, що (ця рання версія) GPT-4 є частиною нового покоління LLM (разом з ChatGPT і Google’s PaLM, наприклад), яке демонструє більшу загальну інтелектність, ніж попередні моделі штучного інтелекту.

У цій роботі є переконливі докази, які демонструють, що GPT-4 значно перевершує просте запам’ятовування, і що воно має глибоке та гнучке розуміння понять, навичок та доменів. Насправді його здатність до узагальнення значно перевершує будь-яку людину, яка зараз жива.

Хоча ми раніше обговорювали переваги AGI, ми повинні швидко підсумувати загальну думку про те, що таке система AGI. По суті AGI – це тип розширеної штучної інтелектності, яка може узагальнювати інформацію з кількох доменів і не має вузького спрямування. Прикладами вузької штучної інтелектності є автономний транспортний засіб, чат-бот, шаховий бот або будь-яка інша штучна інтелектність, яка розроблена для однієї мети.

AGI на відміну від цього могла б гнучко перемикатися між будь-якими з вищезазначених або будь-якими іншими галузями спеціалізації. Це штучна інтелектність, яка б використовувала нові алгоритми, такі як transfer learning, і еволюційний навчання, а також використовувала б традиційні алгоритми, такі як глибоке навчання з підкріпленням.

Вищеописана характеристика AGI відповідає моєму особистому досвіду використання GPT-4, а також доказам, поданим у дослідницькій роботі, опублікованій Microsoft.

Одним із завдань, описаних у роботі, є завдання GPT-4 написати довідку про нескінченність простих чисел у вигляді поеми.

Якщо ми проаналізуємо вимоги для створення такої поеми, ми розуміємо, що це вимагає математичних висновків, поетичного вираження та генерації природної мови. Це завдання перевершує середню здатність більшості людей.

У роботі хотіли зрозуміти, чи просто GPT-4 генерує вміст на основі загального запам’ятовування, чи воно розуміє контекст і може міркувати. Коли його попросили відтворити поему в стилі Шекспіра, воно змогло це зробити. Це вимагає багаторівневого рівня розуміння, який значно перевершує здатність загальної популяції та включає теорію розуму та математичний геніальність.

Як обчислити інтелект GPT-4?

Тоді питання стає таким: як можна виміряти інтелект системи LLM? І чи демонструє GPT-4 поведінку справжнього навчання чи просто запам’ятовування?

Поточний спосіб тестування системи штучної інтелектності полягає у оцінці системи на наборі стандартних тестових наборів даних, і щоб забезпечити, що вони незалежні від тренувальних даних і що вони охоплюють ряд завдань і доменів. Таке тестування майже неможливе через майже необмежену кількість даних, на яких був тренований GPT-4.

У роботі обговорюється генерація нових і складних завдань/питань, які переконливо демонструють, що GPT-4 значно перевершує просте запам’ятовування, і що воно має глибоке та гнучке розуміння понять, навичок та доменів.

Коли мова йде про інтелект, GPT-4 може генерувати короткі історії, сценарії та обчислювати найскладніші формули.

GPT-4 також може кодувати на дуже високому рівні, як у написанні коду з інструкцій, так і у розумінні існуючого коду. GPT-4 може виконувати широкий спектр завдань з кодування, від
завдань з кодуванням до реальних застосунків, від низькорівневої збірки до високорівневих фреймворків, від простих структур даних до складних програм, таких як ігри. GPT-4 також може міркувати про виконання коду, симулювати ефекти інструкцій та пояснювати результати природною мовою. GPT-4 навіть може виконувати псевдокод,

GPT-4 може надавати раціональні відповіді майже на будь-яке завдання. Насправді його інтелект майже непереможний у своїй складності.

Обмеження GPT-4

У роботі далі описується, як вони досліджували відповіді та поведінку GPT-4, щоб перевірити його послідовність, узгодженість та правильність, і щоб розкрити його обмеження та упередження.

Найбільш очевидним обмеженням є його спроможність до галюцинацій. Ось приклад галюцинації, поданий у роботі, де GPT-4 був впевнений у своєму відповіді, яка була повністю хибною.

Здається, що навіть GPT-4 розуміє це поточне обмеження з галюцинаціями, оскільки це була відповідь, яку воно давало, коли я запитав, що таке галюцинація GPT:

Галюцинація GPT відноситься до явища, коли модель Generative Pre-trained Transformer (GPT), як-от та, з якою ви зараз взаємодієте, генерує відповідь, яка не базується на фактичних даних або не узгоджується з контекстом. Ці галюцинації відбуваються, коли модель генерує текст, який може здаватися правдоподібним, але насправді є хибним, вводить в оману або не має сенсу.

Іншими словами, коли ви тренуєте велику мовну модель на даних світу, як можна уникнути системи, яка вивчає хибні дані? Велика мовна модель, яка вивчає та повторює дезінформацію та теорії змови, могла б бути однією з найбільших пасток і загроз, з якими стикається людство при широкому впровадженні великих мовних моделей. Це могла б бути одна з найбільших загроз від AGI, яку несподівано пропускають при обговоренні небезпек AGI.

Докази інтелекту GPT-4

У роботі показано, що не важливо, які складні завдання були спрямовані на нього, GPT-4 перевершував очікування. Як зазначено у роботі:

Його неперевершене володіння природною мовою. Воно не тільки може генерувати плавну та узгоджену мову, але також розуміти та маніпулювати нею різними способами, такими як підсумовування, переклад або відповідь на надзвичайно широкий спектр питань. Крім того, під перекладом ми розуміємо не тільки переклад між різними природними мовами, але також переклад тону та стилю, а також переклад між доменами, такими як медицина, право, бухгалтерський облік, комп’ютерне програмування, музика та багато іншого.

Модель GPT-4 легко пройшла технічні тести, що означало б, що якщо це була людина на іншому кінці, її миттєво прийняли б на роботу програмістом. Подібний попередній тест компетентності GPT-4 на багатостанційному іспиті з права показав точність понад 70%. Це означає, що в майбутньому ми могли б автоматизувати багато завдань, які зараз виконують юристи. Насправді є деякі стартапи, які зараз працюють над створенням роботизованих юристів за допомогою GPT-4.

Створення нових знань

Одним із аргументів у роботі є те, що єдине, що залишилося для GPT-4, щоб довести справжній рівень розуміння, це створити нові знання, такі як доведення нових математичних теорем, що зараз залишається недосяжним для великих мовних моделей.

Однак це і є святим Граалем AGI. Хоча існують небезпеки з AGI, контрольованою не тим, хто повинен, переваги AGI, яка могла б швидко аналізувати всі історичні дані для відкриття нових теорем, ліків та методів лікування, майже нескінченні.

AGI могла б бути поштовхом до відкриття ліків від рідкісних генетичних захворювань, які зараз не мають фінансування з боку приватної промисловості, до остаточного подолання раку та максимізації ефективності відновлювальної енергетики для припинення залежності від невідновлюваних джерел енергії. Насправді вона могла б вирішити будь-яку суттєву проблему, яку введено в систему AGI. Це те, що розуміють Сем Альтман та команда OpenAI, AGI насправді є останнім винаходом, необхідним для вирішення більшості проблем та користі людству.

Однак це не вирішує проблему ядерної кнопки щодо контролю AGI та намірів тих, хто ним керує. Незважаючи на це, ця робота чудово доводить, що GPT-4 є стрибком вперед до досягнення мрії дослідників штучної інтелектності з 1956 року, коли було запущено першу літню дослідницьку роботу з штучної інтелектності в Дартмуті.

Хоча це спірне, чи є GPT-4 AGI, можна легко довести, що вперше в історії людства це система штучної інтелектності, яка може пройти тест Тюрінга.