Дали GPT-4 е скок напред кон достигнување AGI?

Мајкрософт неодамна објави истражувачки труд со наслов: Искри на вештачка општа интелигенција: рани експерименти со GPT-4. Како што е опишано од Microsoft:

Овој труд известува за нашата истрага за раната верзија на GPT-4, кога сè уште беше во активен развој од OpenAI. Ние тврдиме дека (оваа рана верзија на) GPT-4 е дел од новата група на LLM (заедно со ChatGPT и ПаЛМ на Google на пример) кои покажуваат поопшта интелигенција од претходните модели со вештачка интелигенција.

Во овој труд, постојат убедливи докази кои покажуваат дека GPT-4 оди подалеку од меморирањето и дека има длабоко и флексибилно разбирање на концептите, вештините и домени. Всушност, способноста за генерализирање е далеку поголема од онаа на секој жив човек денес.

Додека претходно разговаравме за придобивките од AGI, треба брзо да го сумираме општиот консензус за тоа што е AGI систем. Во суштина, AGI е тип на напредна вештачка интелигенција што може да се генерализира низ повеќе домени и не е тесен по обем. Примери за тесна вештачка интелигенција вклучуваат автономно возило, четбот, шаховски бот или која било друга вештачка интелигенција која е дизајнирана за една цел.

Во споредба, AGI ќе може флексибилно да се менува помеѓу кое било од горенаведените или кое било друго поле на експертиза. Тоа е вештачка интелигенција која би ги искористила новите алгоритми како што се трансфер учење, и еволутивно учење, притоа искористувајќи ги и наследените алгоритми како што се учење со длабоко засилување.

Горенаведениот опис на AGI се совпаѓа со моето лично искуство со користење на GPT-4, како и со доказите споделени во истражувачки труд што го објави Microsoft.

Едно од инструкциите наведени во трудот е GPT-4 да напише доказ за бесконечноста на простите броеви во форма на песна.

Ако ги анализираме барањата за создавање на таква песна, сфаќаме дека за тоа е потребно математичко размислување, поетско изразување и генерирање на природен јазик. Ова е предизвик кој би ја надминал просечната способност на повеќето луѓе.

Трудот сакаше да разбере дали GPT-4 едноставно произведува содржина заснована на општо меморирање наспроти разбирање на контекстот и способност да расудува. Кога беше побарано да рекреира песна во стилот на Шекспир, тоа беше во можност. Ова бара повеќеслојно ниво на разбирање кое далеку ги надминува способностите на општата популација и вклучува теорија на умот и математички гениј.

Како да се пресмета интелигенцијата GPT-4?

Тогаш се поставува прашањето како можеме да ја измериме интелигенцијата на LLM? И дали GPT-4 покажува однесување на вистинско учење или едноставно меморирање?

Тековниот начин на тестирање на системот за вештачка интелигенција е со евалуација на системот на збир на стандардни реперни збирки на податоци и да се осигура дека тие се независни од податоците за обуката и дека покриваат опсег на задачи и домени. Овој тип на тестирање е речиси невозможен поради речиси неограниченото количество податоци на кои е обучен GPT-4.

Трудот дискутира за генерирање нови и тешки задачи/прашања кои убедливо покажуваат дека GPT-4 оди подалеку од меморирањето и дека има длабоко и флексибилно разбирање на концептите, вештините и домени.

Кога станува збор за интелигенција, GPT-4 може да генерира кратки приказни, сценарија и може да ги пресмета најкомплицираните формули.

GPT-4 исто така може да кодира на многу високо ниво, како во смисла на пишување код од инструкции, така и во однос на разбирање на постоечкиот код. GPT-4 може да се справи со широк опсег на задачи за кодирање, од
предизвици за кодирање до апликации од реалниот свет, од склопување на ниско ниво до рамки на високо ниво, од едноставни структури на податоци до сложени програми како што се игри. GPT-4 исто така може да расудува за извршувањето на кодот, да ги симулира ефектите од инструкциите и да ги објасни резултатите на природен јазик. GPT-4 може дури и да изврши псевдокод,

GPT-4 може да понуди рационални одговори на речиси секое дадено барање. Всушност, нејзината интелигенција е речиси непобедлива во својата сложеност.

Ограничувања на GPT-4

Трудот потоа продолжува да опишува како тие ги испитувале одговорите и однесувањата на GPT-4, за да ја потврдат неговата конзистентност, кохерентност и исправност и да ги откријат неговите ограничувања и предрасуди.

Најочигледното ограничување е неговото склоност кон халуцинации. Еве еден пример на халуцинација која е дадена во трудот каде што ГПТ-4 бил сигурен во својот одговор кој бил целосно лажен.

Се чини дека дури и GPT-4 го разбира ова сегашно ограничување со халуцинации бидејќи ова беше одговорот што го даде кога го прашав што е GPT халуцинација:

Халуцинацијата GPT се однесува на феномен каде што моделот на генеративен претходно обучен трансформатор (GPT), како оној со кој моментално комуницирате, произведува одговор кој не се заснова на фактички информации или не е кохерентен со дадениот контекст. Овие халуцинации се случуваат кога моделот генерира текст кој може да изгледа веродостојно, но всушност е неточен, погрешен или бесмислен.

Со други зборови, кога тренирате LLM AI за светските податоци, како да избегнете системот да научи неточни податоци? Учењето на големиот јазичен модел и враќањето на дезинформациите и теориите на заговор всушност би можеле да бидат една од најголемите замки и закани со кои се соочува човештвото со усвојувањето на LLM во големи размери. Ова всушност може да биде една од поголемите закани од AGI, онаа што изненадувачки се пропушта кога се дискутира за опасностите од AGI.

GPT-4 Доказ за интелигенција

Трудот илустрира дека не е важно каков тип на сложени инструкции биле насочени кон него, GPT-4 ќе ги надмине очекувањата. Како што е наведено во весникот:

Нејзиното неспоредливо владеење на природниот јазик. Тоа не само што може да генерира течен и кохерентен текст, туку и да го разбере и манипулира на различни начини, како што се сумирање, преведување или одговарање на екстремно широк сет на прашања. Згора на тоа, под преведување не подразбираме само меѓу различни природни јазици, туку и преводи во тон и стил, како и низ домени како што се медицината, правото, сметководството, компјутерското програмирање, музиката и многу повеќе.

На GPT-4 му беа дадени лажни технички прегледи, во овој контекст лесно се пробиваше значењето ако ова беше човек од другата страна дека веднаш ќе бидат ангажирани како софтверски инженер. Сличен прелиминарен тест за компетентноста на GPT-4 на повеќедржавниот правосуден испит покажа точност над 70%. Тоа значи дека во иднина би можеле да автоматизираме многу од задачите кои моментално им се дадени на адвокатите. Всушност има некои стартапи кои сега работат на создавање роботи адвокати користејќи GPT-4.

Производство на ново знаење

Еден од аргументите во трудот е дека единственото нешто што му преостанува на GPT-4 да ги докаже вистинските нивоа на разбирање е тој да произведе ново знаење, како што е докажување на нови математички теореми, подвиг што во моментов останува недостапен за LLM.

Потоа повторно ова е светиот грал на АГИ. Иако постојат опасности кога AGI е контролиран во погрешни раце, придобивките од AGI што може брзо да ги анализира сите историски податоци за да открие нови теореми, лекови и третмани се речиси бесконечни.

АГИ може да биде алката што недостасува кон изнаоѓање лекови за ретки генетски болести на кои моментално им недостига финансирање од приватната индустрија, за лекување на ракот еднаш засекогаш и за максимизирање на ефикасноста на обновливата енергија за да се отстрани нашата зависност од неодржлива енергија. Всушност, може да го реши секој последователен проблем што се внесува во системот AGI. Ова го разбираат Сем Алтман и тимот на OpenAI AGI е навистина последниот изум што е потребно за да се решат повеќето проблеми и да се користи за човештвото.

Се разбира, тоа не го решава проблемот со нуклеарните копчиња за тоа кој го контролира AGI и кои се нивните намери. Без разлика на ова хартија прави феноменална работа тврдејќи дека GPT-4 е скок напред кон остварување на соништата што ги имале истражувачите со вештачка интелигенција бидејќи 1956, кога првпат беше лансирана првичната летна работилница за летен истражувачки проект Дартмут за вештачка интелигенција.

Иако е дискутабилно дали GPT-4 е AGI, лесно може да се тврди дека за прв пат во историјата на човештвото тоа е систем со вештачка интелигенција што може да го помине Тест на Туринг.