Vai GPT-4 tuvinās mūs patiesai AI revolūcijai?

Ir pagājuši gandrīz trīs gadi, kopš GPT-3 tika ieviests 2020. gada maijā. Kopš tā laika AI teksta ģenerēšanas modelis ir izpelnījies lielu interesi par tā spēju radīt tekstu, kas izskatās un izklausās tā, it kā to būtu rakstījis cilvēks. Tagad izskatās, ka nākamā programmatūras iterācija GPT-4 ir tepat aiz stūra, un paredzamais izlaišanas datums ir 2023. gada sākumā.

Neskatoties uz šo AI ziņu ļoti gaidīto raksturu, precīza informācija par GPT-4 ir bijusi diezgan īsa. GPT-4 uzņēmums OpenAI nav publiski atklājis daudz informācijas par jauno modeli, piemēram, tā funkcijām vai iespējām. Tomēr nesenie sasniegumi mākslīgā intelekta jomā, jo īpaši attiecībā uz dabiskās valodas apstrādi (NLP), var sniegt dažas norādes par to, ko mēs varam sagaidīt no GPT-4.

Kas ir GPT?

Pirms iedziļināties specifikā, ir lietderīgi vispirms noteikt, kas ir GPT. GPT apzīmē ģeneratīvo iepriekš apmācītu transformatoru un attiecas uz padziļinātas mācīšanās neironu tīkla modeli, kas tiek apmācīts, pamatojoties uz datiem, kas pieejami no interneta, lai izveidotu lielu apjomu mašīnģenerēta teksta. GPT-3 ir šīs tehnoloģijas trešā paaudze, un tas ir viens no vismodernākajiem pašlaik pieejamajiem AI teksta ģenerēšanas modeļiem.

Iedomājieties, ka GPT-3 darbojas kā balss palīgi, piemēram, Siri vai Alexa, tikai daudz plašākā mērogā. Tā vietā, lai lūgtu Alexa atskaņot jūsu iecienītāko dziesmu vai likt Siri ierakstīt jūsu tekstu, varat lūgt GPT-3 uzrakstīt visu e-grāmatu tikai dažu minūšu laikā vai ģenerēt 100 sociālo mediju ziņu idejas mazāk nekā minūtē. Lietotājam ir tikai jāiesniedz uzvedne, piemēram, “Uzrakstiet man 500 vārdu rakstu par radošuma nozīmi”. Kamēr uzvedne ir skaidra un konkrēta, GPT-3 var rakstīt gandrīz visu, ko to lūdzat.

Kopš izlaišanas plašai sabiedrībai GPT-3 ir atradis daudzas biznesa lietojumprogrammas. Uzņēmumi to izmanto teksta apkopošanai, valodu tulkošanai, koda ģenerēšanai un gandrīz jebkura rakstīšanas uzdevuma liela mēroga automatizācijai.

Tomēr, lai gan GPT-3 neapšaubāmi ir ļoti iespaidīgs ar savu spēju izveidot ļoti lasāmu cilvēkiem līdzīgu tekstu, tas nebūt nav ideāls. Problēmas mēdz rasties, kad tiek mudināts rakstīt garākus darbus, it īpaši, ja runa ir par sarežģītām tēmām, kurām nepieciešams ieskats. Piemēram, uzvedne ģenerēt tīmekļa vietnes datora kodu var atgriezt pareizu, bet neoptimālu kodu, tāpēc cilvēka kodētājam joprojām ir jāievada un jāveic uzlabojumi. Līdzīga problēma ir ar lieliem teksta dokumentiem: jo lielāks teksta apjoms, jo lielāka iespējamība, ka uzradīsies kļūdas — dažreiz smieklīgas —, kuras jālabo rakstītājam.

Vienkārši sakot, GPT-3 pilnībā neaizstāj cilvēku rakstītājus vai kodētājus, un to nevajadzētu uzskatīt par tādu. Tā vietā GPT-3 ir jāuzskata par rakstīšanas palīgu, kas var ietaupīt daudz laika, kad viņiem ir jāģenerē emuāra ierakstu idejas vai aptuvenas reklāmas kopijas vai preses relīzes.

Vairāk parametru = labāk?

Viena lieta, kas jāsaprot AI modeļos, ir tas, kā tie izmanto parametrus, lai veiktu prognozes. AI modeļa parametri nosaka mācību procesu un nodrošina izvades struktūru. Parametru skaits AI modelī parasti tiek izmantots kā veiktspējas mērs. Jo vairāk parametru, jo jaudīgāks, vienmērīgāks un paredzamāks ir modelis, vismaz saskaņā ar mērogošanas hipotēze.

Piemēram, kad 1. gadā tika izlaists GPT-2018, tam bija 117 miljoni parametru. GPT-2, kas tika izlaists gadu vēlāk, bija 1.2 miljardi parametru, bet GPT-3 palielināja skaitli vēl vairāk līdz 175 miljardiem parametru. Saskaņā ar 2021. gada augusta interviju ar Vadu, Endrjū Feldmans, uzņēmuma Cerebras, kas sadarbojas ar OpenAI, dibinātājs un izpilddirektors, minēja, ka GPT-4 būs aptuveni 100 triljoni parametru. Tas padarītu GPT-4 100 reižu jaudīgāku nekā GPT-3 — tas ir kvantitatīvs parametru lieluma lēciens, kas, saprotams, ir izraisījis lielu sajūsmu daudzus cilvēkus.

Tomēr, neskatoties uz Feldmana augsto apgalvojumu, ir pamatoti iemesli domāt, ka GPT-4 patiesībā nebūs 100 triljonu parametru. Jo lielāks ir parametru skaits, jo dārgāka ir modeļa apmācība un precizēšana, jo ir nepieciešams milzīgs skaitļošanas jaudas apjoms.

Turklāt ir vairāki faktori, nevis tikai parametru skaits, kas nosaka modeļa efektivitāti. Ņem, piemēram Megatron-Turing NLG, Nvidia un Microsoft izveidots teksta ģenerēšanas modelis, kuram ir vairāk nekā 500 miljardu parametru. Neskatoties uz tā lielumu, MT-NLG veiktspējas ziņā netuvojas GPT-3. Īsāk sakot, lielāks ne vienmēr nozīmē labāku.

Iespējams, ka GPT-4 patiešām būs vairāk parametru nekā GPT-3, taču vēl ir redzams, vai šis skaitlis būs par lielumu lielāks. Tā vietā ir citas intriģējošas iespējas, kuras, iespējams, izmantos OpenAI, piemēram, plānāks modelis, kas koncentrējas uz algoritmiskā dizaina un izlīdzināšanas kvalitatīviem uzlabojumiem. Precīzu šādu uzlabojumu ietekmi ir grūti paredzēt, taču zināms ir tas, ka mazs modelis var samazināt skaitļošanas izmaksas, izmantojot tā saukto nosacīto aprēķinu, ti, ne visi AI modeļa parametri tiks aktivizēti visu laiku, kas ir līdzīgi kā darbojas neironi cilvēka smadzenēs.

Tātad, ko GPT-4 spēs darīt?

Kamēr OpenAI nenāks klajā ar jaunu paziņojumu vai pat izlaidīs GPT-4, mums atliek spekulēt par to, kā tas atšķirsies no GPT-3. Neatkarīgi no tā, mēs varam izteikt dažas prognozes

Lai gan AI padziļinātās mācīšanās attīstības nākotne ir multimodāla, GPT-4, visticamāk, paliks tikai teksts. Kā cilvēki mēs dzīvojam multisensorā pasaulē, kas ir piepildīta ar dažādām audio, vizuālajām un teksta ievadēm. Tāpēc ir neizbēgami, ka mākslīgā intelekta izstrāde galu galā radīs multimodālu modeli, kurā var iekļaut dažādas ievades.

Tomēr labu multimodālu modeli ir ievērojami grūtāk izstrādāt nekā tikai teksta modeli. Šī tehnoloģija vienkārši vēl nav pieejama, un, pamatojoties uz to, ko mēs zinām par parametru lieluma ierobežojumiem, iespējams, ka OpenAI koncentrējas uz tikai teksta modeļa paplašināšanu un uzlabošanu.

Iespējams arī, ka GPT-4 būs mazāk atkarīgs no precīzas uzvednes. Viens no GPT-3 trūkumiem ir tas, ka teksta uzvednes ir rūpīgi jāraksta, lai iegūtu vēlamo rezultātu. Ja uzvednes nav rūpīgi uzrakstītas, jūs varat iegūt nepatiesus, toksiskus vai pat ekstrēmistiskus uzskatus atspoguļojošus rezultātus. Tā ir daļa no tā sauktās “līdzināšanas problēmas”, un tā attiecas uz izaicinājumiem, veidojot AI modeli, kas pilnībā izprot lietotāja nodomus. Citiem vārdiem sakot, AI modelis nav saskaņots ar lietotāja mērķiem vai nodomiem. Tā kā AI modeļi tiek apmācīti, izmantojot teksta datu kopas no interneta, cilvēku aizspriedumi, viltus un aizspriedumi ir ļoti viegli nonākt teksta izvadēs.

Tomēr ir pamatoti iemesli uzskatīt, ka izstrādātāji gūst panākumus pielīdzināšanas problēmas risināšanā. Šis optimisms izriet no dažiem sasniegumiem InstructGPT izstrādē, uzlabotā GPT-3 versija, kas ir apmācīta, pamatojoties uz cilvēku atsauksmēm, lai precīzāk ievērotu norādījumus un lietotāju nodomus. Cilvēktiesneši atklāja, ka InstructGPT bija daudz mazāk atkarīga no labas pamudināšanas nekā GPT-3.

Tomēr jāatzīmē, ka šie testi tika veikti tikai ar OpenAI darbiniekiem, kas ir diezgan viendabīga grupa, kas var neatšķirties pēc dzimuma, reliģiskajiem vai politiskajiem uzskatiem. Visticamāk, ka GPT-4 tiks veikta daudzveidīgāka apmācība, kas uzlabos dažādu grupu saskaņošanu, lai gan, cik lielā mērā tas vēl ir jānoskaidro.

Vai GPT-4 aizstās cilvēkus?

Neskatoties uz GPT-4 solījumu, maz ticams, ka tas pilnībā aizstās vajadzību pēc cilvēku rakstītājiem un kodētājiem. Joprojām ir daudz darāmā, sākot no parametru optimizācijas līdz multimodalitātei un beidzot ar pielīdzināšanu. Var paiet daudzi gadi, līdz mēs ieraudzīsim teksta ģeneratoru, kas var sasniegt patiesi cilvēcisku izpratni par reālās dzīves pieredzes sarežģītību un niansēm.

Tomēr joprojām ir pamatoti iemesli būt satrauktiem par GPT-4 parādīšanos. Parametru optimizācija, nevis tikai parametru palielināšana, visticamāk, novedīs pie AI modeļa, kam ir daudz lielāka skaitļošanas jauda nekā tā priekšgājējam. Un uzlabota izlīdzināšana, iespējams, padarīs GPT-4 daudz lietotājam draudzīgāku.

Turklāt mēs joprojām esam tikai AI rīku izstrādes un pieņemšanas sākumā. Pastāvīgi tiek atrasts arvien vairāk šīs tehnoloģijas izmantošanas gadījumu, un, tā kā cilvēki iegūst lielāku uzticību un komfortu, izmantojot AI darba vietā, ir gandrīz droši, ka nākamajos gados mēs redzēsim plašu AI rīku ieviešanu gandrīz visās uzņēmējdarbības nozarēs.