AI Generative: Ko te whakaaro kei muri CHATGPT, Dall-E, Midjourney me etahi atu

Kei te huri tere te ao toi, te whakawhitiwhiti korero, me te ahua o te mooni. Ki te titiro whakamuri ki te hitori o nga mahi auaha a te tangata, ka whakaaro pea tatou ko te hanga o te wira, ko te kitenga o te hiko hei peke nui. I tenei ra, he hurihanga hou kei te puta—e whakatiki ana i te wehenga i waenga i te mahi auaha a te tangata me te mahi miihini. Ko Generative AI tera.

Ko nga tauira whakaputa kua rangirua te raina i waenga i te tangata me nga miihini. I te taenga mai o nga tauira penei i te GPT-4, e whakamahi ana i nga waahanga whakawhiti, kua tata atu matou ki te whakatipuranga reo maori me te whai horopaki. Na enei ahunga whakamua i whakakaha i nga tono ki te hanga tuhinga, nga punaha korero korerorero, tae atu ki te titonga waiata waihanga.

Ko nga whakataunga Big-Tech hou e whakaatu ana i tona hiranga. Ko Microsoft kē ka mutu tana taupānga Cortana i tenei marama ki te whakarite i nga mahi hou Generative AI, penei i te Bing Chat. Kua whakatapua ano e Apple tetahi waahanga nui o ana $22.6 piriona tahua R&D ki te whakaputa AI, i tohuhia e te Tumuaki Tim Cook.

A New Era of Models: Generative vs. Whakahāwea

Ko te korero mo Generative AI ehara i te mea mo ana tono anake engari mo ana mahi o roto. I roto i te rauwiringa kaiao mohio hangai, e rua nga tauira e noho ana: te whakahirahira me te whakaputa.

Ko nga tauira whakahāwea he aha te nuinga o nga tangata e pa ana ki te ao o ia ra. Ko enei algorithm ka tango i nga raraunga whakauru, penei i te tuhinga, i te ahua ranei, ka honoa ki te putanga whainga, penei i te whakamaoritanga kupu, te tātaritanga rongoa ranei. E pa ana ki te mapi me te matapae.

Ko nga tauira whakaputa, i tetahi atu ringa, he kaihanga. Ehara i te mea he whakamaori noa, he matapae ranei; ka whakaputa i nga putanga hou, uaua mai i nga vectors o nga tau kaore i te hono ki nga uara o te ao.

Nga Hangarau kei muri i nga Tauira Hanga

Ko nga tauira whakangao kei te noho ki nga whatunga neural hohonu, nga hanganga maamaa i hangaia hei whakatauira i nga mahi a te roro tangata. Ma te hopu me te tukatuka i nga rereketanga maha o nga raraunga, ka noho enei whatunga hei tuara o nga tauira whakatipu maha.

He pehea te oranga o enei tauira whakatipu? I te nuinga o te waa, ka hangaia me nga whatunga neural hohonu, kua arotauhia ki te hopu i nga rereketanga maha o nga raraunga. Ko te tauira matua ko te Whatunga Tauiwi Whakatupu (GAN), i reira e rua nga whatunga neural, te kaihanga, me te tangata whakahāwea, whakataetae me te ako mai i a raatau i roto i te hononga ahurei o te pouako-akonga. Mai i te peita ki te whakawhiti ahua, mai i te titonga waiata ki te purei keemu, kei te tipu haere enei tauira me te whakawhānui i nga huarahi kaore e taea te whakaaro i mua.

Kaore tenei e mutu ki nga GAN. KaitukuAunoa rereke (VAEs), ko tetahi atu kaitakaro nui i roto i te mara tauira whakatipu. Ko nga VAE e tu ana mo to raatau kaha ki te hanga whakaahua whakaahua pono mai i nga tau ahua matapōkere. Me pehea? Ko te tukatuka i enei tau ma te wakarere huna ka whanau he mahi toi e whakaata ana i nga uauatanga o te ahua o te tangata.

Momo AI Generative: Kuputuhi ki Kuputuhi, Kuputuhi ki Atahanga

Kaihuri & LLM

Te pepa “Ko te aro noa e hiahia ana koe" na Google Brain i tohu he huringa i roto i to maatau whakaaro mo te whakatauira tuhinga. Engari i nga hoahoanga uaua me te raupapa ano he Recurrent Neural Networks (RNNs) or Convolutional Neural Networks (CNNs), na te tauira Transformer i whakauru mai te ariā o te aro, ko te tikanga ko te aro ki nga waahanga rereke o te tuhinga whakauru i runga i te horopaki. Ko tetahi o nga tino painga o tenei ko te ngawari o te whakarara. Kaore i rite ki nga RNN e tukatuka ana i nga tuhinga, ka uaua ake ki te tauine, ka taea e Transformers te tukatuka i nga waahanga o te tuhinga i te wa kotahi, kia tere ake ai te whakangungu me te pai ake ki nga huingararaunga nui.

I roto i te tuhinga roa, ehara i te mea he rite te hiranga o ia kupu, rerenga korero ranei. Ko etahi waahanga e hiahia ana kia aro nui ake i runga i te horopaki. Ko tenei kaha ki te huri i to maatau arotahi i runga i te whaitake ko te mea e peehia ana e te miihini aro.

Kia mohio ai koe ki tenei, whakaarohia tetahi rerenga korero: "Whakakotahi AI Whakaputa AI me nga korero Robotics." Inaianei, ko te matapae i te kupu e whai ake nei me maarama ki nga mea nui i roto i te horopaki o mua. Ko te kupu 'Robotics' pea e kii ana ko te kupu e whai ake nei e pa ana ki tetahi ahunga whakamua, huihuinga ranei i roto i te mara karetao, engari ko te 'Whakaputa' ka tohu pea ka rukuhia te horopaki e whai ake nei ki tetahi whakaputanga, tuhinga korero ranei.

Ko nga tikanga aro i roto i nga Transformers i hangaia hei whakatutuki i tenei arotahi whiriwhiri. Ka whakatauhia e ratou te hiranga o nga waahanga rereke o te tuhinga whakauru me te whakatau ko hea ka "titiro" ina whakaputa whakautu. He wehenga tenei mai i nga hoahoanga tawhito penei i nga RNN i ngana ki te whakakii i te mauri o nga tuhinga whakauru katoa ki roto i te 'state' kotahi ranei 'memahara'.

Ko nga mahi o te aro ka taea te rite ki te punaha tiki uara matua. I te ngana ki te matapae i te kupu e whai ake nei i roto i te rerenga korero, ka tukuna e ia kupu o mua he 'matua' e whakaatu ana i tona whaitaketanga pea, a, i runga i te pai o enei taviri ki te horopaki o naianei (he patai ranei), ka hoatu he 'uara', he taumaha ranei ki te matapae.

Ko enei tauira ako hohonu o AI kua uru marie ki roto i nga momo tono, mai i nga whakanikonikotanga o te miihini rapu a Google me BERT ki te Copilot a GitHub, e whakamahi ana i te kaha o nga Tauira Reo Nui (LLM) ki te huri i nga waahanga waehere ngawari ki roto i nga waehere punaha tino mahi.

Ko nga Tauira Reo Rahi (LLM) penei i te GPT-4, Bard, me te LLaMA, he hanga nui i hangaia hei whakamaarama me te whakaputa i te reo tangata, waehere, me etahi atu. Ko te rahi o te rahi, mai i te piriona ki te piriona o nga tawhā, ko tetahi o nga ahuatanga tino tohu. Ka whangaihia enei LLM ki te maha o nga raraunga kuputuhi, e taea ai e ratou te mohio ki nga ahuatanga o te reo tangata. Ko tetahi ahuatanga whakamiharo o enei tauira ko to ratou kaha ki te "torutoru-pere” ako. Kaore i rite ki nga tauira tikanga e hiahia ana ki te maha o nga raraunga whakangungu motuhake, ka taea e nga LLM te whakawhanui mai i te iti rawa o nga tauira (he "whakaputa" ranei)

Te ahua o nga Tauira Reo Nui (LLM) mai i muri i waenganui o 2023

Me pehea te Whakamahinga LLM?

Ka taea te whakamahi i nga LLM i nga huarahi maha, tae atu ki:

1. Te Whakamahinga Tika: Ma te whakamahi noa i te LLM kua whakangungua mo te whakaputa tuhinga, te tukatuka ranei. Hei tauira, ma te whakamahi i te GPT-4 ki te tuhi i tetahi panui rangitaki me te kore he taapiri pai.
2. Whakapaipai: Te urutau i te LLM kua whakangungua mo tetahi mahi motuhake, he tikanga e mohiotia ana ko te ako whakawhiti. Ko tetahi tauira ko te whakarite i te T5 ki te whakaputa whakarapopototanga mo nga tuhinga i roto i tetahi umanga motuhake.
3. Te Tiki Korero: Ma te whakamahi i nga LLM, penei i te BERT, i te GPT ranei, hei waahanga o nga hoahoanga nunui hei whakawhanake i nga punaha ka taea te tiki me te whakarōpū korero.

Te aro nui-mahunga: He aha te mea kotahi ka taea e koe te maha?

Heoi, ko te ti'aturi i runga i te tikanga aro kotahi ka taea te whakaiti. Ko nga kupu rereke me nga raupapatanga kei roto i te tuhinga he rereke nga momo whainga, hononga ranei. Koinei te waahi ka uru mai te aro nui-mahunga. Engari i te huinga o nga taumahatanga aro nui, ka whakamahia e te aro-maha nga huinga maha, ka taea e te tauira te hopu i nga momo hononga i roto i te tuhinga whakauru. Ka taea e ia aro "upoko" te aro ki nga waahanga rereke, ki nga waahanga ranei o te whakauru, ka whakamahia o raatau mohiotanga mo te matapae whakamutunga.

ChatGPT: Ko te Utauta Generative AI tino rongonui

I timata mai i te timatanga o te GPT i te tau 2018, i tino hangaia te tauira i runga i te turanga o nga paparanga 12, 12 nga upoko aro, me te 120 miriona tawhā, i whakangungua i runga i te huinga raraunga e kiia nei ko BookCorpus. He timatanga whakamīharo tenei, he tirohanga ki nga tauira reo kei te heke mai.

Ko te GPT-2, i hurahia i te tau 2019, i whakanuia e wha nga pikinga o nga paparanga me nga upoko aro. Ko te mea nui, kua piki te tatau tawhā ki te 1.5 piriona. Ko tenei putanga whakarei ake i ahu mai i tana whakangungu mai i te WebText, he huingararaunga kua whakarangatirahia me te 40GB o nga tuhinga mai i nga momo hononga Reddit.

Ko te GPT-3, i whakarewahia i Mei 2020 he 96 nga paparanga, 96 nga upoko aro, me te tatau tawhā nui o te 175 piriona. Ko te mea i wehe ke ai a GPT-3 ko ana raraunga whakangungu kanorau, ko CommonCrawl, WebText, English Wikipedia, book corpora, me etahi atu puna, whakakotahi mo te 570 GB.

He mea huna tonu nga mahi a ChatGPT. Heoi ano, ko te tikanga e kiia nei ko 'te ako whakakaha mai i nga urupare a te tangata' (RLHF) e mohiotia ana he mea tino nui. I ahu mai i te kaupapa ChatGPT o mua, he mea nui tenei tikanga ki te whakanui i te tauira GPT-3.5 kia pai ake ai ki nga tohutohu tuhi.

Ko te whakangungu a ChatGPT he huarahi e toru nga taumata:

1. Te whakatikatika pai: Ka uru ki te whakahaere i nga whakaurunga korero me nga putanga korero a te tangata hei whakamahine i te tauira GPT-3.5.
2. Te whakatauira utu: Ka whakatauhia e te tangata nga momo putanga tauira i runga i te kounga, e awhina ana ki te whakangungu i tetahi tauira utu e tohu ana i ia putanga ma te whakaaro ki te horopaki o te korerorero.
3. Te ako whakakaha: Ko te horopaki korero he papamuri kei reira te tauira o raro e whakaaro ai he whakautu. Ka aromatawaihia tenei urupare e te tauira utu, a ka whakatikahia te tukanga ma te whakamahi i te algorithm e kiia ana ko te arotautanga kaupapa here tata (PPO).

Mo te hunga ka toua o ratou maihao ki te ChatGPT, ka kitea he aratohu timatanga matawhānui ki konei. Mena kei te anga koe ki te ruku hohonu atu ki nga mahi miihini tere me ChatGPT, kei a matou ano he aratohu matatau e whakamarama ana i nga tikanga hou me te ahua o te Toi, e waatea ana i 'ChatGPT & Hangaia Ake Ake: Te Peia te AI Evolution'.

Hurihuri & Tauira Multimodal

Ahakoa ko nga tauira penei i nga VAE me nga GAN e whakaputa ana i o raatau putanga ma te paanui kotahi, no reira ka raka ki roto i nga mea katoa ka mahia e ratou, kua whakauruhia e nga tauira tohatoha te kaupapa o 'te whakamahine haere'. Ma tenei tikanga, ka huri whakamuri ratou, ka whakatika i nga hapa mai i nga hikoinga o mua, me te whakaputa i te hua pai ake.

Ko te mea nui ki nga tauira whakarara ko te toi o “pirau” me te “whakatikatika”. I roto i ta raatau whakangungu, ka kino te ahua o te ahua ma te taapiri i nga taumata haruru rereke. Ka tukuna tenei putanga haruru ki te tauira, e ngana ana ki te 'whakakore', ki te 'whakakore-kino' ranei. Na roto i nga rauna maha o tenei, ka mohio te tauira ki te whakaora, me te mohio ki nga rerekee ngawari me te nui.

Ko te tukanga o te whakaputa whakaahua hou i muri i te whakangungu he mea whakamiharo. Ka timata ma te whakaurunga matapōkeretia, ka whakamahine tonu ma te whakamahi i nga matapae a te tauira. Ko te hiahia kia whiwhi i te ahua tino pai me te iti rawa o nga hikoinga. Ko te whakahaere i te taumata o te pirau ka mahia na roto i te "maramatanga haruru", he tikanga e whakahaere ana i te nui o te haruru ka tukuna ki nga waahanga rereke. He kaihōtaka, ka kitea i roto i nga whare pukapuka penei "nga kaiwhakawhanake", e tohu ana i te ahua o enei whakaputanga haruru i runga i nga algorithms kua whakapumautia.

Ko te tuara hoahoanga mo te maha o nga tauira whakamaarama ko te UNet—he whatunga neural convolutional i whakarite mo nga mahi e hiahia ana ki nga putanga e whakaata ana i te taha mokowā o nga whakaurunga. He whakakotahitanga o nga papahanga whakaheke me te whakahou ake, he mea hono ki te pupuri i nga raraunga taumira teitei, he mea nui mo nga putanga e pa ana ki te ahua.

Te ruku hohonu atu ki te ao o nga tauira whakatipu, OpenAI's DALL-E2 ka puta hei tauira kanapa o te whakakotahitanga o nga pukenga AI-a-tuhi me te ataata. Ka whakamahia e ia he hanganga e toru nga waahanga:

E whakaatu ana a DALL-E 2 i te hoahoanga e toru nga wahanga:

1. Whakawaehere Kuputuhi: Ka huri i te tere kuputuhi ki te whakaurunga ariā i roto i te waahi huna. Karekau tenei tauira e timata mai i te kore whenua. Ka whakawhirinaki ki te reo rereke o OpenAI–Whakangungu-whakangungu i mua.topenga) huingararaunga hei turanga. Ka noho a CLIP hei piriti i waenga i nga raraunga ataata me te tuhinga ma te ako i nga ariā ataata ma te whakamahi i te reo maori. Na roto i tetahi tikanga e kiia nei ko te ako rerekee, ka tautohu me te whakataurite i nga whakaahua me o raatau tuhinga korero.
2. Te Mua: Ko te whakaurunga kuputuhi i ahu mai i te encoder ka huri hei taapiri whakaahua. I whakamatauria e DALL-E 2 nga tikanga autoregressive me nga tikanga whakamaarama mo tenei mahi, me te whakaatu i nga hua pai ake. Ko nga tauira autoregressive, e kitea ana i roto i nga Transformers me PixelCNN, ka whakaputa i nga putanga i roto i nga raupapa. I tetahi atu taha, ko nga tauira whakamaarama, penei i te mea i whakamahia i DALL-E 2, ka huri i te haruru matapōkere ki roto i nga taapiri whakaahua matapae me te awhina o te whakauru kupu.
3. Ko te Kaiwaehere: Ko te mutunga o te tukanga, ko tenei waahanga ka whakaputa i te putanga ataata whakamutunga i runga i te tere o te kuputuhi me te ahua o te whakauru mai i te waahanga o mua. Ko te kaiwhakawaehere a DALL.E 2 he nama tona hoahoanga ki tetahi atu tauira, Whanui, ka taea hoki te whakaputa whakaahua pono mai i nga tohu tuhinga.

Ko nga kaiwhakamahi Python e hiahia ana Langchain me tirotiro i ta maatau akoranga taipitopito e hipoki ana i nga mea katoa mai i nga mea taketake ki nga tikanga matatau.

Nga tono a Generative AI

Wāhi Kuputuhi

Ka tiimata me te tuhinga, kua whakarereketia a Generative AI e nga chatbots penei KōreroreroGPT. Ma te tino whirinaki ki te Tukatuka Reo Maori (NLP) me nga tauira reo nui (LLM), ka whakamanahia enei hinonga ki te mahi i nga mahi mai i te whakaputa waehere me te whakamaoritanga reo tae noa ki te whakarapopototanga me te tātari whakaaro. Ko ChatGPT, hei tauira, kua kite i te whanuitanga o te whakatamarikitanga, kua noho hei kai maataki mo nga miriona. Ka whakanuia ake tenei e nga papaa korero korero AI, i hangaia i roto i nga LLM penei i te GPT-4, paLM, a Tuhinga, ka kaha ki te whakaputa tuhinga, ki te awhina i te kaupapa, me te tuku whakaaro pangarau.

Mai i te tirohanga arumoni, ka nui haere enei tauira. Ka whakamahia e nga pakihi mo te tini o nga mahi, tae atu ki te whakahaere morearea, te arotautanga o nga raarangi, me nga tono matapae. Ko etahi tauira rongonui ko Bing AI, ko te BARD a Google, me te API ChatGPT.

Art

Ko te ao o nga whakaahua kua kite i nga whakarereketanga nui me Generative AI, ina koa mai i te whakaurunga o DALL-E 2 i te tau 2022. Ko tenei hangarau, ka taea te whakaputa whakaahua mai i nga kupu akiaki, he whai tikanga toi me nga mahi ngaio. Hei tauira, kua whakamahia e te midjourney tenei hangarau ki te whakaputa whakaahua tino pono. Ko tenei panui tata nei ka whakakore i te Waengaenga i roto i tetahi aratohu whai kiko, e whakamarama ana i te papaaho me ona ahuatanga miihini tere. I tua atu, ko nga papaaho penei i te Alpaca AI me te Photoroom AI e whakamahi ana i te Generative AI mo nga mahi whakatika whakaahua matatau penei i te tango papamuri, te muku ahanoa, tae atu ki te whakaora kanohi.

Production Video

Ko te hanga ataata, i te mea kei roto tonu i te waahanga o te ao o Generative AI, e whakaatu ana i nga ahunga whakamua. Ko nga papaaho penei i te Ataata Ataata, Meta Make A Video, me te Runway Gen-2 kei te turaki i nga rohe o nga mea ka taea, ahakoa kei te tata tonu nga putanga pono. Ko enei tauira e whakarato ana i te whaipainga nui mo te hanga ataata tangata mamati, me nga tono penei i a Synthesia me SuperCreator e arahi ana. Ko te mea nui, ko Tavus AI te tuku kaupapa hoko ahurei ma te whakawhaiaro i nga riipene whakaata mo nga mema whakarongo takitahi, he painga mo nga umanga.

Waihanga Waehere

Ko te Whakawaehere, he mea tino nui o to tatou ao matihiko, kaore i noho noa e Generative AI. Ahakoa he taputapu pai a ChatGPT, he maha atu nga tono AI kua whakawhanakehia mo nga kaupapa whakawaehere. Ko enei papaahi, penei i te GitHub Copilot, Alphacode, me te CodeComplete, ka mahi hei kaiawhina whakawaehere, ka taea hoki te whakaputa waehere mai i nga akiaki tuhinga. Ko te mea whakamiharo ko te urutau o enei taputapu. Ko te Codex, te mana taraiwa kei muri i a GitHub Copilot, ka taea te whakarite ki te momo tohu a te tangata takitahi, e tohu ana i te kaha whakawhaiaro o Generative AI.

Na nga taputapu penei i a ChatGPT ka waatea ake, koinei te wa pai ki te whakamatautau i nga wai me te whakamatautau. Ahakoa he kaitoi koe, he kaitoi, he kaikawe hangarau ranei, he nui te ao o Generative AI me nga mea e tatari ana kia tirotirohia. Karekau te hurihanga i te paerangi; kei konei a inaianei. No reira, Ruku mai!