AI Ġenerattiva: L-Idea Wara CHATGPT, Dall-E, Midjourney u Aktar

Id-dinja tal-arti, il-komunikazzjoni, u kif aħna nipperċepixxu r-realtà qed tittrasforma malajr. Jekk inħarsu lura lejn l-istorja tal-innovazzjoni tal-bniedem, nistgħu nqisu l-invenzjoni tar-rota jew l-iskoperta tal-elettriku bħala qabżiet monumentali. Illum, qed isseħħ rivoluzzjoni ġdida—li tgħaqqad il-qasma bejn il-kreattività umana u l-komputazzjoni tal-magni. Jiġifieri AI Ġenerattiva.

Mudelli ġenerattivi mċajpra l-linja bejn il-bnedmin u l-magni. Bil-miġja ta 'mudelli bħall-GPT-4, li jimpjega moduli tat-trasformaturi, aħna ressqu eqreb lejn il-ġenerazzjoni tal-lingwa naturali u b'ħafna kuntest. Dawn l-avvanzi taw applikazzjonijiet fil-ħolqien ta 'dokumenti, sistemi ta' djalogu chatbot, u anke kompożizzjoni ta 'mużika sintetika.

Deċiżjonijiet riċenti tal-Big-Tech jenfasizzaw is-sinifikat tagħha. Microsoft diġà hija twaqqaf l-app Cortana tagħha dan ix-xahar biex tipprijoritizza innovazzjonijiet ġodda tal-AI Ġenerattiva, bħal Bing Chat. Apple iddedikat ukoll porzjon sinifikanti minn tagħha $22.6 biljun R&D baġit għal AI ġenerattiva, kif indikat mill-Kap Eżekuttiv Tim Cook.

Era Ġdida ta' Mudelli: Ġenerattivi Vs. Diskriminattiv

L-istorja ta' Generative AI mhix biss dwar l-applikazzjonijiet tagħha iżda fundamentalment dwar il-ħidma interna tagħha. Fl-ekosistema tal-intelliġenza artifiċjali, jeżistu żewġ mudelli: diskriminattivi u ġenerattivi.

Mudelli diskriminattivi huma dak li ħafna nies jiltaqgħu magħhom fil-ħajja ta’ kuljum. Dawn l-algoritmi jieħdu dejta tal-input, bħal test jew immaġni, u jgħaqqduha ma 'output fil-mira, bħal traduzzjoni ta' kelma jew dijanjosi medika. Huma dwar l-immappjar u t-tbassir.

Mudelli ġenerattivi, min-naħa l-oħra, huma ħallieqa. Huma mhux biss jinterpretaw jew ibassru; jiġġeneraw outputs ġodda u kumplessi minn vettori ta' numri li ħafna drabi lanqas biss huma relatati ma' valuri tad-dinja reali.

It-Teknoloġiji Wara Mudelli Ġenerattivi

Mudelli ġenerattivi għandhom l-eżistenza tagħhom għal netwerks newrali profondi, strutturi sofistikati ddisinjati biex jimitaw il-funzjonalità tal-moħħ tal-bniedem. Billi jaqbdu u jipproċessaw varjazzjonijiet multidimensjonali fid-dejta, dawn in-netwerks iservu bħala s-sinsla ta 'bosta mudelli ġenerattivi.

Kif jieħdu l-ħajja dawn il-mudelli ġenerattivi? Normalment, huma mibnija b'netwerks newrali profondi, ottimizzati biex jaqbdu l-varjazzjonijiet multidimensjonali fid-dejta. Eżempju ewlieni huwa l- Netwerk Avversarju Ġenerattiv (GAN), fejn żewġ netwerks newrali, il-ġeneratur, u d-diskriminazzjoni, jikkompetu u jitgħallmu minn xulxin f'relazzjoni unika għalliem-student. Minn pitturi għat-trasferiment tal-istil, mill-kompożizzjoni tal-mużika għal-logħob, dawn il-mudelli qed jevolvu u jespandu b'modi li qabel ma kinux immaġinabbli.

Dan ma jieqafx bil-GANs. Autoencoders Varjazzjonali (VAEs), huma attur ewlieni ieħor fil-qasam tal-mudell ġenerattiv. Il-VAEs jispikkaw għall-kapaċità tagħhom li joħolqu immaġini fotorealistiċi minn numri apparentement każwali. Kif? L-ipproċessar ta 'dawn in-numri permezz ta' vettur moħbi jagħti bidu għal arti li tirrifletti l-kumplessitajiet tal-estetika umana.

Tipi AI Ġenerattivi: Test għal Test, Test għal Immaġni

Transformers & LLM

Il-karta "L-Attenzjoni Hija Kulma għandek bżonn” minn Google Brain immarka bidla fil-mod kif naħsbu dwar l-immudellar tat-test. Minflok arkitetturi kumplessi u sekwenzjali bħal Netwerks Neurali Rikorrenti (RNNs) jew Netwerks Neurali Konvoluzzjonali (CNNs), il-mudell Transformer introduċa l-kunċett ta 'attenzjoni, li essenzjalment kien ifisser li tiffoka fuq partijiet differenti tat-test tal-input skont il-kuntest. Wieħed mill-benefiċċji ewlenin ta 'dan kien il-faċilità ta' parallelizzazzjoni. B'differenza mill-RNNs li jipproċessaw it-test b'mod sekwenzjali, u jagħmluhom aktar diffiċli għall-iskala, it-Transformers jistgħu jipproċessaw partijiet mit-test simultanjament, u jagħmlu t-taħriġ aktar mgħaġġel u effiċjenti fuq settijiet ta' dejta kbar.

F'test twil, mhux kull kelma jew sentenza li taqra għandha l-istess importanza. Xi partijiet jitolbu aktar attenzjoni abbażi tal-kuntest. Din il-ħila li nbiddlu l-attenzjoni tagħna bbażata fuq ir-rilevanza hija dak li jimita l-mekkaniżmu tal-attenzjoni.

Biex tifhem dan, aħseb f’sentenza: “Unite AI Publish AI and Robotics news.” Issa, it-tbassir tal-kelma li jmiss jeħtieġ li wieħed jifhem dak li huwa importanti l-aktar fil-kuntest preċedenti. It-terminu 'Robotika' jista' jissuġġerixxi li l-kelma li jmiss tista' tkun relatata ma' avvanz jew avveniment speċifiku fil-qasam tar-robotika, filwaqt li 'Ippubblika' tista' tindika li l-kuntest li ġej jista' jidħol f'pubblikazzjoni jew artiklu riċenti.

Mekkaniżmi ta 'attenzjoni fit-Transformers huma ddisinjati biex jiksbu din il-fokus selettiv. Huma jkejlu l-importanza ta 'partijiet differenti tat-test tal-input u jiddeċiedu fejn "iħarsu" meta jiġġeneraw rispons. Dan huwa tluq minn arkitetturi eqdem bħall-RNNs li ppruvaw jgħaqqdu l-essenza tat-test kollu input fi 'stat' jew 'memorja' wieħed.

Il-ħidma tal-attenzjoni tista' titqabbel ma' sistema ta' rkupru tal-valur ewlieni. Meta tipprova tbassar il-kelma li jmiss f'sentenza, kull kelma preċedenti toffri 'ċavetta' li tissuġġerixxi r-rilevanza potenzjali tagħha, u abbażi ta' kemm dawn iċ-ċwievet jaqblu mal-kuntest attwali (jew mistoqsija), jikkontribwixxu 'valur' jew piż għall- tbassir.

Dawn il-mudelli avvanzati ta' tagħlim fil-fond tal-AI integrati bla xkiel f'diversi applikazzjonijiet, mit-titjib tal-magna tat-tiftix ta' Google b'BERT għal Copilot ta' GitHub, li juża l-kapaċità tal-Mudelli tal-Lingwa Kbar (LLMs) biex jikkonvertu snippets sempliċi ta' kodiċi f'kodiċijiet tas-sors kompletament funzjonali.

Mudelli tal-Lingwa Kbar (LLMs) bħal GPT-4, Bard, u LLaMA, huma kostruzzjonijiet kolossali ddisinjati biex jiddeċifraw u jiġġeneraw il-lingwa umana, il-kodiċi, u aktar. Id-daqs immens tagħhom, li jvarja minn biljuni għal triljuni ta 'parametri, huwa wieħed mill-karatteristiċi li jiddefinixxu. Dawn l-LLMs huma mitmugħa b'ammonti kbar ta 'dejta tat-test, li jippermettulhom jifhmu l-intricacies tal-lingwa umana. Karatteristika impressjonanti ta’ dawn il-mudelli hija l-kapaċità tagħhom għal “ftit sparatura” tagħlim. B'differenza mill-mudelli konvenzjonali li jeħtieġu ammonti vasti ta 'dejta speċifika ta' taħriġ, LLMs jistgħu jiġġeneralizzaw minn numru limitat ħafna ta 'eżempji (jew "shots").

State of Large Language Models (LLMs) minn wara nofs l-2023

Kif Jintużaw LLMs?

LLMs jistgħu jintużaw f'diversi modi, inklużi:

1. Użu Dirett: Sempliċement bl-użu ta 'LLM imħarreġ minn qabel għall-ġenerazzjoni jew l-ipproċessar tat-test. Per eżempju, billi tuża GPT-4 biex tikteb post fuq il-blog mingħajr ebda rfinar addizzjonali.
2. Irfinar: Adattament ta 'LLM imħarreġ minn qabel għal kompitu speċifiku, metodu magħruf bħala tagħlim ta' trasferiment. Eżempju jkun l-adattament tat-T5 biex jiġġenera sommarji għal dokumenti f'industrija speċifika.
3. Irkupru ta' Informazzjoni: L-użu ta' LLMs, bħal BERT jew GPT, bħala parti minn arkitetturi akbar biex jiġu żviluppati sistemi li jistgħu jġibu u jikkategorizzaw l-informazzjoni.

Multi-head Attenzjoni: Għaliex Wieħed Meta Jista 'Jkollok Ħafna?

Madankollu, li sserraħ fuq mekkaniżmu ta 'attenzjoni wieħed jista' jkun limitat. Kliem jew sekwenzi differenti f'test jista' jkollhom tipi varji ta' rilevanza jew assoċjazzjonijiet. Dan huwa fejn tidħol l-attenzjoni multi-head. Minflok sett wieħed ta 'piżijiet ta' attenzjoni, attenzjoni multi-head timpjega settijiet multipli, li tippermetti lill-mudell jaqbad varjetà aktar rikka ta 'relazzjonijiet fit-test tal-input. Kull "ras" ta 'attenzjoni tista' tiffoka fuq partijiet jew aspetti differenti tal-input, u l-għarfien magħqud tagħhom jintuża għat-tbassir finali.

ChatGPT: L-aktar Għodda AI Ġenerattiva Popolari

Mill-bidu tal-GPT fl-2018, il-mudell inbena essenzjalment fuq il-pedament ta '12-il saff, 12-il kap ta' attenzjoni, u 120 miljun parametru, primarjament imħarreġ fuq dataset imsejjaħ BookCorpus. Dan kien bidu impressjonanti, li offra ħarsa lejn il-futur tal-mudelli tal-lingwa.

GPT-2, żvelat fl-2019, ftaħar b'żieda ta 'erba' darbiet fis-saffi u l-irjus tal-attenzjoni. B'mod sinifikanti, l-għadd tal-parametri tiegħu żdied għal 1.5 biljun. Din il-verżjoni mtejba ħadet it-taħriġ tagħha minn WebText, sett ta’ dejta arrikkit b’40GB ta’ test minn diversi links ta’ Reddit.

GPT-3, imnedija f'Mejju 2020 kellu 96 saff, 96 kap ta 'attenzjoni, u għadd massiv ta' parametri ta '175 biljun. Dak li jiddistingwi lil GPT-3 kien id-dejta ta’ taħriġ diversa tiegħu, li tinkludi CommonCrawl, WebText, Wikipedija bl-Ingliż, corpus ta’ kotba, u sorsi oħra, li tgħaqqad għal total ta’ 570 GB.

L-intricacies tal-ħidma ta' ChatGPT jibqgħu sigriet mgħasses mill-qrib. Madankollu, proċess imsejjaħ 'tagħlim ta' rinfurzar mir-rispons uman' (RLHF) huwa magħruf li huwa kruċjali. Oriġinat minn proġett ChatGPT preċedenti, din it-teknika kienet strumentali biex il-mudell GPT-3.5 jiġi mfinat biex ikun aktar allinjat mal-istruzzjonijiet bil-miktub.

It-taħriġ ta' ChatGPT jinkludi approċċ fuq tliet livelli:

1. Irfinar sorveljat: Jinvolvi l-kura ta' inputs u outputs ta' konversazzjoni miktuba mill-bniedem biex tirfina l-mudell GPT-3.5 sottostanti.
2. L-immudellar tal-premjijiet: Il-bnedmin jikklassifikaw diversi outputs tal-mudell ibbażati fuq il-kwalità, u jgħinu jħarrġu mudell ta 'premju li jikkalkula kull output meta jitqies il-kuntest tal-konversazzjoni.
3. Tagħlim ta' rinfurzar: Il-kuntest tal-konversazzjoni jservi bħala sfond fejn il-mudell sottostanti jipproponi rispons. Dan ir-rispons huwa vvalutat mill-mudell tal-premju, u l-proċess huwa ottimizzat bl-użu ta 'algoritmu msejjaħ ottimizzazzjoni tal-politika prossimali (PPO).

Għal dawk li għadhom qed idaħħlu saqajhom f'ChatGPT, tista' tinstab gwida komprensiva tal-bidu hawn. Jekk qed tfittex li tidħol aktar fil-fond fl-inġinerija fil-pront bi ChatGPT, għandna wkoll gwida avvanzata li tixgħel l-aħħar tekniki fil-pront u l-Istat tal-Art, disponibbli fuq 'ChatGPT & Inġinerija Avvanzata Prompt: Sewqan tal-Evoluzzjoni tal-AI".

Diffużjoni u Mudelli Multimodali

Filwaqt li mudelli bħall-VAEs u l-GANs jiġġeneraw l-outputs tagħhom permezz ta’ pass wieħed, u għalhekk maqfula f’dak kollu li jipproduċu, mudelli ta’ diffużjoni introduċew il-kunċett ta’ “irfinar iterattiv“. Permezz ta 'dan il-metodu, huma jdawru lura, jirfinaw żbalji minn passi preċedenti, u gradwalment jipproduċu riżultat aktar illustrat.

Ċentrali għall-mudelli tad-diffużjoni hija l-arti ta '"korruzzjoni” u “irfinar”. Fil-fażi tat-taħriġ tagħhom, immaġni tipika hija progressivament korrotta billi jiżdiedu livelli varji ta 'storbju. Din il-verżjoni storbjuża mbagħad tiġi mgħoddija lill-mudell, li jipprova 'jneħħi l-ħoss' jew 'jidkorrompih'. Permezz ta 'rawnds multipli ta' dan, il-mudell isir adept fir-restawr, jifhem kemm aberrazzjonijiet sottili kif ukoll sinifikanti.

Il-proċess ta 'ġenerazzjoni ta' stampi ġodda wara t-taħriġ huwa intriganti. Nibda b'input kompletament randomised, huwa kontinwament raffinat bl-użu tat-tbassir tal-mudell. L-intenzjoni hija li tinkiseb immaġini verġni bin-numru minimu ta 'passi. Il-kontroll tal-livell ta’ korruzzjoni jsir permezz ta’ “skeda tal-istorbju”, mekkaniżmu li jirregola kemm ħoss jiġi applikat fi stadji differenti. Scheduler, kif jidher fil-libreriji bħal "Diffużuri", tiddetta n-natura ta 'dawn il-konsenji storbjużi bbażati fuq algoritmi stabbiliti.

Sinsla arkitettonika essenzjali għal ħafna mudelli ta 'diffużjoni hija l- UNet—netwerk newrali konvoluzzjonali mfassal għall-kompiti li jeħtieġu outputs li jirriflettu d-dimensjoni spazjali tal-inputs. Hija taħlita ta 'downsampling u upsampling saffi, konnessi b'mod kumpless biex iżommu data b'riżoluzzjoni għolja, kruċjali għall-outputs relatati mal-immaġni.

Jesploraw aktar fil-fond fil-qasam tal-mudelli ġenerattivi, OpenAI's DALL-E2 joħroġ bħala eżempju brillanti tal-fużjoni tal-kapaċitajiet AI testwali u viżwali. Hija timpjega struttura bi tliet livelli:

DALL-E 2 juri arkitettura triplika:

1. Test Encoder: Jibdel it-test fil-pront f'inkorporazzjoni kunċettwali fi spazju moħbi. Dan il-mudell ma jibda mill-ground zero. Jistrieħ fuq it-taħriġ ta' qabel l-Immaġini tal-Lingwa Kontrastiva ta' OpenAI (CLIP) dataset bħala l-pedament tiegħu. CLIP iservi bħala pont bejn data viżwali u testwali billi titgħallem kunċetti viżwali bl-użu ta' lingwa naturali. Permezz ta’ mekkaniżmu magħruf bħala tagħlim kuntrastattiv, tidentifika u tqabbel l-immaġini mad-deskrizzjonijiet testwali korrispondenti tagħhom.
2. Il-Preċedenti: L-inkorporazzjoni tat-test derivat mill-encoder imbagħad tiġi kkonvertita f'inkorporazzjoni ta 'immaġni. DALL-E 2 ttestja kemm metodi autoregressivi kif ukoll ta 'diffużjoni għal dan il-kompitu, b'dawn tal-aħħar juru riżultati superjuri. Mudelli awtoregressivi, kif jidher fi Transformers u PixelCNN, jiġġeneraw outputs f'sekwenzi. Min-naħa l-oħra, mudelli ta 'diffużjoni, bħal dak użat f'DALL-E 2, jittrasformaw ħoss każwali f'inkorporazzjonijiet ta' immaġni mbassra bl-għajnuna ta 'inkorporazzjonijiet ta' test.
3. Id-Decoder: Il-qofol tal-proċess, din il-parti tiġġenera l-output viżwali finali bbażat fuq it-test fil-pront u l-inkorporazzjoni tal-immaġni mill-fażi preċedenti. Id-decoder ta' DALL.E 2 għandu l-arkitettura tiegħu lil mudell ieħor, IL-GWIDA, li jistgħu wkoll jipproduċu immaġini realistiċi minn indikazzjonijiet testwali.

Utenti ta' Python interessati fihom Langchain għandha tiċċekkja t-tutorja dettaljata tagħna li tkopri kollox mill-prinċipji fundamentali għal tekniki avvanzati.

Applikazzjonijiet ta' AI Ġenerattiva

Dominji Testwali

Ibda bit-test, l-AI Ġenerattiva ġiet mibdula b'mod fundamentali minn chatbots simili Chat GPT. Filwaqt li jiddependu ħafna fuq l-Ipproċessar tal-Lingwa Naturali (NLP) u mudelli tal-lingwa kbira (LLMs), dawn l-entitajiet għandhom is-setgħa li jwettqu kompiti li jvarjaw mill-ġenerazzjoni tal-kodiċi u t-traduzzjoni tal-lingwa għal sommarju u analiżi tas-sentimenti. ChatGPT, pereżempju, rat adozzjoni mifruxa, u sar staple għal miljuni. Dan huwa miżjud aktar minn pjattaformi AI konversazzjonali, ibbażati fuq LLMs bħal GPT-4, PALM, u FJUR, li mingħajr sforz jipproduċu test, jgħinu fl-ipprogrammar, u saħansitra joffru raġunament matematiku.

Minn perspettiva kummerċjali, dawn il-mudelli qed isiru imprezzabbli. In-negozji jimpjegawhom għal numru kbir ta 'operazzjonijiet, inkluż il-ġestjoni tar-riskju, l-ottimizzazzjoni tal-inventarju, u t-talbiet tat-tbassir. Xi eżempji notevoli jinkludu Bing AI, BARD ta 'Google, u ChatGPT API.

Art

Id-dinja ta 'l-immaġini rat trasformazzjonijiet drammatiċi b'AI Ġenerattiva, partikolarment mill-introduzzjoni ta' DALL-E 2 fl-2022. Din it-teknoloġija, li tista 'tiġġenera immaġini minn prompts testwali, għandha implikazzjonijiet kemm artistiċi kif ukoll professjonali. Pereżempju, nofs il-vjaġġ ingrana din it-teknoloġija biex tipproduċi stampi realistiċi impressjonanti. Din il-kariga riċenti jiddemitifika Midjourney fi gwida dettaljata, tiċċara kemm il-pjattaforma kif ukoll l-intricacies tal-inġinerija fil-pront tagħha. Barra minn hekk, pjattaformi bħal Alpaca AI u Photoroom AI jutilizzaw Generative AI għal funzjonalitajiet avvanzati ta’ editjar tal-immaġni bħal tneħħija tal-isfond, tħassir tal-oġġett, u anke restawr tal-wiċċ.

Produzzjoni Video

Il-produzzjoni tal-vidjow, filwaqt li għadha fl-istadju li qed titwieled fl-isfera tal-AI Ġenerattiva, qed turi avvanzi promettenti. Pjattaformi bħal Imagen Video, Meta Make A Video, u Runway Gen-2 qed jimbuttaw il-konfini ta 'dak li hu possibbli, anki jekk outputs verament realistiċi għadhom fuq l-orizzont. Dawn il-mudelli joffru utilità sostanzjali għall-ħolqien ta 'vidjows umani diġitali, b'applikazzjonijiet bħal Synthesia u SuperCreator li jmexxu l-ħlas. Notevolment, Tavus AI joffri proposta ta 'bejgħ unika billi tippersonalizza vidjows għall-membri tal-udjenza individwali, barka għan-negozji.

Ħolqien tal-Kodiċi

Il-kodifikazzjoni, aspett indispensabbli tad-dinja diġitali tagħna, ma baqgħetx mhux mittiefsa minn Generative AI. Għalkemm ChatGPT hija għodda favorita, ġew żviluppati bosta applikazzjonijiet AI oħra għal skopijiet ta 'kodifikazzjoni. Dawn il-pjattaformi, bħal GitHub Copilot, Alphacode, u CodeComplete, iservu bħala assistenti tal-kodifikazzjoni u jistgħu saħansitra jipproduċu kodiċi minn test prompts. X'hemm intriganti hija l-adattabilità ta 'dawn l-għodod. Codex, il-mutur wara GitHub Copilot, jista 'jitfassal għall-istil ta' kodifikazzjoni ta 'individwu, u jenfasizza l-potenzjal ta' personalizzazzjoni tal-AI Ġenerattiva.

B'għodod bħal ChatGPT li qed isiru aktar aċċessibbli, issa huwa ż-żmien perfett biex tittestja l-ilmijiet u tesperimenta. Kemm jekk int artist, kodifikatur, jew dilettant tat-teknoloġija, l-isfera tal-AI Ġenerattiva hija mimlija possibbiltajiet li qed jistennew li jiġu esplorati. Ir-rivoluzzjoni mhix fuq l-orizzont; huwa hawn u issa. Allura, Għaddas!