Generaattorinen tekoäly: Idea CHATGPT:n, Dall-E:n, Midjourneyn ja muiden taustalla

Taide-, viestintä- ja todellisuuden havainnointimaailma muuttuu nopeasti. Jos tarkastelemme ihmisen innovaatiohistoriaa, voimme pitää esimerkiksi pyörän keksimistä tai sähkön löytymistä merkittävinä loikkina. Nykyään uusi vallankumous on käynnissä – se siltaa ihmisen luovuuden ja koneen laskennan välistä kuilua. Tämä on generaattorinen tekoäly.

Generaattorimallit ovat hämärtäneet rajan ihmisten ja koneiden välillä. GPT-4-mallin myötä, joka käyttää transformer-moduuleja, olemme edenneet luonnollisemman ja asiayhteyden rikkaamman kielen generoimisen suuntaan. Nämä edistysaskeleet ovat lisänneet sovelluksia asiakirjojen luomisessa, chatbot-viestintäjärjestelmissä ja jopa synteettisessä musiikin sävellyksessä.

Viimeaikaiset suurteknologiayritysten päätökset korostavat sen merkitystä. Microsoft lopettaa jo tänä kuukausina Cortana-sovelluksensa ja keskittyy uudempaan generaattoriseen tekoälyyn, kuten Bing Chatiin. Apple on myös omistanut merkittävän osan 22,6 miljardin dollarin tutkimus- ja kehitysbudjetistaan generaattoriseen tekoälyyn, kuten toimitusjohtaja Tim Cook on ilmoittanut.

Uusi mallien aikakausi: Generaattorinen vs. diskriminointi

Generaattorisen tekoälyn tarina ei ole vain sovelluksista, vaan perustuu sen sisäiseen toimintatapaan. Tekoälyekosysteemissä on kaksi mallia: diskriminointi ja generaattori.

Diskriminointimallit ovat sellaisia, joita useimmat ihmiset kohtaavat päivittäin. Nämä algoritmit ottavat syötteen, kuten tekstin tai kuvan, ja parittavat sen kohdeulostulokseen, kuten sanan käännökseen tai lääketieteelliseen diagnosoiseen. Ne ovat karttamisen ja ennustamisen asioita.

Generaattorimallit ovat luojia. Ne eivät vain tulkkaa tai ennusta; ne luovat uusia, monimutkaisia ulostuloja vektoreista, jotka usein eivät liity mihinkään todelliseen arvoon.
 

Generaattorimallien taustalla olevat teknologiat

Generaattorimallit ovat olemassa syvien neurverkkorakenteiden ansiosta, jotka on suunniteltu jäljittelemään ihmisaivojen toimintaa. Kaappaamalla ja prosessoidessaan monimuotoisia muutoksia datasta, nämä verkot toimivat useiden generaattorimallien selkärankana.

Miten nämä generaattorimallit saavat elämän? Yleensä ne rakennetaan syvien neurverkkorakenteiden avulla, jotka on optimoitu kaappaamaan monimuotoiset muutokset datasta. Esimerkki on Generative Adversarial Network (GAN), jossa kaksi neurverkkoa, generaattori ja diskriminaattori, kilpailevat ja oppivat toisiltaan ainutlaatuisessa opettaja-oppias-suhteessa. Maalauksista tyylin siirtoon, musiikin sävellyksestä pelien pelaamiseen, nämä mallit kehittyvät ja laajenevat tavoin, joita ei aiemmin voitu kuvitella.

Tämä ei rajoitu GAN-eihin. Variational Autoencoders (VAEs) ovat toinen tärkeä osa generaattorimallien kentässä. VAE:t erottuvat kyvystään luoda fotorealistisia kuvia näennäisesti satunnaisista numeroista. Miten? Prosessoidessaan nämä numerot latentti vektorin kautta syntyy taide, joka heijastaa ihmisen estetiikan monimuotoisuutta.

Generaattorisen tekoälyn tyypit: Teksti-teksti, Teksti-kuva

Transformerit & LLM

Google Brainin artikkeli “Attention Is All You Need” merkitsi muutosta siinä, miten ajatellaan tekstien mallinnuksesta. Sen sijaan, että olisi käytetty monimutkaisia ja peräkkäisiä arkkitehtuureja kuten Recurrent Neural Networks (RNN) tai Convolutional Neural Networks (CNN), Transformer-malli esitteli huomion käsitteen, joka tarkoitti keskittymistä eri osiin syötetekstistä riippuen asiayhteydestä. Yksi tämän etu oli helppo rinnakkaisuus. Toisin kuin RNN:t, jotka prosessoi tekstiä peräkkäin, mikä tekee niiden skaalautumisen haasteelliseksi, Transformerit voivat prosessoida tekstiä samanaikaisesti, mikä tekee koulutuksen nopeammaksi ja tehokkaammaksi suurilla tietojoukoilla.

Pitkässä tekstin, ei jokainen sana tai lause, jota luet, ole yhtä tärkeä. Jotkut osat vaativat enemmän huomiota riippuen asiayhteydestä. Tämä kyky siirtää huomiota merkityksen perusteella on se, mitä huomio mekanismi jäljittelee.

Ymmärtääksemme tämän, ajatellaan lause: “Unite AI julkaisee tekoäly- ja robottiuutisia.” Nyt, ennustettaessa seuraavaa sanaa, vaaditaan ymmärrys siitä, mikä on tärkeintä edellisessä asiayhteydessä. Termi ‘robotti’ saattaa viitata siihen, että seuraava sana liittyy johonkin tiettyyn edistykseen tai tapahtumaan robotiikan alalla, kun taas ‘julkaisee’ saattaa osoittaa, että seuraava asiayhteys saattaa käydä läpi jonkin viimeaikaisen julkaisun tai artikkelin.

Huomio mekanismit Transformerissa on suunniteltu saavuttamaan tämä valikoiva fokus. Ne arvioivat eri osien syötetekstin tärkeyttä ja päättävät, mihin “katsoa”, kun generoidaan vastaus. Tämä on poikkeus vanhemmista arkkitehtuureista kuten RNN:stä, jotka yrittivät pakata kaiken syötetekstin olennaisuuden yhteen “tilaan” tai “muistiin”.

Huomion toimintaa voidaan verrata avain-arvo hakujärjestelmään. Yritettäessä ennustaa seuraavaa sanaa lauseessa, jokainen edeltävä sana tarjoaa “avaimen”, joka viittaa sen potentiaaliseen merkitykseen, ja sen perusteella, miten hyvin nämä avaimet vastaavat nykyistä asiayhteyttä (tai kysymystä), ne vaikuttavat “arvoon” tai painotukseen ennustuksessa.

Nämä edistyneet tekoälymallit ovat sulautuneet vaivattomasti moneen sovellukseen, Googleen hakukoneen parannuksiin BERT:n avulla ja GitHubin Copilotiin, joka hyödyntää suurten kielen mallien (LLM) kykyä muuttaa yksinkertaisia koodinpätkiä täysin toimiviksi lähdekoodiksi.

Suuret kielen mallit (LLM) kuten GPT-4, Bard ja LLaMA ovat valtavia rakenteita, jotka on suunniteltu tulkitsemaan ja generoimaan ihmisen kieltä, koodia ja enemmän. Niiden valtavan koko, joka vaihtelee miljardeista triljooniin parametreja, on yksi määräävistä piirteistä. Nämä LLM:t syötetään runsaasti tekstidataa, mikä mahdollistaa niiden ymmärtämisen ihmisen kielen monimuotoisuudesta. Yksi näiden mallien erottuva piirre on heidän kykynsä “vähäinen” oppimiseen. Toisin kuin perinteiset mallit, jotka tarvitsevat valtavat määrät tiettyä koulutusdataa, LLM:t voivat yleistää hyvin rajatusta määrästä esimerkkejä (tai “laukauksia”)

Suuren kielen mallien (LLM) tila vuoden 2023 puolivälissä

Miten LLM:t käytetään?

LLM:t voidaan käyttää monin tavoin, mukaan lukien:

1. Suora käyttö: Yksinkertaisesti käyttämällä valmiiksi koulutettua LLM:ää tekstin generoimiseen tai prosessointiin. Esimerkiksi käyttämällä GPT-4:ää blogin kirjoittamiseen ilman lisäkoulutusta.
2. Hienosäätö: Sovittamalla valmiiksi koulutettua LLM:ää tiettyyn tehtävään, menetelmä tunnetaan siirtymällä oppimisena. Esimerkki olisi T5:n mukauttaminen tiivistelmien generoimiseen tietyn alan asiakirjoissa.
3. Tietojen hakeminen: Käyttämällä LLM:ää, kuten BERT:iä tai GPT:ä, osana laajempaa arkkitehtuuria kehittääkseen järjestelmiä, jotka voivat noutaa ja luokitella tietoja.

Monipäinen huomio: Miksi yksi, kun voit käyttää useita?

Kuitenkin, luottaminen yhteen huomio mekanismiin voi olla rajoittavaa. Erilaiset sanat tai jaksot tekstin sisällä voivat olla erilaisia merkityksiä tai yhteyksiä. Tässä monipäinen huomio tulee kuvaan. Sen sijaan, että yksi joukko huomio painoja, monipäinen huomio käyttää useita joukkoja, mikä mahdollistaa mallille kaappaamaan rikkaamman monimuotoisuuden suhteita syötetekstin sisällä. Jokainen huomio “pää” voi keskittyä eri osiin tai tekstin osiin, ja niiden yhdistetty tieto käytetään lopulliseen ennustukseen.

ChatGPT: Suosituin generaattorinen tekoälytyökalu

Aloittaen GPT:n kehittämisestä vuonna 2018, malli rakennettiin 12 kerroksen, 12 huomio pään ja 120 miljoonan parametrin perustalle, pääasiassa koulutettu BookCorpus-tietokannasta. Tämä oli vaikuttava aloitus, tarjoten vilauksen tulevaisuuden kielen malleista.

GPT-2, joka esiteltiin vuonna 2019, tarjosi nelinkertaisen kasvun kerroksissa ja huomio päissä. Merkittävästi, sen parametrilaskuri nousi 1,5 miljardiin. Tämä parannettu versio sai koulutuksensa WebText-tietokannasta, joka oli rikastettu 40 GB:lla tekstiä eri Reddit-linkkejä.

GPT-3, joka julkaistiin toukokuussa 2020, tarjosi 96 kerrosta, 96 huomio päätä ja valtavan 175 miljardin parametrin. Se, mikä erotti GPT-3:n, oli sen monipuolinen koulutusdata, joka käsitti CommonCrawl, WebText, English Wikipedia, kirjastot ja muita lähteitä, yhteensä 570 GB.

ChatGPT:n toimintatapaa pidetään edelleen salassa. Kuitenkin, prosessi nimeltä “vahvistusoppiminen ihmisten palautteesta” (RLHF) on tunnettu. Alkuperäinen ChatGPT-projekti kehitti tämän tekniikan, joka oli olennainen GPT-3.5-mallin koulutuksessa sen mukauttamiseksi kirjoitettuihin ohjeisiin.

ChatGPT:n koulutus koostuu kolmivaiheisesta lähestymistavasta:

1. Valvottu hienosäätö: Käyttämällä ihmisten kirjoittamia keskustelusyötteitä ja ulostuloja mallin parantamiseen.
2. Palkkio malli: Ihmiset arvioivat mallin ulostuloja laadun perusteella, mikä auttaa kouluttamaan palkkio mallia, joka arvioi kunkin ulostulon asiayhteyden perusteella.
3. Vahvistusoppiminen: Keskustelun asiayhteys toimii taustana, jossa malli ehdottaa vastausta. Tämä vastaus arvioidaan palkkio mallilla, ja prosessi optimoidaan käyttämällä algoritmiä nimeltä proximal policy optimization (PPO).

Niille, jotka aloittavat ChatGPT:n, kattava aloitusopas löytyy täältä. Jos haluat syventyä ChatGPT:n ohjelmointiin, meillä on myös edistynyt opas, joka valaisee viimeisimmät ja tieteelliset ohjelmointitekniikat, saatavilla osoitteessa ‘ChatGPT & Edistynyt ohjelmointi: Ajamassa tekoälyn evoluutiota‘.

Diffuusio ja monimodaaliset mallit

Kun mallit kuten VAE:t ja GAN:t generoivat ulostulonsa yhden prosessin kautta, lukittuna siihen, mitä ne tuottavat, diffuusiomallit ovat esittäneet “iteratiivisen parantamisen” käsitteen. Tällä menetelmällä ne palautuvat, parantavat virheitä edellisistä vaiheista, ja tuottavat hitaasti tarkemman tuloksen.

Diffuusiomallien keskeinen osa on “turmelus” ja “parantaminen”. Koulutusvaiheessaan tyypillinen kuva turmellaan progressiivisesti lisäämällä eri tasoja melua. Tämä meluisa versio syötetään malliin, joka yrittää “puhdistaa” tai “korjata” sen. Monien kierrosten jälkeen mallioppiminen korjaamisesta, ymmärtäen sekä hienot että merkittävät poikkeamat.

Uuden kuvan generoiminen koulutuksen jälkeen on mielenkiintoinen. Aloittaen täysin satunnaisesta syötteestä, se parannetaan jatkuvasti mallin ennusteiden mukaan. Tavoitteena on saavuttaa täydellinen kuva vähimmän määrän askelten avulla. Melun tason hallitseminen tapahtuu “melu aikataulun” kautta, mekanismia, joka määrää, kuinka paljon melua sovelletaan eri vaiheissa. Aikataulun asettaminen, kuten kirjastojen kuten “diffusers” tapauksessa, määrää näiden meluisien versioiden luonteen etableroiduilla algoritmeilla.

Tärkeä arkkitehtoninen runko monille diffuusiomalleille on UNet – konvoluutio neuroverkko, joka on suunniteltu tehtäviin, jotka vaativat ulostulon, joka peilaa syötteen spatiaalisen ulottuvuuden. Se on yhdistelmä alennus- ja ylennyskerroksia, joiden välillä on tiivis yhteys, jotta voidaan säilyttää korkearesoluutioinen data, joka on olennainen kuvien tuottamiselle.
Tutustumme syvemmälle generaattorimallien maailmaan, OpenAI:n DALL-E 2 nousee esimerkiksi tekstuaalisen ja visuaalisen tekoälyn yhdistämisestä. Se käyttää kolmivaiheista rakennetta:

DALL-E 2 esittää kolmivaiheisen arkkitehtuurin:

1. Teksti koodari: Se muuttaa tekstipromptin konseptuaaliseksi upotukseksi latenttiavaruudessa. Tämä malli ei aloita tyhjästä. Se nojautuu OpenAI:n Contrastic Language-Image Pre-training (CLIP) tietokantaan perustanaan. CLIP toimii sillanrakentajana visuaalisen ja tekstuaalisen datan välillä oppimalla visuaalisia konsepteja luonnollisen kielen avulla. Kontrastiivisen oppimisen kautta se tunnistaa ja vastaa kuvia niiden vastaaviin tekstuaalisiin kuvausten kanssa.
2. Ensisijainen: Teksti upotus, joka saadaan koodarista, muunnetaan kuva upotukseksi. DALL-E 2 testasi sekä autoregressiivisiä että diffuusiomenetelmiä tähän tehtävään, jälkimmäinen osoitti parempia tuloksia. Autoregressiiviset mallit, kuten ne, jotka nähdään Transformerissa ja PixelCNN:ssa, generoivat ulostulon jonoissa. Toisaalta diffuusiomallit, kuten DALL-E 2:ssa käytetty, muuttavat satunnaisen melun ennustetuksi kuva upotukseksi tekstin upotuksen avulla.
3. Decooderi: Prosessin huipentuma, jossa lopullinen visuaalinen ulostulo generoidaan tekstipromptin ja kuva upotuksen perusteella edellisestä vaiheesta. DALL-E 2:n dekoooderin arkkitehtuuri perustuu toiseen malliin, GLIDE:een, joka voi myös tuottaa realistisia kuvia tekstipromptien avulla.

Python-käyttäjille, jotka ovat kiinnostuneita Langchainista, on saatavilla yksityiskohtainen opas, joka kattaa kaiken perusteista edistyneisiin tekniikoihin.

Generaattorisen tekoälyn sovellukset

Tekstuaaliset alueet

Aloittaen tekstistä, generaattorinen tekoäly on muuttunut perustavasti chatbottien kuten ChatGPT:n myötä. Riippuen vahvasti luonnollisen kielen prosessoinnista ja suurista kielen malleista, nämä entiteetit kykenevät suorittamaan tehtäviä koodin generoimisesta ja kielien käännöksestä tiivistelmien ja mielipiteen analyysin kautta. ChatGPT on saavuttanut laajan soveltamisen, tullakseen miljoonien käyttäjien perusvälineeksi. Tätä täydentävät keskustelu AI-alustat, jotka perustuvat suuriin kielen malleihin kuten GPT-4, PaLM ja BLOOM, jotka tuottavat vaivattomasti tekstiä, avustavat ohjelmoinnissa ja jopa tarjoavat matemaattista päättelyä.

Liike-elämän näkökulmasta nämä mallit tulevat olemaan arvokkaita. Yritykset käyttävät niitä moniin operaatioihin, kuten riskien hallintaan, varastojen optimointiin ja tarpeiden ennustamiseen. Joitakin merkittäviä esimerkkejä ovat Bing AI, Google BARD ja ChatGPT API.

Taide

Kuvien maailma on kokenut dramaattisia muutoksia generaattorisen tekoälyn myötä, erityisesti DALL-E 2:n julkaisun jälkeen vuonna 2022. Tämä teknologia, joka voi generoida kuvia tekstipromptien perusteella, on sekä taiteellista että ammattimaista merkitystä. Esimerkiksi midjourney on hyödyntänyt tätä teknologiaa tuottaakseen vaikuttavasti realistisia kuvia. Viimeaikainen postaus demystifies Midjourney yksityiskohtaisessa oppaassa, selittäen sekä alustan että sen ohjelmointi yksityiskohtia. Lisäksi alustat kuten Alpaca AI ja Photoroom AI käyttävät generaattorista tekoälyä edistyneisiin kuvankäsittelytoimintoihin, kuten taustan poistoon, objektien poistoon ja jopa kasvojen palauttamiseen.

Video tuotanto

Video tuotanto, vaikka edelleen alkuvaiheessaan generaattorisen tekoälyn alalla, osoittaa lupaavia edistysaskeleita. Alustat kuten Imagen Video, Meta Make A Video ja Runway Gen-2 työntävät mahdollisuuksien rajoja, vaikka täysin realistiset ulostulot ovat edelleen horisontissa. Nämä mallit tarjoavat merkittävää hyötyä digitaalisten ihmisten videoihin, sovelluksiin kuten Synthesia ja SuperCreator johtaa. Merkittävästi, Tavus AI tarjoaa ainutlaatuisen myyntivaltin, personalisoiden videot yksilöllisille katsojille, mikä on liiketoiminnalle eduksi.

Koodin luominen

Koodaus, olennainen osa digitaalista maailmaamme, ei ole jäänyt generaattorisen tekoälyn ulottumattomiin. Vaikka ChatGPT on suosittu työkalu, useita muita tekoälysovelluksia on kehitetty koodaukseen. Nämä alustat, kuten GitHub Copilot, Alphacode ja CodeComplete, toimivat koodausavustajina ja voivat jopa tuottaa koodia tekstipromptien perusteella. Mitä mielenkiintoista on, on näiden työkalujen sopeutumiskyky. Codex, joka ajaa GitHub Copilotia, voidaan räätälöidä yksilöllisen koodaustyylille, korostaa generaattorisen tekoälyn personalisointipotentialia.

Kun työkalut kuten ChatGPT tulevat helpommin saataville, nyt on täydellinen aika kokeilla ja kokea. Olit sitten taiteilija, koodari tai teknologiaintoilija, generaattorisen tekoälyn maailma on täynnä mahdollisuuksia, jotka odottavat tutkimista. Vallankumous ei ole horisontissa; se on täällä ja nyt. Joten, sukella sisään!