AGI og fremtidens AI
Den evoluerende landskapet av generativ AI: En undersøkelse av Mixture of Experts, multimodalitet og jakten på AGI
Legg til Unite.AI blant dine foretrukne kilder på Google
Feltet kunstig intelligens (AI) har sett en enorm vekst i 2023. Generativ AI, som fokuserer på å lage realistisk innhold som bilder, lyd, video og tekst, har vært i forkant av disse fremgangene. Modeller som DALL-E 3, Stable Diffusion og ChatGPT har demonstrert nye kreative muligheter, men også vekket bekymring rundt etikk, fordommer og misbruk.
Ettersom generativ AI fortsetter å utvikle seg i rask takt, ser det ut til at blanding av eksperter (MoE), multimodal læring og aspirasjoner mot kunstig generell intelligens (AGI) vil forme de neste grensene for forskning og anvendelser. Denne artikkelen vil gi en omfattende oversikt over den nåværende tilstanden og fremtidige retningen for generativ AI, og analysere hvordan innovasjoner som Google’s Gemini og forventede prosjekter som OpenAI’s Q* transformerer landskapet. Den vil undersøke de virkelige implikasjonene over hele helsetjenesten, finans, utdanning og andre domener, samtidig som den fremhever nye utfordringer rundt forskningskvalitet og AI-tilpasning med menneskelige verdier.
Utgvien av ChatGPT i slutten av 2022 spesielt vekket fornyet begeistring og bekymring rundt AI, fra dens imponerende naturlige språkdyktighet til dens potensiale for å spre misinformasjon. Mens Google’s nye Gemini-modell demonstrerer vesentlig forbedret konversasjonsdyktighet over forgjengerne som LaMDA gjennom fremgang som spike-and-slab-oppmerksomhet. Ryktede prosjekter som OpenAI’s Q* antyder å kombinere konversasjons-AI med forsterkingslæring.
Disse innovasjonene signaliserer en skiftende prioritet mot multimodale, fleksible generative modeller. Konkurranser fortsatt å øke mellom selskaper som Google, Meta, Anthropic og Cohere som kjemper for å drive grensene for ansvarlig AI-utvikling.
Den evolusjonen av AI-forskning
Ettersom evnene har vokst, har forskningstrender og prioriteringer også skiftet, ofte sammenfallende med tekniske milepæler. Oppblomstringen av dyp læring gjenskapte interessen for neurale nettverk, mens naturlig språkbehandling økte med ChatGPT-nivåmodeller. Samtidig var oppmerksomheten på etikk en konstant prioritet midt i rask fremgang.
Forhåndsbiblioteker som arXiv har også sett eksponentiell vekst i AI-innsendelser, muliggjør raskere spredning, men reduserte peer-gjennomgang og økt risiko for ukontrollerte feil eller fordommer. Spillet mellom forskning og virkelige virkninger er komplekst, og nødvendiggjør mer koordinerte innsats for å styre fremgang.
MoE og multimodale systemer – Den neste bølgen av generativ AI
For å muliggjøre mer fleksible og sofistikerte AI over diverse anvendelser, er to tilnærminger som vinner frem: blanding av eksperter (MoE) og multimodal læring.
MoE-arkitekturer kombinerer flere spesialiserte neurale nettverk “eksperter” optimalisert for forskjellige oppgaver eller datatyper. Google’s Gemini bruker MoE for å mestre både lange konversasjoner og konsise spørsmålssvar. MoE muliggjør håndtering av en bredere rekke inndata uten å øke modellstørrelsen.
Multimodale systemer som Google’s Gemini setter nye standarder ved å prosessere varierende modaliteter utover bare tekst. Men å realisere potensialet for multimodal AI nødvendiggjør overvinnelse av nøkkeltekniske hindringer og etiske utfordringer.
Gemini: Omdefinere standarder i multimodalitet
Gemini er en multimodal konversasjons-AI, arkitektet for å forstå sammenhenger mellom tekst, bilder, lyd og video. Dens doble encoder-struktur, kryss-modal oppmerksomhet og multimodal avkoding muliggjør sofistikert kontekstforståelse. Gemini antas å overgå enkelt-encoder-systemer i å assosiere tekstbegreper med visuelle regioner. Ved å integrere strukturert kunnskap og spesialisert trening, overgår Gemini forgjengerne som GPT-3 og GPT-4 i:
- Bredde av modaliteter håndtert, inkludert lyd og video
- Ytelse på standarder som massiv multitask språkforståelse
- Kodegenerering over programmeringsspråk
- Skalbarhet via tilpassede versjoner som Gemini Ultra og Nano
- Gjennomsiktighet gjennom begrunnelser for utdata
Tekniske hindringer i multimodale systemer
Å realisere robust multimodal AI krever løsning av problemer med data-mangfold, skalbarhet, evaluering og tolkbarhet. Ubalanserte datasett og annoteringsinkonsistenser fører til fordommer. Prosessering av flere datastrømmer belaster beregningsressursene, og krever optimaliserte modellarkitekturer. Fremgang i oppmerksomhetsmekanismer og algoritmer er nødvendig for å integrere motstridende multimodale inndata. Skalbarhetsproblemer består på grunn av omfattende beregningsoverhod. Forbedring av evalueringsmål gjennom omfattende standarder er avgjørende. Forbedring av brukertillit gjennom forklarbar AI er også viktig. Å løse disse tekniske hindringene vil være nøkkel til å låse opp multimodal AI’s muligheter.
Avanserte læringsteknikker som selv-veiledet læring, meta-læring og finjustering er i forkant av AI-forskning, og forbedrer autonomi, effisiens og fleksibilitet i AI-modeller.
Selv-veiledet læring: Autonomi i modelltrening
Selv-veiledet læring betoner autonom modelltrening ved å bruke umerket data, og reduserer dermed manuell merking og modell-fordommer. Den inkorporerer generative modeller som auto-encodere og GAN-er for datadistribusjonslæring og inndata-rekonstruksjon, og bruker kontrastive metoder som SimCLR og MoCo for å differensiere mellom positive og negative eksempel-par. Selv-prediksjonsstrategier, inspirert av NLP og forbedret av nylige Vision Transformers, spiller en betydelig rolle i selv-veiledet læring, og viser potensialet for å fremme AI’s autonome treningsevner.
Meta-læring
Meta-læring, eller ‘læring til å lære’, fokuserer på å utstyre AI-modeller med evnen til å raskt tilpasse seg nye oppgaver ved å bruke begrensede datamengder. Denne teknikken er kritisk i situasjoner med begrenset datatilgjengelighet, og sikrer at modellene kan raskt tilpasse seg og fungere over diverse oppgaver. Den betoner få-skudds-generalisering, og muliggjør at AI kan håndtere en bred rekke oppgaver med minimalt data, og understreker dens betydning i å utvikle fleksible og tilpasningsdyktige AI-systemer.
Finjustering: Tilpasse AI til spesifikke behov
Finjustering innebærer å tilpasse forhåndstrede modeller til spesifikke domener eller brukerpreferanser. Denne teknikken sikrer at generative modeller er effektivt tilpasset spesifikke brukerbehov eller domene-krav, og forbedrer deres anvendelighet over diverse kontekster.
Menneskelig verdialignering: Harmonisere AI med etikk
Menneskelig verdialignering konsentrerer seg om å harmonisere AI-modeller med menneskelige etiske verdier, og sikrer at deres beslutninger speiler samfunnets normer og etiske standarder. Dette aspektet er avgjørende i situasjoner hvor AI samhandler nært med mennesker, som i helsetjenesten og personlige assistenter, for å sikre at AI-systemer tar beslutninger som er etisk og samfunnsmessig ansvarlige.
AGI-utvikling
AGI fokuserer på å utvikle AI med evnen til helhetlig forståelse og kompleks resonnering, og tilpasse seg menneskelige kognitive evner. Dette langvarige aspirasjonen kontinuerlig driver grensene for AI-forskning og utvikling. AGI-sikkerhet og -innkapsling adresserer de potensielle risikoene forbundet med avansert AI, og understreker behovet for strenge sikkerhetsprotokoller og etisk tilpasning med menneskelige verdier og samfunnets normer.
Den innovative MoE
Mixture of Experts (MoE)-modellarkitekturen representerer en betydelig fremgang i transformer-baserte språkmodeller, og tilbyr enestående skalerbarhet og effisiens. MoE-modeller, som Switch Transformer og Mixtral, er raskt på vei til å gjendefinere modellskala og ytelse over diverse språkoppgaver.
Kjernekonsept
MoE-modeller bruker en sparsitetsdrevet arkitektur med flere ekspertnettverk og en treningbar porteringsmekanisme, og optimaliserer beregningsressursene og tilpasning til oppgavekompleksitet. De demonstrerer betydelige fordeler i forhåndstreningshastighet, men møter utfordringer i finjustering og krever betydelig minne for inferens.
MoE-modeller er kjent for sin overlegne forhåndstreningshastighet, med innovasjoner som DeepSpeed-MoE som optimaliserer inferens for å oppnå bedre latens og kostnadseffisiens. Nylige fremgang har effektivt tatt hånd om all-til-all-kommunikasjonsbottlenecks, og forbedret trening- og inferenseffisiens.
Bygging blokkene for kunstig generell intelligens
AGI representerer den hypotetiske muligheten for AI å matche eller overgå menneskelig intelligens over hele domenet. Mens moderne AI utmerker seg i smale oppgaver, er AGI fortsatt langt unna og omstridt på grunn av dens potensielle risiko.
Likevel, inkrementelle fremgang i områder som overføringslæring, multitask-trening, konversasjonsdyktighet og abstraksjon bringer oss nærmere AGI’s høye visjon. OpenAI’s spekulative Q*-prosjekt har som mål å integrere forsterkingslæring i LLM-er som et skritt fremover.
Etiske grenser og risikoer ved å manipulere AI-modeller
Jailbreaks tillater angripere å omgå de etiske grensene satt under AI’s finjusteringsprosess. Dette resulterer i generering av skadelig innhold som misinformasjon, hat-ytelse, phishing-e-post og skadelig kode, og utgjør en risiko for enkeltpersoner, organisasjoner og samfunnet som helhet. For eksempel kunne en jailbreaket modell produsere innhold som fremmer splittende narrativer eller støtter cyberkriminelle aktiviteter. (Lær mer)
Selv om det ikke har vært noen rapporterte cyberangrep som bruker jailbreaking ennå, er flere proof-of-concept-jailbreaks lett tilgjengelige på nettet og til salgs på det mørke nettet. Disse verktøyene tilbyr prompts designet for å manipulere AI-modeller som ChatGPT, og kunne potensielt muliggjøre hackere å lekke sensitive informasjon gjennom bedrifts-chatboter. Spredningen av disse verktøyene på plattformer som cyberkriminalitetsforum understreker urgensen av å håndtere denne trusselen. (Les mer)
Mitigering av jailbreak-risikoer
For å motvirke disse truslene, er en flerfoldig tilnærming nødvendig:
- Robust finjustering: Inkludering av divers data i finjusteringsprosessen forbedrer modellens motstand mot adversativ manipulering.
- Adversativ trening: Trening med adversative eksempler forbedrer modellens evne til å gjenkjenne og motstå manipulerte inndata.
- Jevnlig evaluering: Kontinuerlig overvåking av utdata hjelper å oppdage avvik fra etiske retningslinjer.
- Menneskelig tilsyn: Inkludering av menneskelige vurderere legger til en ekstra sikkerhetslag.
AI-drevne trusler: Hallusinasjons-eksploitering
AI-hallusinasjon, hvor modeller genererer utdata som ikke er grunnlagt i deres treningdata, kan være våpenisert. For eksempel manipulerte angripere ChatGPT til å anbefale ikke-eksisterende pakker, og ledet til spredning av skadelig programvare. Dette understreker behovet for kontinuerlig vigilans og robuste mottiltak mot slike eksploitasjoner. (Utforsk videre)
Ettersom etikken rundt å drive AGI fremdeles er omstridt, fortsetter dens aspirasjonelle forfølgelse å påvirke generativ AI-forskningsretninger – uansett om nåværende modeller ligner stegsten eller avveier på vei mot menneskelig AI-nivå.
