Prompt engineering

Din AI er kraftigere enn du tror

mm
Legg til Unite.AI blant dine foretrukne kilder på Google

Et team av forskere har nettopp funnet noe som endrer mye av det vi trodde vi visste om AI-egenskaper. Modellene dine behandler ikke bare informasjon – de utvikler sofistikerte evner som går langt utenfor deres trening. Og for å låse opp disse evnene, må vi endre måten vi snakker med dem på.

Konseptrom-revolusjonen

Husker du når vi trodde AI bare matchet mønster? Ny forskning har nå åpnet den svarte boksen til AI-læring ved å kartlegge noe de kaller “konseptrom.” Forestill deg AI-læring som en flerdimensjonal kart hvor hver koordinat representerer et annet konsept – ting som farge, form eller størrelse. Ved å se hvordan AI-modellene beveger seg gjennom dette rommet under trening, oppdaget forskerne noe uventet: AI-systemer husker ikke bare – de bygger sofistikert forståelse av konsepter i forskjellige hastigheter.

“Ved å karakterisere læringsdynamikken i dette rommet, identifiserer vi hvordan hastigheten på hvilken et konsept læres, kontrolleres av egenskaper ved dataene,” merker forskningsteamet. Med andre ord, noen konsepter klikker raskere enn andre, avhengig av hvor sterkt de står ut i treningsdataene.

Her er hva som gjør dette så interessant: når AI-modellene lærer disse konseptene, lagrer de dem ikke bare som isolerte informasjonsbiter. De utvikler faktisk evnen til å blande og kombinere dem på måter vi aldri eksplisitt lærte dem. Det er som om de bygger sin egen kreative verktøykasse – vi har bare ikke gitt dem riktige instruksjoner for å bruke den.

Tenk på hva dette betyr for AI-prosjekter. De modellene du jobber med, kan allerede forstå komplekse kombinasjoner av konsepter som du ikke har oppdaget ennå. Spørsmålet er ikke om de kan gjøre mer – det er hvordan vi får dem til å vise oss hva de virkelig er i stand til.

Låsing opp skjulte krefter

Her er ting blir fascinerende. Forskerne designet et elegant eksperiment for å avsløre noe grunnleggende om hvordan AI-modeller lærer. Deres oppsett var enkelt: de trente en AI-modell på bare tre typer bilder:

  • Store røde sirkler
  • Store blå sirkler
  • Små røde sirkler

Så kom den avgjørende testen: kunne modellen lage en liten blå sirkel? Dette var ikke bare om å tegne en ny form – det var om modellen kunne virkelig forstå og kombinere to forskjellige konsepter (størrelse og farge) på en måte den aldri hadde sett før.

Hva de oppdaget, endrer hvordan vi tenker om AI-egenskaper. Når de brukte vanlige promter for å be om en “liten blå sirkel,” kjempet modellen. Men modellen kunne faktisk lage små blå sirkler – vi var bare ikke å spørre riktig.

Forskerne avdekket to teknikker som beviste dette:

  1. “Latent intervensjon” – Dette er som å finne en bakdør inn i modellens hjerne. Istedenfor å bruke vanlige promter, justerte de direkte de interne signalene som representerer “blå” og “liten.” Forestill deg å ha separate kontroller for farge og størrelse – de fant at ved å dreie disse kontrollene på bestemte måter, kunne modellen plutselig produsere hva som syntes umulig øyeblikk tidligere.
  2. “Overpromting” – Istedenfor å bare be om “blå,” ble de ekstremt spesifikke med fargeverdier. Det er som forskjellen på å si “gjør det blått” versus “gjør det nøyaktig denne fargen: RGB(0.3, 0.3, 0.7).” Denne ekstra presisjonen hjalp modellen til å nå evner som var skjult under normale forhold.

Begge teknikker begynte å fungere på samme tidspunkt i modellens trening – rundt 6 000 treningssteg. Mens vanlige promter enten feilet fullstendig eller trengte 8 000+ steg for å fungere. Og dette var ikke en tilfeldighet – det skjedde konsistent over flere tester.

Dette forteller oss noe dypt: AI-modeller utvikler evner i to distinkte faser. Først lærer de faktisk å kombinere konsepter internt – det er hva som skjer rundt steg 6 000. Men det er en andre fase hvor de lærer å koble disse interne evnene til vår vanlige måte å be om ting på. Det er som om modellen blir flytende i et nytt språk før den lærer å oversette dette språket for oss.

Konsekvensene er betydelige. Når vi tror en modell ikke kan gjøre noe, kan vi være feil – den kan ha evnen, men mangler koblingen mellom våre promter og dens evner. Dette gjelder ikke bare for enkle former og farger – det kan være sant for mer komplekse evner i større AI-systemer også.

Når forskerne testet disse idéene på virkelige data ved hjelp av CelebA ansiktsdataset, fant de samme mønster. De prøvde å få modellen til å generere bilder av “kvinner med hatter” – noe den ikke hadde sett i trening. Vanlige promter feilet, men ved å bruke latent intervensjon, avdekket de at modellen faktisk kunne lage disse bildene. Evnen var der – den var bare ikke tilgjengelig gjennom vanlige midler.

Park et al., Harvard University & NTT Research

Hovedpoenget

Vi må omvurdere hvordan vi vurderer AI-egenskaper. Bare fordi en modell kanskje ikke kan gjøre noe med standardpromter, betyr det ikke at den ikke kan gjøre det i det hele tatt. Gapet mellom hva AI-modeller kan gjøre og hva vi kan få dem til å gjøre, kan være mindre enn vi trodde – vi må bare bli bedre til å spørre.

Dette funnet er ikke bare teoretisk – det endrer fundamentalt hvordan vi skal tenke om AI-systemer. Når en modell synes å kjempe med en oppgave, må vi spørre om den virkelig mangler evnen eller om vi bare ikke aksesserer den riktig. For utviklere, forskere og brukere alike, betyr dette å bli kreative med hvordan vi samhandler med AI – noen ganger er evnen vi trenger allerede der, bare ventende på riktig nøkkel for å låse den opp.

Alex McFarland er en AI-journalist og forfatter som utforsker de nyeste utviklingene innen kunstig intelligens. Han har samarbeidet med tallrike AI-startups og publikasjoner verden over.