Se, tenk, forklar: Oppsvinget av visuell språkmodeller i AI

For omtrent et tiår siden var kunstig intelligens delt mellom bildegenkjenning og språkforståelse. Visuelle modeller kunne gjenkjenne objekter, men kunne ikke beskrive dem, og språkmodeller kunne generere tekst, men kunne ikke “se.” I dag forsvinner denne skillelinjen raskt. Visuell språkmodell (VLM) kombinerer nå visuelle og språklige ferdigheter, og lar dem tolke bilder og forklare dem på måter som føles nesten menneskelige. Det som gjør dem virkelig bemerkelsesverdige, er deres steg-for-steg resoneringprosess, kjent som Chain-of-Thought, som hjelper med å gjøre disse modellene til kraftfulle og praktiske verktøy over hele industrien, fra helsevesen til utdanning. I denne artikkelen vil vi utforske hvordan VLM fungerer, hvorfor deres resonering er viktig, og hvordan de transformerer fag fra medisin til selvkjørende biler.

Forståelse av visuell språkmodell

Visuell språkmodell, eller VLM, er en type kunstig intelligens som kan forstå både bilder og tekst samtidig. I motsetning til eldre AI-systemer som bare kunne håndtere tekst eller bilder, bringer VLM disse to ferdighetene sammen. Dette gjør dem usedvanlig fleksible. De kan se på et bilde og beskrive hva som skjer, svare på spørsmål om en video, eller til og med lage bilder basert på en skriftlig beskrivelse.

For eksempel, hvis du ber en VLM om å beskrive et bilde av en hund som løper i en park. En VLM sier ikke bare “Det er en hund.” Den kan fortelle deg “Hunden jakter på en ball nær et stort eiketre.” Den ser bildet og kobler det til ord på en måte som gir mening. Denne evnen til å kombinere visuell og språklig forståelse skaper alle mulige muligheter, fra å hjelpe deg med å søke etter bilder på nettet til å assistere i mer komplekse oppgaver som medisinsk avbildning.

Ved sin kerne fungerer VLM ved å kombinere to nøkkelkomponenter: et visuelt system som analyserer bilder og et språklig system som prosesserer tekst. Det visuelle delen fanger opp detaljer som former og farger, mens det språklige delen omgjør disse detaljene til setninger. VLM er trent på massive datamengder som inneholder milliarder av bilde-tekst-par, og gir dem omfattende erfaring for å utvikle en sterk forståelse og høy nøyaktighet.

Hva Chain-of-Thought resonering betyr i VLM

Chain-of-Thought resonering, eller CoT, er en måte å få AI til å tenke steg for steg, mye som hvordan vi takler et problem ved å bryte det ned. I VLM betyr det at AI-en ikke bare gir et svar når du spør den noe om et bilde, men den forklarer også hvordan den kom frem til svaret, og forklarer hver logisk steg langs veien.

La oss si du viser en VLM et bilde av en fødselsdagskake med lys og spør “Hvor gammel er personen?” Uten CoT kunne den bare gjettet et tall. Med CoT tenker den det igjennom: “Okay, jeg ser en kake med lys. Lys viser vanligvis alderen. La oss telle dem, det er 10. Så personen er sannsynligvis 10 år gammel.” Du kan følge resoneringen mens den utvikler seg, noe som gjør svaret mye mer troverdig.

På samme måte, når du viser en VLM et trafikkbilde og spør “Er det trygt å kryssе?” VLM kan resonnere: “Fotgjengerlyset er rødt, så du bør ikke kryssе det. Det er også en bil som svinger i nærheten, og den er i bevegelse, ikke stanset. Det betyr at det ikke er trygt akkurat nå.” Ved å gå igjennom disse stegene, viser AI-en deg nøyaktig hva den legger merke til i bildet og hvorfor den bestemmer seg for hva den gjør.

Hvorfor Chain-of-Thought er viktig i VLM

Integrasjonen av CoT-resonering i VLM bringer flere nøkkel fordeler.

Først og fremst gjør det AI-en lettere å stole på. Når den forklarer sine steg, får du en tydelig forståelse av hvordan den kom frem til svaret. Dette er viktig i områder som helsevesenet. For eksempel, når du ser på en MR-bilde, kan en VLM si: “Jeg ser en skygge på venstre side av hjernen. Denne regionen styrer tale, og pasienten har problemer med å snakke, så det kan være en svulst.” En lege kan følge denne logikken og føle seg trygg på AI-ens innputt.

For det andre hjelper det AI-en med å takle komplekse problemer. Ved å bryte ting ned, kan den håndtere spørsmål som trenger mer enn et raskt blikk. For eksempel, å telle lys er enkelt, men å avgjøre tryggheten på en travel gate krever flere steg, inkludert å sjekke lys, å spore biler, å vurdere hastighet. CoT muliggjør at AI-en kan håndtere denne kompleksiteten ved å dele den inn i flere steg.

Til slutt gjør det AI-en mer tilpasningsdyktig. Når den resonnere steg for steg, kan den bruke hva den vet til nye situasjoner. Hvis den aldri har sett en bestemt type kake før, kan den likevel finne ut av lys-alder-forbindelsen fordi den tenker det igjennom, ikke bare basert på memoriserte mønster.

Hvordan Chain-of-Thought og VLM gjendefinere industrier

Kombinasjonen av CoT og VLM har en betydelig innvirkning på ulike fag:

• Helsevesen: I medisin bruker VLM som Google’s Med-PaLM 2 CoT til å bryte ned komplekse medisinske spørsmål i mindre diagnostiske steg. For eksempel, når du gir en røntgenbilde av brystet og symptomer som hoste og hodepine, kan AI-en tenke: “Disse symptomene kunne være en forkjølelse, allergi eller noe verre. Ingen svulne lymfeknuter, så det er ikke sannsynlig en alvorlig infeksjon. Lungene ser klare ut, så det er sannsynligvis ikke lungebetennelse. En vanlig forkjølelse passer best.” Den går igjennom alternativene og lander på et svar, og gir leger en tydelig forklaring å arbeide med.
• Selvkjørende biler: For autonome kjøretøy forbedrer CoT-forbedrede VLM sikkerhet og beslutningstaking. For eksempel, en selvkjørende bil kan analysere et trafikkbilde steg for steg: sjekke fotgjengerlys, identifisere bevegelige kjøretøy og bestemme om det er trygt å fortsette. Systemer som Wayve’s LINGO-1 genererer naturlig språklig kommentar for å forklare handlinger som å bremsе for en syklist. Dette hjelper ingeniører og passasjerer med å forstå kjøretøyets resoneringprosess. Stegvis logikk muliggjør også bedre håndtering av uvanlige veiforhold ved å kombinere visuelle innputt med kontekstuell kunnskap.
• Geografisk analyse: Google’s Gemini-modell anvender CoT-resonering på geografiske data som kart og satellittbilder. For eksempel, kan den vurdere skade etter en orkan ved å integrere satellittbilder, værprognoser og demografiske data, og deretter generere tydelige visualiseringer og svar på komplekse spørsmål. Denne evnen akselerer katastroferespons ved å gi beslutningstakere nøkkelinnsikt uten å kreve teknisk ekspertise.
• Robotikk: I robotikk muliggjør integrasjonen av CoT og VLM at roboter bedre kan planlegge og utføre fler-stegs oppgaver. For eksempel, når en robot får i oppdrag å plukke opp et objekt, tillater CoT-aktivert VLM den å identifisere koppen, bestemme de beste grepunktene, planlegge en kollisjonsfri bane og utføre bevegelsen, samtidig som den “forklarer” hvert steg av prosessen. Prosjekter som RT-2 demonstrerer hvordan CoT muliggjør at roboter bedre kan tilpasse seg nye oppgaver og respondere på komplekse kommandoer med tydelig resonering.
• Utdanning: I læring bruker AI-tutorene som Khanmigo CoT til å undervise bedre. For et matematisk problem kan den guide en student: “Først, skriv ned ligningen. Deretter, få variabelen alene ved å trekke 5 fra begge sider. Nå, del på 2.” I stedet for å gi svaret, går den igjennom prosessen, og hjelper studentene med å forstå konseptene steg for steg.

Bunnen av saken

Visuell språkmodell (VLM) muliggjør at AI tolker og forklarer visuelle data ved hjelp av menneske-lignende, steg-for-steg resonering gjennom Chain-of-Thought (CoT)-prosesser. Denne tilnærmingen øker tillit, tilpasningsdyktighet og problemløsning over hele industrien, fra helsevesen til selvkjørende biler, geografisk analyse, robotikk og utdanning. Ved å transformere hvordan AI takler komplekse oppgaver og støtter beslutningstaking, setter VLM en ny standard for pålitelig og praktisk intelligent teknologi.