Hva er syns- og språkmodeller (VLM-er)? Slik kobler KI sammen bilder og ord

Syns- og språkmodeller kobler visuelle kjennetegn til språk, slik at et system kan beskrive, sammenligne og finne bilder eller resonnere om dem ved hjelp av ord.

Syns- og språkmodeller fortjener en presis forklaring, fordi navnet viser til en bestemt informasjonsflyt, et bestemt valg av treningsmetode, en mekanisme under kjøring eller en styringsgrense. Hvis man behandler begrepet som et synonym for «avansert KI», blir påstandene umulige å teste. Denne veiledningen følger konseptet fra inndataene og forutsetningene til det observerbare resultatet, og undersøker deretter den snarveien det er lettest å forveksle med det.

Syns- og språkmodeller: definisjon, avgrensning og formål

Syns- og språkmodeller kobler visuelle kjennetegn til språk, slik at et system kan beskrive, sammenligne og finne bilder eller resonnere om dem ved hjelp av ord. Definisjonen innebærer tre praktiske forpliktelser: Det finnes en identifiserbar inndata, en transformasjon eller beslutning som kjennetegner syns- og språkmodeller, og et resultat som kan vurderes opp mot et oppgitt mål. Hvis ett av disse elementene mangler, kan betegnelsen beskrive en ambisjon snarere enn en implementert mekanisme.

Multimodale systemer må samordne signaler med ulik oppløsning, timing, støy og tvetydighet. Et ord kan vise til et lite område i et bilde, og en lydhendelse kan inntreffe før videorammen som forklarer den. For syns- og språkmodeller er dette systemperspektivet viktig, fordi ytelsen kan avhenge av omkringliggende data, grensesnitt, maskinvare, tillatelser og mennesker, selv når selve modellen er uendret. En nyttig forklaring skiller derfor mellom modellens innlærte atferd og produktet som avgjør når, hvor og med hvilken myndighet denne atferden brukes.

Den nærmeste misvisende snarveien er datasyn som forutsier en fast etikett uten fri språkbruk. Det kan ha et synlig fellestrekk med syns- og språkmodeller, men det endrer årsakssammenhengen: Andre bevis vil vise om løsningen lykkes, andre ressurser vil stå for de største kostnadene, og andre kontroller vil forebygge skade. Grensen er dermed operasjonell, ikke terminologisk.

En driftsmodell i fem trinn for syns- og språkmodeller

Diagrammet er et komprimert årsakskart for syns- og språkmodeller, ikke en påstand om at alle implementasjoner består av fem programvarekomponenter. Noen systemer slår sammen trinn, mens andre gjentar dem i en løkke. Kartet er likevel nyttig fordi det krever at hver endring i informasjon eller myndighet har en ansvarlig, en inndata, en utdata og en test.

1. Del opp eller kod bildet til visuelle tokener: inndata og forutsetninger i syns- og språkmodeller

På dette stadiet i syns- og språkmodeller må systemet dele opp eller kode bildet til visuelle tokener. Det nyttige spørsmålet er ikke bare om operasjonen finner sted, men hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En kontrollør bør kunne skille operasjonen fra datasyn som forutsier en fast etikett uten fri språkbruk, og gjenskape resultatet under de samme oppgitte forholdene.

Overleveringen til dette stadiet i syns- og språkmodeller begynner med det oppgitte målet og bør ende med et resultat som kan bidra til å kode den tilhørende teksten. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvaremessig kontroll ved grensen. Dette sporet gjør det mulig for team å oppdage om flytende beskrivelser kan navngi objekter eller relasjoner som faktisk ikke er synlige, før den samme svakheten påvirker et resultat med betydelige konsekvenser.

2. Kod den tilhørende teksten: representasjon eller beslutning i syns- og språkmodeller

På dette stadiet i syns- og språkmodeller må systemet kode den tilhørende teksten. Det nyttige spørsmålet er ikke bare om operasjonen finner sted, men hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En kontrollør bør kunne skille operasjonen fra datasyn som forutsier en fast etikett uten fri språkbruk, og gjenskape resultatet under de samme oppgitte forholdene.

Overgangen til dette trinnet i visjons- og språkmodeller begynner med å dele opp eller kode bildet til visuelle tokener, og bør ende med et resultat som kan legge til rette for å koble sammen begge representasjonene. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyring ved grenseflaten. Det er i dette sporet teamene kan oppdage om flytende beskrivelser kan navngi objekter eller relasjoner som faktisk ikke er synlige, før den samme svakheten får betydning for et resultat med store konsekvenser.

3. Koble sammen begge representasjonene: den særpregede transformasjonen i visjons- og språkmodeller

På dette trinnet i visjons- og språkmodeller må systemet koble sammen begge representasjonene. Det nyttige spørsmålet er ikke bare om operasjonen utføres, men også hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En fagperson som vurderer systemet, bør kunne skille operasjonen fra datasyn som predikerer en fast etikett uten åpen språkbruk, og gjenskape resultatet under de samme oppgitte betingelsene.

Overgangen til dette trinnet i visjons- og språkmodeller begynner med å kode den tilhørende teksten, og bør ende med et resultat som kan legge til rette for å rette oppmerksomheten mot regioner og fraser. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyring ved grenseflaten. Det er i dette sporet teamene kan oppdage om flytende beskrivelser kan navngi objekter eller relasjoner som faktisk ikke er synlige, før den samme svakheten får betydning for et resultat med store konsekvenser.

4. Rett oppmerksomheten mot regioner og fraser: avgrensning og verifikasjonsgrense i visjons- og språkmodeller

På dette trinnet i visjons- og språkmodeller må systemet rette oppmerksomheten mot regioner og fraser. Det nyttige spørsmålet er ikke bare om operasjonen utføres, men også hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En fagperson som vurderer systemet, bør kunne skille operasjonen fra datasyn som predikerer en fast etikett uten åpen språkbruk, og gjenskape resultatet under de samme oppgitte betingelsene.

Overgangen til dette trinnet i visjons- og språkmodeller begynner med å koble sammen begge representasjonene, og bør ende med et resultat som kan legge til rette for å avkode et forankret svar eller en forankret handling. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyring ved grenseflaten. Det er i dette sporet teamene kan oppdage om flytende beskrivelser kan navngi objekter eller relasjoner som faktisk ikke er synlige, før den samme svakheten får betydning for et resultat med store konsekvenser.

5. Avkod et forankret svar eller en forankret handling: utdata, tilbakemelding og stoppregel i visjons- og språkmodeller

På dette trinnet i visjons- og språkmodeller må systemet avkode et forankret svar eller en forankret handling. Det nyttige spørsmålet er ikke bare om operasjonen utføres, men også hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En fagperson som vurderer systemet, bør kunne skille operasjonen fra datasyn som predikerer en fast etikett uten åpen språkbruk, og gjenskape resultatet under de samme oppgitte betingelsene.

Overgangen til dette trinnet i visjons- og språkmodeller begynner med å rette oppmerksomheten mot regioner og fraser, og bør ende med et resultat som kan legge til rette for overvåking eller en endelig beslutning. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyring ved grenseflaten. Det er i dette sporet teamene kan oppdage om flytende beskrivelser kan navngi objekter eller relasjoner som faktisk ikke er synlige, før den samme svakheten får betydning for et resultat med store konsekvenser.

Les kartet over visjons- og språkmodeller fremover for å forstå produksjonen, og bakover for å diagnostisere feil. En fremoverrettet analyse spør hvordan ett trinn gir grunnlag for det neste. En bakoverrettet analyse tar utgangspunkt i et feilaktig, langsomt, kostbart eller utrygt resultat og sporer hvilken tidligere antakelse som gjorde det mulig. Det er ofte når teamet følger den omvendte veien, at det oppdager at den avgjørende feilen oppsto før modellen produserte noe som helst.

Et gjennomarbeidet eksempel på visjons- og språkmodeller

En VLM kan undersøke et skjermbilde av et dashbord og forklare hvilket diagram som underbygger en skriftlig påstand.

Dette eksemplet er opplysende fordi visjons- og språkmodeller kan knyttes til observerbare inndata, mellomliggende tilstander og et resultat, i stedet for å bli vurdert ut fra en polert demonstrasjon. En grundig test bør omfatte vanlige, vanskelige og bevisst villedende tilfeller innenfor dette scenarioet, bevare en referanse uten teknikken og registrere både gjennomsnittlig ytelse og alvorlighetsgraden av enkeltfeil.

Endre én antakelse i eksemplet med visjons- og språkmodeller, og gjenta analysen. Fjern en nødvendig inndata, innfør et motstridende signal, begrens datakraften, endre brukergruppen eller tving systemet til å avstå fra å svare. En mekanisme som bare lykkes i én nøye tilrettelagt demonstrasjon, har ikke vist at den fungerer i driftsmiljøet.

Visjons- og språkmodeller kontra den vanligste snarveien

Visjons- og språkmodeller reduseres ofte til datasyn som predikerer en fast etikett uten åpen språkbruk. En slik reduksjon fjerner selve grenseflaten som definerer konseptet. Det kan føre til at kjøpere sammenligner produkter som ikke er sammenlignbare, at forskere overdriver hva et eksperiment viser, og at operatører overvåker feil signal etter utrulling.

Sammenligningen bør også identifisere analyseenheten. En artikkel om syns- og språkmodeller kan undersøke en modell eller algoritme isolert, mens en utrullet tjeneste i tillegg omfatter informasjonsinnhenting, ruting, hurtigbufring, retningslinjer, identitet, brukergrensesnitt og overvåking. To produkter kan bruke det samme overordnede begrepet, men implementere ulike deler av denne stakken. Spør hvilken komponent som utfører den definerende transformasjonen, og hvilke andre komponenter som er nødvendige for det rapporterte resultatet.

Hvorfor syns- og språkmodeller er viktige i dagens KI-systemer

Syns- og språkmodeller er viktige nå fordi KI-systemer får større kontekster, flere modaliteter, mer datakraft under kjøring, bredere tilgang til verktøy og tettere koblinger til organisatoriske beslutninger. Under slike forhold kan det som tidligere virket som en detalj fra forskningen, få betydning for ventetid, sikkerhet, tilgjengelighet, miljøkostnader, produktkvalitet eller juridisk ansvar.

Det relevante målet er ikke om syns- og språkmodeller kan levere ett imponerende resultat. Spørsmålet er om metoden forbedrer et viktig resultat under representative forhold, og om den gjør det mer effektivt enn en enklere grunnlinje. Rapporter fordelinger, feilkategorier, ventetid i ytterkantene av fordelingen, ressursbruk og berørte undergrupper i stedet for å slå sammen alle resultatene til ett gjennomsnitt.

Evalueringen bør isolere hver modalitet, teste motstridende inndata og kontrollere at forankringen i tid eller rom er korrekt. Et flytende svar på tvers av modaliteter er ikke bevis på at modellen la vekt på riktig signal. Når denne framgangsmåten brukes spesifikt på syns- og språkmodeller, blir dokumentasjonen overførbar: Et annet team kan vurdere om den påståtte forbedringen sannsynligvis vil holde seg med en annen modell, et annet språk, en annen maskinvareplattform, et annet datasett, en annen brukergruppe eller en annen risikotoleranse.

Fordeler syns- og språkmodeller kan gi

Den viktigste grunnen til å bruke syns- og språkmodeller er at de kan løse den tiltenkte flaskehalsen direkte. Avhengig av implementeringen kan fordelen vise seg som bedre forankring, en mer trofast representasjon, bedre generalisering, lavere ventetid, mindre dataflytting, tydeligere ansvarliggjøring eller et tryggere skille mellom et modellforslag og en faktisk handling.

Fordeler bør uttrykkes gjennom beslutninger og målinger. «Mer intelligent» er ikke et akseptansekriterium for syns- og språkmodeller. Et nyttig mål kan for eksempel angi feilrate i vanskelige tilfeller, evne til å hente seg inn etter motstridende dokumentasjon, kostnad ved en bestemt persentil av trafikken, tid brukt på menneskelig gjennomgang, kalibrering eller prosentandelen handlinger som holdes innenfor en definert fullmaktsgrense.

Feiltypen som kjennetegner syns- og språkmodeller

Den sentrale begrensningen er at flytende beskrivelser kan nevne objekter eller relasjoner som faktisk ikke er synlige. Denne feilen er ikke noe man først bør føre opp som en ettertanke når utviklingen er fullført. Den bør fra starten av påvirke datainnsamling, arkitektur, tillatelser, evaluering, godkjenningskriterier før lansering og overvåking av syns- og språkmodeller.

En kontrollmekanisme for visuell-språklige modeller er bare nyttig hvis den griper inn før det oppstår en kostbar eller irreversibel konsekvens. Identifiser det tidligste observerbare forvarselet på feilen, fastsett en terskel eller regel, utpek en ansvarlig eier, og test gjenoppretting. Avhengig av bruksområdet kan gjenoppretting innebære å avstå fra å svare, gå over til et enklere system, be om mer dokumentasjon, eskalere saken til en person, rulle tilbake en modell eller stanse en handling helt.

En evalueringsplan for visuell-språklige modeller

Begynn evalueringen av visuell-språklige modeller med å formulere hvilken beslutning dokumentasjonen skal underbygge. Definer populasjonen modellen skal brukes på, konsekvensen av et feilaktig resultat, hvilken informasjon som faktisk er tilgjengelig når beslutningen tas, og det enkleste troverdige alternativet. Da unngår man at en referansetest blir målet bare fordi den er enkel å gjennomføre.

Bruk et urørt testsett til kontrollerte sammenligninger, og valider deretter visuell-språklige modeller i et trinnvis driftsmiljø. Offline-evaluering gjør det mulig å sammenligne varianter; skyggekjøring, kanariutrullinger, hastighetsbegrensninger eller godkjenningsporter avdekker hvordan reell trafikk, tilbakemeldingssløyfer og mennesker påvirker atferden. Utrullingen bør ha et uttrykkelig stoppkriterium, i stedet for å legge til grunn at enhver forbedring fortjener full utrulling.

Versjonsstyr inndataene som trengs for å gjenskape visuell-språklige modeller: kildedata, forbehandling, tokenizer eller koder, modellvekter, konfigurasjon, prompt eller policy, gjenfinningsindeks, evalueringssett, maskinvareforutsetninger og kode for modellservering, der det er relevant. Uten sporbarhet kan ikke et team fastslå om et endret resultat skyldes teknikken, miljøet eller en uoppdaget endring i datapipelinen.

Til slutt bør du spørre hva slags funn som ville motbevise påstanden om at visuell-språklige modeller er nyttige. Hvis ingen resultater kan føre til at beslutningen om å ta dem i bruk blir omgjort, er evalueringen markedsføring. Forhåndsfastsatte godkjenningsterskler og et bevart bekreftelsessett gjør øvelsen om til dokumentasjon.

Spørsmål du bør stille før du tar i bruk visuell-språklige modeller

• Mål: Hvilken målbar flaskehals skal visuell-språklige modeller løse?
• Mekanisme: Hvilket av de fem trinnene inneholder den særpregede transformasjonen?
• Referanse: Hvordan står modellen seg mot datasyn som forutsier en fast etikett uten åpen språkbruk, eller mot et annet enklere alternativ?
• Dokumentasjon: Hvilke vanlige, krevende og adversarielle tilfeller, samt tilfeller fra undergrupper, ble testet?
• Drift: Hvilke kostnader knyttet til latenstid, minne, datakraft, energi, vedlikehold og gjennomgang oppstår i stor skala?
• Risiko: Hvordan vil teamet oppdage at flytende beskrivelser kan navngi objekter eller relasjoner som faktisk ikke er synlige?
• Gjenoppretting: Kan systemet avstå fra å svare, gå over til en reserve, rulle tilbake eller eskalere saken før skade oppstår?

Primærkilder for studier av visuell-språklige modeller

Autoritative utgangspunkter for delen av AI-stakken som omgir visuell-språklige modeller, omfatter CLIP-forskningsartikkelen og den kroppsliggjorte multimodale modellen PaLM-E. Les dem sammen med dokumentasjonen for den konkrete modellen, datasettet, maskinvaren og jurisdiksjonen det gjelder. En generell kilde kan beskrive mekanismen, men bare dokumentasjon fra den aktuelle utrullingen kan fastslå om en bestemt implementering er egnet.

Dette bør du huske om visuell-språklige modeller

Visuell-språklige modeller er en definert mekanisme i et større sosioteknisk system. Verdien ligger i å forbedre et bestemt resultat under uttrykkelig angitte betingelser, ikke i selve betegnelsen. Kartet over de fem trinnene synliggjør informasjonsflyten, sammenligningen viser hva modellen ikke er, og kontrollbanen viser hvor en ansvarlig operatør kan gripe inn.

Den praktiske regelen for visuell-språklige modeller er å definere målet, sammenligne med en troverdig referanse, teste feilen som betyr mest, og ta vare på dokumentasjonen som trengs for å følge med på endringer. Når dette er på plass, blir konseptet et valg innen teknologiutvikling og styring som kan evalueres. Uten dette forblir det et lovende navn knyttet til en ukjent driftsrisiko.