Zien, denken, verklaren: De opkomst van Vision Language Models in AI

Ongeveer een decennium geleden was kunstmatige intelligentie verdeeld tussen beeldherkenning en taalbegrip. Visuele modellen konden objecten herkennen, maar konden ze niet beschrijven, en taalmodellen konden tekst genereren, maar konden niet “zien”. Vandaag verdwijnt die scheiding snel. Vision Language Models (VLM’s) combineren nu visuele en taalvaardigheden, waardoor ze beelden kunnen interpreteren en op een manier kunnen verklaren die bijna menselijk aanvoelt. Wat ze echt opmerkelijk maakt, is hun stap-voor-stap redeneringsproces, bekend als Chain-of-Thought, dat helpt om deze modellen om te zetten in krachtige, praktische tools in branches als de gezondheidszorg en onderwijs. In dit artikel zullen we onderzoeken hoe VLM’s werken, waarom hun redenering belangrijk is en hoe ze branches van geneeskunde tot zelfrijdende auto’s transformeren.

Visie op Vision Language Models

Vision Language Models, of VLM’s, zijn een type kunstmatige intelligentie dat zowel beelden als tekst tegelijk kan begrijpen. In tegenstelling tot oudere AI-systemen die alleen tekst of beelden konden verwerken, combineren VLM’s deze twee vaardigheden. Dit maakt ze ontzettend veelzijdig. Ze kunnen naar een afbeelding kijken en beschrijven wat er gebeurt, vragen over een video beantwoorden of zelfs afbeeldingen creëren op basis van een geschreven beschrijving.

Als voorbeeld, als je een VLM vraagt om een foto van een hond die in een park rent te beschrijven. Een VLM zegt niet alleen: “Er is een hond.” Het kan je vertellen: “De hond jaagt op een bal bij een grote eikenboom.” Het ziet de afbeelding en verbindt deze met woorden op een manier die zin heeft. Deze mogelijkheid om visueel en taalbegrip te combineren, creëert allerlei mogelijkheden, van helpen bij het zoeken naar foto’s online tot ondersteunen bij complexere taken zoals medische beeldvorming.

In hun kern werken VLM’s door twee belangrijke onderdelen te combineren: een visueel systeem dat beelden analyseert en een taalsysteem dat tekst verwerkt. Het visuele deel let op details zoals vormen en kleuren, terwijl het taaldeel deze details omzet in zinnen. VLM’s worden getraind op enorme datasets met miljarden beeld-tekstparen, waardoor ze uitgebreide ervaring ontwikkelen om een sterk begrip en hoge nauwkeurigheid te ontwikkelen.

Wat Chain-of-Thought Redenering betekent in VLM’s

Chain-of-Thought redenering, of CoT, is een manier om AI stap voor stap te laten denken, net zoals wij een probleem aanpakken door het op te breken. In VLM’s betekent dit dat de AI niet alleen een antwoord geeft als je het iets over een afbeelding vraagt, maar ook uitlegt hoe het daar gekomen is, door elke logische stap onderweg uit te leggen.

Stel dat je een VLM een foto van een verjaardagstaart met kaarsen laat zien en vraagt: “Hoe oud is de persoon?” Zonder CoT zou het misschien alleen een nummer raden. Met CoT denkt het erover na: “Oké, ik zie een taart met kaarsen. Kaarsen geven meestal de leeftijd aan. Laten we tellen, er zijn 10. Dus de persoon is waarschijnlijk 10 jaar oud.” Je kunt de redenering volgen terwijl deze zich ontvouwt, wat het antwoord veel vertrouwelijker maakt.

Op een soortgelijke manier, als een VLM een verkeerssituatie wordt getoond en gevraagd wordt: “Is het veilig om over te steken?” De VLM kan redeneren: “Het voetgangerslicht is rood, dus je moet niet oversteken. Er is ook een auto die in de buurt draait, en die staat niet stil. Dat betekent dat het niet veilig is op dit moment.” Door deze stappen te doorlopen, laat de AI zien waar het naar kijkt in de afbeelding en waarom het beslissingen neemt.

Waarom Chain-of-Thought belangrijk is in VLM’s

De integratie van CoT-redenering in VLM’s brengt verschillende belangrijke voordelen met zich mee.

Ten eerste maakt het de AI gemakkelijker te vertrouwen. Wanneer het zijn stappen uitlegt, krijg je een duidelijk begrip van hoe het tot het antwoord is gekomen. Dit is belangrijk in gebieden zoals de gezondheidszorg. Als een VLM bijvoorbeeld naar een MRI-scan kijkt, kan het zeggen: “Ik zie een schaduw in de linkerkant van de hersenen. Dat gebied controleert spraak, en de patiënt heeft moeite met praten, dus het kan een tumor zijn.” Een arts kan deze logica volgen en vertrouwen in de input van de AI hebben.

Ten tweede helpt het de AI complexe problemen aan te pakken. Door dingen op te breken, kan het vragen aan die meer dan een snelle blik nodig hebben. Bijvoorbeeld, het tellen van kaarsen is eenvoudig, maar het bepalen van de veiligheid op een drukke straat vereist meerdere stappen, waaronder het controleren van verkeerslichten, het opsporen van auto’s en het beoordelen van de snelheid. CoT stelt de AI in staat om deze complexiteit aan te pakken door het op te delen in meerdere stappen.

Ten slotte maakt het de AI aanpasbaarder. Wanneer het stap voor stap redeneert, kan het zijn kennis toepassen op nieuwe situaties. Als het nog nooit een specifiek type taart heeft gezien, kan het nog steeds de connectie tussen kaarsen en leeftijd begrijpen omdat het erover nadenkt, in plaats van alleen te vertrouwen op gememoriseerde patronen.

Hoe Chain-of-Thought en VLM’s branches herdefiniëren

De combinatie van CoT en VLM’s heeft een significante impact op verschillende gebieden:

• Gezondheidszorg: In de geneeskunde gebruiken VLM’s zoals Google’s Med-PaLM 2 CoT om complexe medische vragen te breken in kleinere diagnostische stappen. Bijvoorbeeld, als een VLM een röntgenfoto van de borst en symptomen zoals hoesten en hoofdpijn krijgt, kan het denken: “Deze symptomen kunnen een verkoudheid, allergie of iets ergers zijn. Geen gezwollen lymfeklieren, dus het is waarschijnlijk geen ernstige infectie. De longen lijken schoon, dus het is waarschijnlijk geen longontsteking. Een gewone verkoudheid past het beste.” Het doorloopt de opties en komt tot een antwoord, waardoor artsen een duidelijke verklaring hebben om mee te werken.
• Zelfrijdende auto’s: Voor autonome voertuigen verbeteren CoT-geënhanceerde VLM’s de veiligheid en besluitvorming. Bijvoorbeeld, een zelfrijdende auto kan een verkeerssituatie stap voor stap analyseren: controleer het voetgangerslicht, identificeer bewegende voertuigen en beslis of het veilig is om door te rijden. Systemen zoals Wayve’s LINGO-1 genereren natuurlijke taalcommentaar om acties zoals vertragen voor een fietser uit te leggen. Dit helpt ingenieurs en passagiers het redeneringsproces van het voertuig te begrijpen. Stap-voor-stap logica stelt ook een betere afhandeling van ongebruikelijke verkeersomstandigheden mogelijk door visuele inputs te combineren met contextuele kennis.
• Geospatiale analyse: Google’s Gemini-model past CoT-redenering toe op geospatiale data zoals kaarten en satellietbeelden. Bijvoorbeeld, het kan de schade van een orkaan beoordelen door satellietbeelden, weersvoorspellingen en demografische gegevens te integreren, en vervolgens duidelijke visualisaties en antwoorden op complexe vragen genereren. Deze mogelijkheid versnelt de reactie op rampen door besluitvormers te voorzien van tijdige, nuttige inzichten zonder technische expertise te vereisen.
• Robotica: In de robotica stelt de integratie van CoT en VLM’s robots in staat om beter te plannen en uit te voeren multi-stap taken. Bijvoorbeeld, als een robot de taak krijgt om een object op te pakken, stelt CoT-geactiveerde VLM het in staat om het kopje te identificeren, de beste greepplaatsen te bepalen, een botsingvrije route te plannen en de beweging uit te voeren, allemaal terwijl het “uitlegt” elke stap van zijn proces. Projecten zoals RT-2 demonstreren hoe CoT robots in staat stelt om beter aan te passen aan nieuwe taken en complexe opdrachten te reageren met duidelijke redenering.
• Onderwijs: In het onderwijs gebruiken AI-tutors zoals Khanmigo CoT om beter te leren. Voor een wiskundig probleem kan het een student begeleiden: “Eerst schrijf je de vergelijking op. Vervolgens krijg je de variabele alleen door 5 van beide kanten af te trekken. Nu deel je door 2.” In plaats van het antwoord te geven, loodst het de student door het proces, waardoor de student concepten stap voor stap kan begrijpen.

De Bottom Line

Vision Language Models (VLM’s) stellen AI in staat om visuele gegevens te interpreteren en uit te leggen met behulp van menselijke, stap-voor-stap redenering via Chain-of-Thought (CoT)-processen. Deze aanpak verhoogt vertrouwen, aanpasbaarheid en probleemoplossing in branches zoals de gezondheidszorg, zelfrijdende auto’s, geospatiale analyse, robotica en onderwijs. Door te transformeren hoe AI complexe taken aanpakt en besluitvorming ondersteunt, stellen VLM’s een nieuwe standaard voor betrouwbare en praktische intelligente technologie.