AI-modellen en platforms
YOLO-World: Objectdetectie met een open vocabulaire in realtime
Belangrijkste puntenYOLO-World voegt open-vocabulary-detectie toe aan YOLO's realtime-framework via…
Meer weergeven
- YOLO-World voegt open-vocabulary-detectie toe aan YOLO's realtime-framework via vision-language pre-training.
- Het RepVL-PAN-netwerk fuseert tekst- en beeldkenmerken voor zero-shot-detectie, en wordt vervolgens geherparameteriseerd voor efficiënte implementatie.
- Het model gebruikt een 'prompt-then-detect'-strategie met offline vocabulaire om flexibele, realtime herkenning van aangepaste objecten mogelijk te maken.
Objectdetectie is een fundamentele uitdaging binnen computervisie, met toepassingen in robotica, beeldbegrip, autonome voertuigen en beeldherkenning. De afgelopen jaren heeft baanbrekend AI-onderzoek, vooral met diepe neurale netwerken, objectdetectie sterk verbeterd. Deze modellen hebben echter een vaste woordenschat: ze kunnen alleen objecten herkennen uit de 80 categorieën van de COCO-dataset. Die beperking komt voort uit het trainingsproces, waarin detectoren uitsluitend specifieke categorieën leren herkennen. Daardoor zijn ze minder breed toepasbaar.
YOLO-World probeert deze beperking te overwinnen door het YOLO-raamwerk (You Only Look Once) uit te breiden met objectdetectie met een open woordenschat. Daarvoor wordt het raamwerk vooraf getraind op grootschalige datasets en worden beeld en taal gezamenlijk gemodelleerd. YOLO-World gebruikt een herparameteriseerbaar netwerk voor de aggregatie van beeld-taalpaden (RepVL-PAN) en een contrastieve verliesfunctie voor regio-tekstparen om visuele en talige informatie met elkaar te verbinden. Zo kan het uiteenlopende objecten nauwkeurig detecteren in een zero-shot-situatie, met sterke prestaties bij segmentatie en objectdetectie met een open woordenschat.
Dit artikel behandelt de technische grondslagen, modelarchitectuur, training en toepassingsmogelijkheden van YOLO-World.
YOLO-World: objectdetectie met een open woordenschat in realtime
YOLO, oftewel You Only Look Once, is een van de populairste methoden voor moderne objectdetectie binnen computervisie. Dankzij zijn snelheid en efficiëntie veranderde YOLO de manier waarop machines objecten in afbeeldingen en video’s in realtime herkennen. Traditionele detectoren werken in twee stappen: eerst stellen ze gebieden voor die mogelijk een object bevatten, daarna classificeren ze het object. YOLO brengt beide stappen samen in één neuraal netwerk. Het model hoeft de afbeelding maar één keer te bekijken om het object en zijn positie te voorspellen; vandaar de naam You Only Look Once.
YOLO behandelt objectdetectie bovendien als een regressieprobleem. Het voorspelt de klassewaarschijnlijkheden en begrenzingskaders rechtstreeks op basis van de volledige afbeelding, in één doorgang. Dat versnelt de detectie en verbetert het vermogen om te generaliseren vanuit complexe, uiteenlopende gegevens. Het is daarom geschikt voor realtime toepassingen zoals autonoom rijden, snelheidsmeting en kentekenherkenning. De vooruitgang in diepe neurale netwerken heeft objectdetectie verder verbeterd, maar de beperkte woordenschat blijft een probleem. Nadat de categorieën in een dataset zijn vastgelegd en gelabeld, herkennen de getrainde detectoren alleen die categorieën. Dat beperkt hun inzet in open, veranderlijke omgevingen.
Recente beeld-taalmodellen gebruiken uit taalencoders overgedragen woordenschatkennis om detectie met een open woordenschat mogelijk te maken. Hoewel ze daarbij beter presteren dan traditionele detectoren, blijft hun toepasbaarheid beperkt door het tekort aan trainingsgegevens met voldoende woordenschatvariatie. Sommige raamwerken trainen zulke detectoren op grote schaal via voortraining van beeld en taal op regioniveau. Realtime detectie blijft echter lastig door twee factoren: de complexe implementatie op randapparaten en de hoge rekenvereisten. Wel laten deze raamwerken zien dat voortraining van grote detectoren mogelijkheden biedt voor herkenning van niet vooraf vastgelegde categorieën.
YOLO-World streeft naar efficiënte objectdetectie met een open woordenschat en onderzoekt hoe grootschalige voortraining traditionele YOLO-detectoren kan verbeteren. Het raamwerk combineert snelle inferentie met eenvoudige inzet voor vervolgtaken. Het volgt de traditionele YOLO-architectuur en codeert invoertekst met een vooraf getrainde CLIP-tekstencoder. RepVL-PAN koppelt beeld- en tekstkenmerken om de visueel-semantische representaties te verbeteren. Tijdens inferentie wordt de tekstencoder verwijderd en worden de tekstinbeddingen verwerkt in de gewichten van RepVL-PAN. Dat maakt de implementatie efficiënter. Het raamwerk gebruikt ook contrastief leren met regio-tekstparen om voortraining met een open woordenschat te onderzoeken. Daarbij worden beeld-tekstgegevens, gegevens met gelokaliseerde tekstverwijzingen en detectiegegevens omgezet in regio-tekstparen. Voortraining op deze paren levert sterke prestaties bij detectie met een open en omvangrijke woordenschat. Daarnaast onderzoekt YOLO-World een aanpak waarbij eerst prompts worden verwerkt en daarna objecten worden gedetecteerd, om de efficiëntie in realtime praktijksituaties te vergroten.
De volgende afbeelding toont het verschil. Traditionele detectoren gebruiken een gesloten verzameling vooraf bepaalde categorieën. Detectoren met een open woordenschat coderen gebruikersprompts met een tekstencoder. YOLO-World bouwt eerst een offline woordenschat op door de prompts te coderen; die woordenschat kan per toepassing verschillen. Vervolgens kan de detector die offline woordenschat in realtime gebruiken zonder de prompts opnieuw te coderen.

YOLO-World: methode en architectuur
Regio-tekstparen
Objectdetectoren, waaronder de YOLO-familie, worden traditioneel getraind met annotaties per objectinstantie die categorielabels en begrenzingskaders bevatten. YOLO-World herformuleert deze annotaties als regio-tekstparen. De tekst kan een objectbeschrijving, een naamwoordgroep of een categorienaam zijn. Het raamwerk neemt zowel tekst als afbeeldingen als invoer en voorspelt kaders met de bijbehorende objectinbeddingen.
Modelarchitectuur
YOLO-World bestaat uit een tekstencoder, een YOLO-detector en RepVL-PAN, zoals de volgende afbeelding laat zien.

De tekstencoder zet de invoertekst om in tekstinbeddingen. De YOLO-detector haalt kenmerken op verschillende schalen uit de invoerafbeelding. RepVL-PAN combineert vervolgens de tekst- en beeldinbeddingen over de modaliteiten heen om hun representaties te verbeteren.
YOLO-detector
YOLO-World is gebaseerd op YOLOv8. Het bevat een Darknet-ruggengraat als beeldencoder, een uitvoerkop voor objectinbeddingen en regressie van begrenzingskaders, en een padaggregatienetwerk (PAN) voor kenmerkpiramides op meerdere schalen.
Tekstencoder
Voor een gegeven tekst haalt YOLO-World de bijbehorende inbeddingen op met een vooraf getrainde CLIP Transformer-tekstencoder, met een bepaald aantal zelfstandige naamwoorden en een vaste inbeddingsdimensie. CLIP wordt gebruikt omdat deze encoder teksten beter met visuele objecten verbindt dan traditionele encoders die uitsluitend op tekst zijn gericht. Wanneer de invoer een bijschrift of een verwijzende uitdrukking is, gebruikt het model een eenvoudiger n-gramalgoritme om woordgroepen te extraheren. Die worden daarna aan de tekstencoder doorgegeven.
Contrastieve tekstkop
Eerdere objectdetectoren gebruiken een ontkoppelde uitvoerkop. YOLO-World neemt zo’n kop over, met twee 3×3-convoluties om objectinbeddingen en begrenzingskaders voor een vast aantal objecten te voorspellen. Een contrastieve tekstkop bepaalt de overeenkomst tussen object en tekst met L2-normalisatie en tekstinbeddingen. Het model gebruikt daarnaast een affiene transformatie met een verschuivingsfactor en een leerbare schaalfactor. Samen verbeteren deze technieken de stabiliteit tijdens de training met regio-tekstparen.
Training met een online woordenschat
Tijdens de training bouwt YOLO-World voor elk mozaïekvoorbeeld van vier afbeeldingen een online woordenschat op. Het selecteert alle positieve zelfstandige naamwoorden die in deze afbeeldingen voorkomen en kiest willekeurig enkele negatieve zelfstandige naamwoorden uit de bijbehorende dataset. De woordenschat per voorbeeld bevat maximaal n zelfstandige naamwoorden; de standaardwaarde is 80.
Inferentie met een offline woordenschat
Tijdens inferentie gebruikt YOLO-World een strategie waarbij eerst prompts worden verwerkt en daarna detectie plaatsvindt met een offline woordenschat. De gebruiker definieert aangepaste prompts, zoals categorieën of bijschriften. De tekstencoder codeert deze prompts tot inbeddingen voor de offline woordenschat. Daardoor hoeft het model die berekeningen niet voor elke invoer te herhalen en kan de woordenschat flexibel aan de toepassing worden aangepast.
Herparameteriseerbaar netwerk voor de aggregatie van beeld-taalpaden (RepVL-PAN)
De volgende figuur toont de opbouw van RepVL-PAN. Het netwerk gebruikt neerwaartse en opwaartse paden om een kenmerkpiramide met beeldkenmerken op meerdere schalen te vormen.

Om de wisselwerking tussen tekst- en beeldkenmerken te versterken, introduceert YOLO-World aandacht op basis van beeldpooling en een tekstgestuurde CSPLayer (Cross-Stage Partial Layers). Het doel is betere visueel-semantische representaties voor detectie met een open woordenschat. Tijdens inferentie worden de inbeddingen van de offline woordenschat verwerkt in de gewichten van lineaire lagen of convolutielagen voor een efficiënte implementatie.
Zoals de figuur laat zien, gebruikt YOLO-World de CSPLayer na de neerwaartse of opwaartse samenvoeging. Het voegt tekststuring toe aan beeldkenmerken op meerdere schalen en breidt de CSPLayer zo uit tot een tekstgestuurde variant. Voor een beeldkenmerk en de bijbehorende tekstinbedding past het model max-sigmoid-aandacht toe na het laatste bottleneckblok, om tekstkenmerken in de beeldkenmerken op te nemen. Het bijgewerkte beeldkenmerk wordt daarna samengevoegd met de kenmerken uit andere fasen en als uitvoer aangeboden.
Vervolgens bundelt YOLO-World beeldkenmerken om de tekstinbeddingen bij te werken. Een aandachtslaag met beeldpooling verrijkt de tekstinbeddingen met informatie over de afbeelding. In plaats van kruisaandacht rechtstreeks op de beeldkenmerken toe te passen, gebruikt het model max-pooling op kenmerken van verschillende schalen om 3×3-regio’s te verkrijgen. Dat levert 27 patchtokens op, waarmee het model in de volgende stap de tekstinbeddingen bijwerkt.
Voortrainingsmethoden
YOLO-World gebruikt twee hoofdmethoden voor voortraining: leren met een contrastieve verliesfunctie voor regio-tekstparen en pseudolabels maken met beeld-tekstgegevens. Bij de eerste methode produceert het model objectvoorspellingen voor een gegeven tekst en mozaïekvoorbeelden. Het koppelt de voorspellingen aan de referentieannotaties via taakgerichte labeltoewijzing en kent aan elke positieve voorspelling een tekstindex toe als classificatielabel. De tweede methode gebruikt automatische annotatie om beeld-tekstparen om te zetten in regio-tekstparen. Die aanpak bestaat uit drie stappen: naamwoordgroepen extraheren, pseudolabels maken en filteren. Eerst haalt een n-gramalgoritme naamwoordgroepen uit de invoertekst. Daarna genereert een vooraf getrainde detector met een open woordenschat pseudokaders voor iedere naamwoordgroep in de afzonderlijke afbeeldingen. Tot slot beoordeelt een vooraf getraind CLIP-model de relevantie van regio-tekstparen en tekst-beeldparen. Afbeeldingen en annotaties met een lage relevantie worden weggefilterd.
YOLO-World: resultaten
Na de voortraining wordt YOLO-World rechtstreeks geëvalueerd op de LVIS-dataset in een zero-shot-situatie. LVIS bevat meer dan 1.200 categorieën, aanzienlijk meer dan de voortrainingsdatasets die bestaande raamwerken gebruiken om detectie met een grote woordenschat te testen. De volgende figuur vergelijkt de prestaties van YOLO-World met die van enkele geavanceerde objectdetectoren op LVIS zonder aanvullende training op deze categorieën.

YOLO-World presteert beter dan de meeste bestaande raamwerken wat betreft inferentiesnelheid en zero-shot-detectie, ook vergeleken met Grounding DINO, GLIP en GLIPv2, die meer gegevens gebruiken. De resultaten laten zien dat kleine detectoren, zoals YOLO-World-S met slechts 13 miljoen parameters, via voortraining op beeld-taaltaken sterke mogelijkheden voor detectie met een open woordenschat kunnen ontwikkelen.
Slotbeschouwing
Dit artikel behandelde YOLO-World, een aanpak die YOLO uitbreidt met detectie met een open woordenschat door grootschalige voortraining en gezamenlijke beeld-taalmodellering. Het raamwerk combineert RepVL-PAN met een contrastieve verliesfunctie voor regio-tekstparen om talige en visuele informatie met elkaar te verbinden. Daardoor kan YOLO-World uiteenlopende objecten nauwkeurig en efficiënt detecteren in een zero-shot-situatie.












