AI-modellen en platforms

YOLOv7: Het meest geavanceerde algoritme voor objectdetectie?

Kunal Kejriwal
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenYOLOv7 introduceert een samengestelde schaalingsmethode die specifiek is ontworpen voor…
Meer weergeven
  • YOLOv7 introduceert een samengestelde schaalingsmethode die specifiek is ontworpen voor concatenatie-gebaseerde architecturen zoals zijn eigen.
  • Het algoritme vervangt dynamische labeltoewijzing door een nieuwe grof-naar-fijn lead guided aanpak voor trainingsstabiliteit.
  • YOLOv7 optimaliseert de training via een 'trainable bag of freebies' die de nauwkeurigheid verbetert zonder de inferentiekosten te verhogen.

6 juli 2022 wordt een mijlpaal in de AI-geschiedenis: op die dag verscheen YOLOv7. Sinds de introductie is het een veelbesproken onderwerp in de ontwikkelaarsgemeenschap voor computervisie, en terecht. YOLOv7 wordt al gezien als een mijlpaal voor objectdetectie.

Kort nadat het YOLOv7-artikel was gepubliceerd, bleek het het snelste en nauwkeurigste model voor realtime objectdetectie te zijn. Maar hoe verslaat het zijn voorgangers? Wat maakt YOLOv7 zo efficiënt bij computervisietaken?

In dit artikel analyseren we YOLOv7 en onderzoeken we waarom het een industriestandaard wordt. Eerst bekijken we kort de geschiedenis van objectdetectie.

Wat is objectdetectie?

Objectdetectie is een onderdeel van computervisie dat objecten in een afbeelding of videobestand identificeert en lokaliseert. Het vormt de basis van talrijke toepassingen, waaronder zelfrijdende auto’s, bewakingssystemen en robotica.

Objectdetectiemodellen kunnen in twee categorieën worden ingedeeld: detectoren met één doorgang en detectoren met meerdere doorgangen.

Realtime objectdetectie

Om YOLOv7 echt te begrijpen, moeten we het hoofddoel kennen:realtime objectdetectie. Dit is een belangrijk onderdeel van moderne computervisie. Deze modellen proberen interessante objecten in realtime te identificeren en lokaliseren. Daardoor kunnen ontwikkelaars objecten efficiënt volgen in bewegend beeld, zoals een video of een live bewakingsstream.

Realtime objectdetectiemodellen gaan een stap verder dan conventionele modellen voor beelddetectie. De eerste volgen objecten in videobestanden, terwijl de laatste objecten identificeren en lokaliseren in een stilstaand beeld.

Daarom zijn realtime objectdetectiemodellen bijzonder geschikt voor videoanalyse, autonome voertuigen, het tellen van objecten, het volgen van meerdere objecten en nog veel meer.

Wat is YOLO?

YOLO, een afkorting van ‘You Only Look Once’, is een familie van modellen voor realtime objectdetectie. Joseph Redmon introduceerde het concept in 2016. Het trok direct veel aandacht omdat het veel sneller en nauwkeuriger was dan bestaande algoritmen. Al snel werd YOLO een standaard binnen computervisie.

Het basisidee van YOLO is een end-to-end neuraal netwerk dat begrenzingsvakken en klassewaarschijnlijkheden gebruikt om in realtime te voorspellen. Het onderscheidde zich van eerdere modellen door classificatoren anders in te zetten voor objectdetectie.

Die andere aanpak werkte: door het grote prestatieverschil met andere realtime objectdetectiealgoritmen werd YOLO al snel de industriestandaard. Maar waardoor was het zo efficiënt?

Andere algoritmen gebruikten destijds region proposal networks om mogelijke interessegebieden te vinden. Vervolgens werd elk gebied afzonderlijk herkend. Deze modellen doorliepen dezelfde afbeelding daardoor vaak meerdere keren, met minder nauwkeurigheid en langere uitvoeringstijden als gevolg. YOLO gebruikt daarentegen één volledig verbonden laag om de voorspelling in één keer te doen.

Hoe werkt YOLO?

De werking van YOLO kan in drie stappen worden uitgelegd.

Objectdetectie herformuleren als één regressieprobleem

Het YOLO-algoritme probeert objectdetectie te herformuleren als één regressieprobleem, van afbeeldingspixels naar klassewaarschijnlijkheden en coördinaten van begrenzingsvakken. Het hoeft de afbeelding daardoor maar één keer te bekijken om de doelobjecten te voorspellen en lokaliseren.

De afbeelding als geheel analyseren

Bovendien bekijkt YOLO bij het voorspellen de afbeelding als geheel. Anders dan methoden met regiovoorstellen of schuivende vensters ziet het tijdens training en evaluatie de volledige afbeelding. Zo kan het contextinformatie over klassen en hun verschijningsvorm vastleggen.

Vóór YOLO was Fast R-CNN een populair objectdetectiealgoritme dat de bredere context niet goed kon meenemen en achtergrondgebieden voor objecten aanzag. Vergeleken met Fast R-CNN is YOLO 50% nauwkeuriger wat achtergrondfouten betreft.

Objectrepresentaties generaliseren

YOLO probeert ook de representaties van objecten te generaliseren. Bij uitvoering en evaluatie op een dataset met natuurlijke afbeeldingen presteerde het aanzienlijk beter dan bestaande R-CNN-modellen. Door die sterke generaliseerbaarheid was de kans kleiner dat het zou falen bij onverwachte invoer of nieuwe domeinen.

YOLOv7: wat is er nieuw?

Nu we de basis van realtime objectdetectie en YOLO kennen, kunnen we het YOLOv7-algoritme bespreken.

Het trainingsproces optimaliseren

YOLOv7 optimaliseert niet alleen de modelarchitectuur, maar ook het trainingsproces. Het gebruikt optimalisatiemodules en -methoden om de detectienauwkeurigheid te verbeteren, waarbij de trainingskosten worden aangepast maar de inferentiekosten gelijk blijven. Deze modules vormen een trainbare verzameling verbetertechnieken zonder extra inferentiekosten, oftewel een ‘trainable bag of freebies’.

Labeltoewijzing van grof naar fijn, gestuurd door de hoofdkop

YOLOv7 stelt een nieuwe, door de hoofdkop gestuurde labeltoewijzing van grof naar fijn voor ter vervanging van conventionele dynamische labeltoewijzing. Bij dynamische labeltoewijzing veroorzaakt het trainen van een model met meerdere uitvoerlagen namelijk problemen, vooral bij het toewijzen van dynamische doelen aan verschillende takken en hun uitvoer.

Herparametrisatie van modellen

Herparametrisatie is een belangrijk concept in objectdetectie, maar het gebruik kan problemen opleveren tijdens de training. YOLOv7 gebruikt het pad voor gradiëntpropagatie om herparametrisatiestrategieën te analyseren die op verschillende netwerklagen kunnen worden toegepast.

Uitgebreide en samengestelde schaling

YOLOv7 introduceert ook uitgebreide en samengestelde schaalmethoden om parameters en berekeningen efficiënt te benutten voor realtime objectdetectie.

YOLOv7: gerelateerd werk

Realtime objectdetectie

YOLO is de industriestandaard en de meeste realtime objectdetectoren gebruiken YOLO-algoritmen en FCOS, oftewel Fully Convolutional One-Stage Object-Detection. Een geavanceerde realtime objectdetector heeft gewoonlijk de volgende kenmerken:

  • Een krachtigere en snellere netwerkarchitectuur.
  • Een effectieve methode voor het integreren van kenmerken.
  • Een nauwkeurige objectdetectiemethode.
  • Een robuuste verliesfunctie.
  • Een efficiënte methode voor labeltoewijzing.
  • Een efficiënte trainingsmethode.

YOLOv7 gebruikt geen zelfgesuperviseerd leren of distillatiemethoden, die vaak veel gegevens vereisen. In plaats daarvan gebruikt het trainbare verbetertechnieken zonder extra inferentiekosten.

Herparametrisatie van modellen

Herparametrisatie wordt beschouwd als een ensembletechniek die meerdere rekenmodules samenvoegt in de inferentiefase. Er zijn twee categorieën: ensembles op modelniveau en ensembles op moduleniveau.

Voor het uiteindelijke inferentiemodel gebruikt herparametrisatie op modelniveau twee werkwijzen. De eerste traint veel identieke modellen met verschillende trainingsgegevens en neemt vervolgens het gemiddelde van hun gewichten. De tweede neemt het gemiddelde van modelgewichten uit verschillende iteraties.

Herparametrisatie op moduleniveau wordt steeds populairder. Tijdens de training wordt een module opgesplitst in verschillende of identieke takken, die tijdens inferentie worden samengevoegd tot een equivalente module.

Deze technieken zijn echter niet op elke architectuur toepasbaar. Daarom gebruikt YOLOv7 nieuwe herparametrisatietechnieken om strategieën te ontwerpen die geschikt zijn voor verschillende architecturen.

Modellen schalen

Een model schalen betekent het vergroten of verkleinen zodat het bij verschillende rekenapparaten past. Factoren zijn onder meer het aantal lagen (diepte), de grootte van de invoerafbeeldingen (resolutie), het aantal kenmerkpiramiden (stadia) en het aantal kanalen (breedte). Deze factoren zijn essentieel voor het afwegen van netwerkparameters, inferentiesnelheid, rekenwerk en nauwkeurigheid.

Een veelgebruikte methode is NAS, oftewel zoeken naar netwerkarchitecturen, die automatisch geschikte schaalfactoren zoekt binnen een zoekruimte zonder ingewikkelde regels. Het grootste nadeel is dat dit zoeken veel middelen kost.

Vrijwel elk herparametrisatiemodel analyseert en optimaliseert afzonderlijke schaalfactoren onafhankelijk. De NAS-architectuur werkt namelijk met niet-gecorreleerde schaalfactoren.

Bij modellen op basis van concatenatie, zoals VoVNet of DenseNet, verandert de invoerbreedte van sommige lagen wanneer de modeldiepte wordt geschaald. YOLOv7 gebruikt een voorgestelde concatenatiearchitectuur en past daarom samengestelde schaling toe.

De bovenstaande figuur vergelijkt de uitgebreide netwerken voor efficiënte laagaggregatie (E-ELAN) van verschillende modellen. E-ELAN behoudt het oorspronkelijke pad voor gradiëntoverdracht, maar vergroot met groepsconvolutie de cardinaliteit van toegevoegde kenmerken. Dit kan de kenmerken die verschillende kaarten leren verrijken en de benutting van berekeningen en parameters verbeteren.

De architectuur van YOLOv7

YOLOv7 is gebaseerd op YOLOv4, YOLO-R en Scaled YOLOv4. Het is het resultaat van experimenten met die modellen om de resultaten en nauwkeurigheid te verbeteren.

Uitgebreid netwerk voor efficiënte laagaggregatie, of E-ELAN

E-ELAN is de fundamentele bouwsteen van YOLOv7 en is afgeleid van bestaande modellen voor netwerkefficiëntie, vooral ELAN.

Bij een efficiënte architectuur zijn het aantal parameters, de rekendichtheid en de hoeveelheid rekenwerk belangrijke aandachtspunten. Andere modellen kijken ook naar de verhouding tussen invoer- en uitvoerkanalen, netwerktakken, inferentiesnelheid, het aantal elementen in de tensoren van het convolutienetwerk en andere factoren.

Het model CSPVoNet bekijkt deze factoren en analyseert ook het gradiëntpad om via de gewichten van verschillende lagen meer gevarieerde kenmerken te leren. Dit maakt inferentie sneller en nauwkeuriger. De architectuur ELAN probeert een efficiënt netwerk te ontwerpen door de kortste en langste gradiëntpaden te beheersen, zodat het netwerk effectiever leert en convergeert.

ELAN heeft al een stabiele toestand bereikt ten opzichte van het aantal gestapelde rekenblokken en de lengte van gradiëntpaden. Onbeperkt stapelen kan die stabiliteit verbreken en de benutting van parameters verminderen. De voorgestelde E-ELAN-architectuur lost dit op met uitbreiding, herschikking en samenvoeging van cardinaliteit , zodat het leervermogen blijft toenemen terwijl het oorspronkelijke gradiëntpad behouden blijft.

Bij vergelijking van E-ELAN met ELAN blijkt dat alleen het rekenblok verschilt; de architectuur van de overgangslaag blijft gelijk.

E-ELAN stelt voor de cardinaliteit van rekenblokken en het aantal kanalen te vergroten met groepsconvolutie. De kenmerkkaarten worden berekend, volgens de groepsparameter over groepen herschikt en vervolgens geconcateneerd. Het aantal kanalen in elke groep blijft gelijk aan dat in de oorspronkelijke architectuur. Ten slotte worden de groepen kenmerkkaarten opgeteld om de cardinaliteit te realiseren.

Schaling voor modellen op basis van concatenatie

Modelschaling helpt bij het aanpassen van modeleigenschappen om modellen van verschillende omvang te maken volgens de eisen en gewenste inferentiesnelheden.

De figuur toont schaling voor verschillende concatenatiemodellen. In (a) en (b) neemt de uitvoerbreedte van het rekenblok toe wanneer de modeldiepte wordt vergroot. Daardoor neemt ook de invoerbreedte van de overgangslagen toe. Figuur (c) toont de diepteschaling op een concatenatiearchitectuur.

Schaalfactoren van concatenatiemodellen kunnen dus niet onafhankelijk worden geanalyseerd, maar moeten samen worden beschouwd. Voor zo’n model is de bijbehorende samengestelde schaalmethode geschikt. Wanneer de dieptefactor wordt geschaald, moeten ook de uitvoerkanalen van het blok worden geschaald.

Trainbare verbetertechnieken zonder extra inferentiekosten

Ontwikkelaars gebruiken de term ‘bag of freebies’ voor een verzameling methoden of technieken die de trainingsstrategie of -kosten veranderen om de modelnauwkeurigheid te verbeteren. Welke trainbare technieken gebruikt YOLOv7? We bekijken ze hieronder.

Geplande hergeparametriseerde convolutie

YOLOv7 gebruikt de propagatiepaden van de gradiënt om te bepalen hoe een netwerk het beste met hergeparametriseerde convolutie kan worden gecombineerd. Zo probeert het de beperkingen te ondervangen van het RepConv-algoritme , dat goed werkt op VGG maar slecht presteert wanneer het rechtstreeks op DenseNet en ResNet wordt toegepast.

Om de verbindingen in een convolutielaag te identificeren, combineert RepConv 3×3- en 1×1-convolutie. Uit analyse van algoritme, prestaties en architectuur blijkt dat RepConv de concatenatie in DenseNet en de residuele verbinding in ResNet verstoort.

De bovenstaande afbeelding toont een gepland hergeparametriseerd model. YOLOv7 stelt vast dat een laag met concatenatie- of residuele verbindingen geen identiteitsverbinding in RepConv zou moeten hebben. Daarom kan RepConvN zonder identiteitsverbinding worden gebruikt.

Grove labels voor het hulpverlies en fijne labels voor het hoofdverlies

Diepe supervisie is een gebied binnen de informatica dat vaak wordt gebruikt bij het trainen van diepe netwerken. Het basisprincipe is dat het een extra hulpkop aan de tussenlagen van het netwerk toevoegt , waarbij een hulpverlies ook de gewichten van het ondiepe netwerkdeel begeleidt. YOLOv7 noemt de kop voor de uiteindelijke uitvoer de hoofdkop; de hulpkop ondersteunt de training.

YOLOv7 gebruikt bovendien een andere labeltoewijzing. Traditioneel werden labels rechtstreeks uit de grondwaarheid en vaste regels afgeleid. De laatste jaren spelen de verdeling en kwaliteit van de voorspellingen een belangrijke rol bij het genereren van betrouwbare labels. YOLOv7 genereert een zacht label voor het object met de voorspellingen van begrenzingsvakken en de grondwaarheid.

De nieuwe methode gebruikt de voorspellingen van de hoofdkop om zowel die kop als de hulpkop te begeleiden. Er zijn twee voorgestelde strategieën.

Labeltoewijzer gestuurd door de hoofdkop

Deze strategie rekent met voorspellingen van de hoofdkop en de grondwaarheid en gebruikt vervolgens optimalisatie om zachte labels te genereren. Daarmee worden beide koppen getraind.

Het uitgangspunt is dat de hoofdkop beter kan leren en daarom representatievere labels maakt die bron en doel met elkaar verbinden.

Labeltoewijzer van grof naar fijn, gestuurd door de hoofdkop

Ook deze strategie gebruikt de voorspellingen van de hoofdkop en de grondwaarheid en genereert met optimalisatie zachte labels. Het verschil is dat er twee labelverzamelingen zijn: grove labels en fijne labels.

De grove labels ontstaan door de beperkingen bij het toewijzen van positieve voorbeelden te versoepelen,

zodat meer rastercellen als positieve doelen gelden. Dit voorkomt informatieverlies door het geringere leervermogen van de hulpkop.

De bovenstaande figuur laat de trainbare verbetertechnieken van YOLOv7 zien: grove labels voor de hulpkop en fijne labels voor de hoofdkop. Het model in (b) heeft een hulpkop, terwijl het normale model in (a) die niet heeft.

Figuur (c) toont de gebruikelijke onafhankelijke labeltoewijzer. De figuren (d) en (e) tonen respectievelijk de door de hoofdkop gestuurde toewijzer en de variant van grof naar fijn die YOLOv7 gebruikt.

Andere trainbare verbetertechnieken

Naast deze technieken gebruikt YOLOv7 nog andere verbeteringen die niet oorspronkelijk door de auteurs zijn voorgesteld:

  • Batchnormalisatie in Conv-Bn-Activation: deze strategie verbindt een convolutielaag rechtstreeks met de batchnormalisatielaag.
  • Impliciete kennis in YOLOR: YOLOv7 combineert deze strategie met de convolutiekenmerkkaart.
  • EMA-model: dit wordt in YOLOv7 gebruikt als uiteindelijk referentiemodel, hoewel het vooral in de mean-teacher-methode wordt toegepast.

YOLOv7: experimenten

Experimentele opzet

YOLOv7 gebruikt de Microsoft COCO-dataset voor training en validatie van het objectdetectiemodel. Niet alle experimenten gebruiken een vooraf getraind model. De ontwikkelaars gebruikten de trainingsset uit 2017 voor de training en de validatieset uit 2017 voor het kiezen van hyperparameters. Ten slotte worden de detectieresultaten vergeleken met geavanceerde objectdetectiealgoritmen.

De ontwikkelaars ontwierpen basismodellen voor edge-GPU’s (YOLOv7-tiny), gewone GPU’s (YOLOv7) en cloud-GPU’s (YOLOv7-W6). Het basismodel wordt ook geschaald volgens verschillende diensteisen, waardoor modelvarianten ontstaan. De stapelschaling gebeurt in de neck; de voorgestelde samengestelde methoden vergroten diepte en breedte.

Referentiemodellen

YOLOv7 gebruikt eerdere YOLO-modellen en het YOLOR-objectdetectiealgoritme als referenties.

De bovenstaande figuur vergelijkt het YOLOv7-referentiemodel met andere detectiemodellen. De resultaten zijn duidelijk. Vergeleken met YOLOv4 gebruikt YOLOv7 75% minder parameters en 15% minder berekeningen, met een 0,4% hogere nauwkeurigheid. 

Vergelijking met geavanceerde objectdetectoren

De bovenstaande figuur toont de vergelijking met geavanceerde detectiemodellen voor mobiele en algemene GPU’s. De YOLOv7-methode heeft de beste afweging tussen snelheid en nauwkeurigheid.

Ablatiestudie: voorgestelde samengestelde schaalmethode

De bovenstaande figuur vergelijkt verschillende vergrotingsstrategieën. YOLOv7 vergroot de diepte van het rekenblok met een factor 1,5 en de breedte met een factor 1,25.

Vergeleken met een model dat alleen de diepte vergroot, presteert YOLOv7 0,5% beter met minder parameters en berekeningen. Vergeleken met modellen die alleen de diepte vergroten, verbetert de nauwkeurigheid met 0,2%, maar moet het aantal parameters met 2,9% en het rekenwerk met 1,2% toenemen.

Voorgesteld gepland hergeparametriseerd model

Om de algemene toepasbaarheid te toetsen, gebruikt YOLOv7 het hergeparametriseerde model zowel op residuele modellen als op concatenatiemodellen. Voor de controle gebruikt het ELAN met drie gestapelde blokken voor het concatenatiemodel en CSPDarknet voor het residuele model.

In het concatenatiemodel vervangt het algoritme de 3×3-convolutielagen in ELAN met drie gestapelde blokken door RepConv. De onderstaande figuur toont de gedetailleerde configuratie van Planned RepConv en deze ELAN-variant.

Voor het residuele model gebruikt YOLOv7 een omgekeerd dark-blok, omdat het oorspronkelijke blok geen 3×3-convolutieblok bevat. De onderstaande figuur toont Reversed CSPDarknet, waarin de posities van de 3×3- en 1×1-convolutielagen zijn omgewisseld.

Voorgesteld hulpverlies voor de hulpkop

YOLOv7 vergelijkt hiervoor onafhankelijke labeltoewijzing voor de hulpkop en de hoofdkop.

De bovenstaande figuur bevat de resultaten van de studie naar de voorgestelde hulpkop. De totale prestaties nemen toe met het hulpverlies. De door de hoofdkop gestuurde labeltoewijzing presteert bovendien beter dan onafhankelijke toewijzingsstrategieën.

Resultaten van YOLOv7

Op basis van de voorgaande experimenten volgen hier de prestaties van YOLOv7 tegenover andere objectdetectiealgoritmen.

De bovenstaande figuur vergelijkt YOLOv7 met andere algoritmen en laat zien dat het beter presteert wat betreft gemiddelde precisie (AP) tegenover batchinferentie.

De onderstaande figuur vergelijkt YOLOv7 met andere realtime objectdetectiealgoritmen. Opnieuw presteert het beter op het gebied van totale prestaties, nauwkeurigheid en efficiëntie.

Er zijn nog enkele aanvullende observaties:

  1. YOLOv7-Tiny is het kleinste model in de familie, met meer dan zes miljoen parameters. Het behaalt een gemiddelde precisie van 35,2% en overtreft YOLOv4-Tiny-modellen met een vergelijkbaar aantal parameters.
  2. YOLOv7 heeft meer dan 37 miljoen parameters en overtreft modellen met meer parameters, zoals YOLOv4.
  3. YOLOv7 heeft de hoogste mAP- en FPS-waarden in het bereik van 5 tot 160 FPS.

Conclusie

YOLO, oftewel You Only Look Once, is een geavanceerd objectdetectiemodel binnen moderne computervisie. Het staat bekend om zijn nauwkeurigheid en efficiëntie en wordt daarom veel gebruikt voor realtime objectdetectie. Sinds de introductie in 2016 hebben experimenten ontwikkelaars geholpen het model voortdurend te verbeteren.

YOLOv7 is de nieuwste toevoeging aan de YOLO-familie en op het in dit artikel beschreven moment het krachtigste YOLO-algoritme. We hebben de basisprincipes besproken en uitgelegd wat het zo efficiënt maakt.

Kunal Kejriwal is een backend‑engineer die zich specialiseert in Python, PostgreSQL, Redis en cloudinfrastructuur op GCP en AWS. Met drie jaar ervaring in het bouwen en opschalen van productiesystemen schrijft hij over AI‑infrastructuur, gedistribueerde systemen en de architectuur achter het inzetten van machine‑learning workloads.