Een van de belangrijkste uitdagingen in computer vision-modellen is het genereren van hoge kwaliteit segmentatiemaskers. Recent onderzoek naar grote schaal-supervised training heeft zero-shot segmentatie mogelijk gemaakt voor verschillende beeldstijlen. Bovendien heeft ongezien trainen de segmentatie vereenvoudigd zonder de noodzaak voor uitgebreide annotaties. Ondanks deze ontwikkelingen blijft het bouwen van een computer vision-framework dat in staat is om alles in een zero-shot setting te segmenteren zonder annotaties, een complexe taak. Semantische segmentatie, een fundamenteel concept in computer vision-modellen, houdt in dat een beeld wordt opgedeeld in kleinere regio’s met uniforme semantiek. Deze techniek vormt de basis voor talloze downstream taken, zoals medische beeldvorming, beeldbewerking, autonome rijden en meer.

Om de ontwikkeling van computer vision-modellen te bevorderen, is het cruciaal dat beeldsegmentatie niet beperkt is tot een vaste dataset met beperkte categorieën. In plaats daarvan zou het een veelzijdige fundamentele taak moeten zijn voor verschillende andere toepassingen. Echter, de hoge kosten van het verzamelen van labels op een per-pixel basis vormen een aanzienlijke uitdaging, waardoor de vooruitgang van zero-shot en supervised segmentatiemethoden die geen annotaties vereisen en geen voorafgaande kennis van de doelstelling hebben, wordt beperkt. Dit artikel zal bespreken hoe zelf-aandachtlaag in stabiele diffusiemodellen de creatie van een model kunnen faciliteren dat in staat is om elk invoer in een zero-shot setting te segmenteren, zelfs zonder adequate annotaties. Deze zelf-aandachtlaag begrijpt inherent de objectconcepten die door een vooraf getraind stabiel diffusiemodel zijn geleerd.

DiffSeg : Een Verbeterde Zero-Shot Segmentatie-algoritme

Semantische segmentatie is een proces dat een beeld opdeelt in verschillende secties, waarbij elke sectie vergelijkbare semantiek deelt. Deze techniek vormt de basis voor talloze downstream taken. Traditioneel zijn zero-shot computer vision-taken afhankelijk van supervised semantische segmentatie, die gebruik maakt van grote datasets met geannoteerde en gelabelde categorieën. Echter, het implementeren van ongezien semantische segmentatie in een zero-shot setting blijft een uitdaging. Terwijl traditionele supervised methoden effectief zijn, is de per-pixel labeling-kosten vaak prohibitief, waardoor de noodzaak ontstaat om ongezien segmentatiemethoden te ontwikkelen in een minder beperkende zero-shot setting, waarbij het model geen geannoteerde gegevens of voorafgaande kennis van de gegevens nodig heeft.

Om deze beperking aan te pakken, introduceert DiffSeg een novelle post-processing strategie, die de mogelijkheden van de Stable Diffusion-framework gebruikt om een generieke segmentatiemodel te bouwen dat in staat is om zero-shot overdracht op elk beeld te implementeren. Stable Diffusion-frameworks hebben hun effectiviteit bewezen bij het genereren van hoge resolutiebeelden op basis van promptcondities. Voor gegenereerde beelden kunnen deze frameworks segmentatiemaskers produceren met behulp van overeenkomstige tekstprompts, die meestal alleen dominant voorgrondobjecten bevatten.

Daarentegen is DiffSeg een innovatieve post-processing methode die segmentatiemaskers creëert door gebruik te maken van aandachtstensoren van de zelf-aandachtlaag in een diffusiemodel. Het DiffSeg-algoritme bestaat uit drie belangrijke componenten: iteratieve aandachtfusie, aandachtaggregatie en non-maximum suppressie, zoals weergegeven in de volgende afbeelding.

Het DiffSeg-algoritme behoudt visuele informatie over meerdere resoluties door de 4D aandachtstensoren met spatiale consistentie te aggregieren en een iteratief fusieproces te gebruiken door ankerpunten te bemonsteren. Deze ankers dienen als startpunt voor het fusioneren van aandachtmaskers met dezelfde objectankers die uiteindelijk worden opgenomen. Het DiffSeg-framework controleert het fusieproces met behulp van de KL-divergentie methode om de gelijkenis tussen twee aandachtmaskers te meten.

Wanneer vergeleken met clustering-gebaseerde ongezien segmentatiemethoden, hoeven ontwikkelaars in het DiffSeg-algoritme niet het aantal clusters van tevoren te specificeren, en zelfs zonder enige voorafgaande kennis kan het DiffSeg-algoritme segmentatie produceren zonder extra bronnen te gebruiken. Over het algemeen is het DiffSeg-algoritme “een novelle ongezien en zero-shot segmentatiemethode die gebruik maakt van een vooraf getraind Stabiel Diffusiemodel, en die beelden kan segmenteren zonder extra bronnen of voorafgaande kennis.”

DiffSeg : Fundamentele Concepten

DiffSeg is een novelle algoritme dat voortbouwt op de kennis van Diffusiemodellen, Ongezien Segmentatie en Zero-Shot Segmentatie.

Diffusiemodellen

Het DiffSeg-algoritme bouwt voort op de kennis van vooraf getrainde diffusiemodellen. Diffusiemodellen zijn een van de meest populaire generatieve frameworks voor computer vision-modellen, en het leert het voorwaartse en omgekeerde diffusieproces van een bemonsterde isotrope Gaussische ruisafbeelding om een afbeelding te genereren. Stabiele Diffusie is de meest populaire variant van diffusiemodellen, en het wordt gebruikt om een breed scala aan taken uit te voeren, waaronder supervised segmentatie, zero-shot classificatie, semantische overeenkomstige matching, label-efficiënte segmentatie en open-vocabulaire segmentatie. Echter, het enige probleem met diffusiemodellen is dat ze afhankelijk zijn van hoge dimensionale visuele kenmerken om deze taken uit te voeren, en ze vaak extra training vereisen om volledig gebruik te maken van deze kenmerken.

Ongezien Segmentatie

Het DiffSeg-algoritme is nauw verwant aan ongezien segmentatie, een moderne AI-praktijk die ernaar streeft om dense segmentatiemaskers te genereren zonder enige annotaties te gebruiken. Echter, om goede prestaties te leveren, hebben ongezien segmentatiemodellen enige voorafgaande ongezien training op de doeldataset nodig. Ongezien segmentatie-gebaseerde AI-frameworks kunnen worden onderverdeeld in twee categorieën: clustering met behulp van vooraf getrainde modellen, en clustering op basis van invariantie. In de eerste categorie gebruiken de frameworks de discriminatieve kenmerken die zijn geleerd door vooraf getrainde modellen om segmentatiemaskers te genereren, terwijl frameworks die behoren tot de tweede categorie een generieke clustering-algoritme gebruiken dat de onderlinge informatie tussen twee afbeeldingen optimaliseert om afbeeldingen te segmenteren in semantische clusters en degeneratieve segmentatie te vermijden.

Zero-Shot Segmentatie

Het DiffSeg-algoritme is nauw verwant aan zero-shot segmentatie-frameworks, een methode die in staat is om alles te segmenteren zonder enige voorafgaande training of kennis van de gegevens. Zero-shot segmentatiemodellen hebben uitzonderlijke zero-shot overdracht mogelijkheden gedemonstreerd, hoewel ze enige tekstuele invoer en prompts vereisen. In tegenstelling tot het DiffSeg-algoritme, gebruikt het DiffSeg-algoritme een diffusiemodel om segmentatie te genereren zonder meerdere afbeeldingen te syntheseren en zonder de inhoud van het object te kennen.

DiffSeg : Methode en Architectuur

Het DiffSeg-algoritme maakt gebruik van de zelf-aandachtlaag in een vooraf getraind stabiel diffusiemodel om hoge kwaliteit segmentatiemaskers te genereren.

Stabiele Diffusie Model

Stabiele Diffusie is een van de fundamentele concepten in het DiffSeg-framework. Stabiele Diffusie is een generatief AI-framework, en een van de meest populaire diffusiemodellen. Een van de belangrijkste kenmerken van een diffusiemodel is een voorwaartse en een omgekeerde pas. In de voorwaartse pas wordt een kleine hoeveelheid Gaussische ruis toegevoegd aan een afbeelding iteratief bij elke tijdstap totdat de afbeelding een isotrope Gaussische ruisafbeelding wordt. Aan de andere kant, in de omgekeerde pas, verwijdert het diffusiemodel iteratief de ruis in de isotrope Gaussische ruisafbeelding om de oorspronkelijke afbeelding zonder enige Gaussische ruis te herstellen.

Het Stabiele Diffusie-framework gebruikt een encoder-decoder, en een U-Net ontwerp met aandachtlaag waarin het een encoder gebruikt om eerst een afbeelding samen te voegen tot een latent ruimte met kleinere spatiale dimensies, en de decoder gebruikt om de afbeelding te decomprimeren. De U-Net architectuur bestaat uit een stapel van modulaire blokken, waarbij elk blok bestaat uit een van de volgende twee componenten: een Transformer Laag, en een ResNet laag.

Componenten en Architectuur

Zelf-aandachtlaag in diffusiemodellen groeperen informatie van inherente objecten in de vorm van spatiale aandachtmaskers, en DiffSeg is een novelle post-processing methode om aandachtstensoren te fusioneren tot een geldige segmentatiemasker met een pipeline die bestaat uit drie hoofdcomponenten: aandachtaggregatie, non-maximum suppressie en iteratieve aandacht.

Aandacht Aggregatie

Voor een invoerbeeld dat door de U-Net lagen en de Encoder gaat, genereert het Stabiele Diffusie-model een totaal van 16 aandachtstensoren, met 5 tensoren voor elke dimensie. Het primaire doel van het genereren van 16 tensoren is om deze aandachtstensoren met verschillende resoluties te aggregieren tot een tensor met de hoogst mogelijke resolutie. Om dit te bereiken, behandelt het DiffSeg-algoritme de 4 dimensies anders dan elkaar.

Van de vier dimensies hebben de laatste 2 dimensies in de aandachtssensoren verschillende resoluties, maar zijn ze spatiaal consistent, aangezien de 2D spatiale kaart van het DiffSeg-framework overeenkomt met de correlatie tussen de locaties en de spatiale locaties. Als gevolg hiervan bemonstert het DiffSeg-framework deze twee dimensies van alle aandachtmaskers tot de hoogste resolutie van allemaal, 64 x 64. Aan de andere kant geven de eerste 2 dimensies de locatieverwijzing van de aandachtmaskers aan, zoals wordt gedemonstreerd in de volgende afbeelding.

Aangezien deze dimensies verwijzen naar de locatie van de aandachtmaskers, moeten de aandachtmaskers dienovereenkomstig worden geaggregeerd. Bovendien moet de geaggregeerde aandachtmasker een geldige distributie hebben, normaliseert het framework de distributie na aggregatie met elke aandachtmasker die een gewicht toegewezen krijgt dat evenredig is met de resolutie.

Iteratieve Aandacht Fusie

Terwijl het primaire doel van aandachtaggregatie was om een aandachtstensor te berekenen, is het primaire doel om de aandachtmaskers in de tensor te fusioneren tot een stapel objectvoorstellen, waarbij elke individuele voorstelling een stuff-categorie of de activatie van een enkel object bevat. De voorgestelde oplossing om dit te bereiken is door een K-Middelen algoritme toe te passen op de geldige distributie van de tensoren om de clusters van de objecten te vinden. Echter, het gebruik van K-Middelen is niet de optimale oplossing, aangezien K-Middelen clustering vereist dat gebruikers het aantal clusters van tevoren specificeren. Bovendien kan het implementeren van een K-Middelen algoritme resulteren in verschillende resultaten voor hetzelfde beeld, aangezien het afhankelijk is van de initialisatie. Om deze hindernis te overwinnen, stelt het DiffSeg-framework voor om een bemonsteringsgrid te genereren om de voorstellen te creëren door aandachtmaskers iteratief te fusioneren.

Non-Maximum Suppressie

De vorige stap van iteratieve aandachtfusie levert een lijst van objectvoorstellen op in de vorm van waarschijnlijkheid of aandachtmaskers, waarbij elk objectvoorstel de activatie van het object bevat. Het framework gebruikt non-maximum suppressie om de lijst van objectvoorstellen om te zetten in een geldige segmentatiemasker, en het proces is een effectieve aanpak, aangezien elk element in de lijst al een kaart van de waarschijnlijkheidsdistributie is. Voor elke spatiale locatie over alle maskers neemt het algoritme de index van de grootste waarschijnlijkheid en wijst een lidmaatschap toe op basis van de index van de overeenkomstige kaart.

DiffSeg : Experimenten en Resultaten

Frameworks die werken aan ongezien segmentatie gebruiken twee segmentatiebenchmarks, namelijk Cityscapes en COCO-stuff-27. De Cityscapes-benchmark is een zelfrijdende dataset met 27 mid-level categorieën, terwijl de COCO-stuff-27-benchmark een gecurateurde versie is van de oorspronkelijke COCO-stuff-dataset die 80 dingen en 91 categorieën samenvoegt tot 27 categorieën. Bovendien gebruikt het DiffSeg-framework om de segmentatieprestaties te analyseren, de gemiddelde intersectie over unie of mIoU en pixelnauwkeurigheid of ACC, en aangezien het DiffSeg-algoritme geen semantische label kan bieden, gebruikt het de Hongaarse matching-algoritme om een grondwaarheidsmasker toe te wijzen aan elk voorspeld masker. Als het aantal voorspelde maskers het aantal grondwaarheidsmaskers overschrijdt, zal het framework de ongepaarde voorspelde taken als valse negatieven beschouwen.

Bovendien legt het DiffSeg-framework de nadruk op de volgende drie werken om interferentie te onderzoeken: Taalafhankelijkheid of LD, Ongezien Adaptatie of UA, en Hulpafbeelding of AX. Taalafhankelijkheid betekent dat de methode beschrijvende tekstuele invoer nodig heeft om segmentatie voor het beeld te faciliteren, Ongezien Adaptatie verwijst naar de vereiste voor de methode om ongezien training te gebruiken op de doeldataset, terwijl Hulpafbeelding betekent dat de methode extra invoer nodig heeft, hetzij als synthetische afbeeldingen, hetzij als een pool van referentieafbeeldingen.

Resultaten

Op de COCO-benchmark omvat het DiffSeg-framework twee K-Middelen-baselines, K-Middelen-S en K-Middelen-C. De K-Middelen-C-benchmark omvat 6 clusters die zijn berekend door het aantal objecten in de beelden te middelen die het evalueert, terwijl de K-Middelen-S-benchmark een specifiek aantal clusters gebruikt voor elk beeld op basis van het aantal objecten in de grondwaarheid van het beeld, en de resultaten op beide benchmarks worden gedemonstreerd in de volgende afbeelding.

Zoals te zien is, overtreft de K-Middelen-baseline bestaande methoden, waarmee het voordeel van het gebruik van zelf-aandachtstensoren wordt aangetoond. Wat interessant is, is dat de K-Middelen-S-benchmark de K-Middelen-C-benchmark overtreft, wat aangeeft dat het aantal clusters een fundamentele hyperparameter is en dat het afstemmen ervan belangrijk is voor elk beeld. Bovendien, zelfs wanneer hetzelfde aandachtstensoren worden gebruikt, overtreft het DiffSeg-framework de K-Middelen-baselines, waarmee de mogelijkheid van het DiffSeg-framework wordt aangetoond om niet alleen betere segmentatie te bieden, maar ook de nadelen van het gebruik van K-Middelen-baselines te vermijden.

Op de Cityscapes-dataset levert het DiffSeg-framework resultaten die vergelijkbaar zijn met de frameworks die invoer met lagere 320-resolutie gebruiken, terwijl het frameworks die hogere 512-resolutie invoer gebruiken overtreft in nauwkeurigheid en mIoU.

Zoals eerder vermeld, gebruikt het DiffSeg-framework verschillende hyperparameters, zoals weergegeven in de volgende afbeelding.

Aandachtaggregatie is een van de fundamentele concepten die in het DiffSeg-framework worden gebruikt, en de effecten van het gebruik van verschillende aggregatiegewichten worden gedemonstreerd in de volgende afbeelding met de resolutie van het beeld constant.

Zoals te zien is, resulteren hoge resolutiekaarten in Fig (b) met 64 x 64 kaarten in de meest gedetailleerde segmentaties, hoewel de segmentaties enkele zichtbare breuken hebben, terwijl lagere resolutie 32 x 32 kaarten de neiging hebben om details over te segmenteren, hoewel het resulteert in verbeterde coherente segmentaties. In Fig (d) falen lage resolutiekaarten om enige segmentatie te genereren, aangezien de hele afbeelding wordt samengevoegd tot een enkel object met de bestaande hyperparameterinstellingen. Ten slotte resulteert Fig (a) die gebruik maakt van een proportionele aggregatiestrategie in verbeterde details en evenwichtige consistentie.

Slotgedachten

Zero-shot ongezien segmentatie is nog steeds een van de grootste uitdagingen voor computer vision-frameworks, en bestaande modellen zijn afhankelijk van non zero-shot ongezien adaptatie of van externe bronnen. Om deze uitdaging te overwinnen, hebben we besproken hoe zelf-aandachtlaag in stabiele diffusiemodellen de constructie van een model kan faciliteren dat in staat is om elk invoer in een zero-shot setting te segmenteren zonder adequate annotaties, aangezien deze zelf-aandachtlaag de inherente concepten van het object bevat die door een vooraf getraind stabiel diffusiemodel zijn geleerd. We hebben ook besproken DiffSeg, een novelle post-processing strategie, die ernaar streeft om het potentieel van de Stabiele Diffusie-framework te benutten om een generieke segmentatiemodel te bouwen dat zero-shot overdracht op elk beeld kan implementeren. Het algoritme is afhankelijk van Inter-Aandacht Gelijkenis en Intra-Aandacht Gelijkenis om aandachtmaskers iteratief te fusioneren tot geldige segmentatiemaskers om state-of-the-art prestaties te bereiken op populaire benchmarks.