En af de centrale udfordringer i computer vision-baserede modeller er generering af højkvalitets segmenteringsmasker. Seneste fremskridt i storstilede supervisede træningsprocesser har muliggjort zero-shot segmentering på tværs af forskellige billedstiler. Desuden har unsupervisede træningsprocesser forenklet segmentering uden behov for omfattende annoteringer. Trods disse udviklinger er det stadig en kompleks opgave at konstruere et computer vision-rammeværk, der kan segmentere noget som helst i en zero-shot indstilling uden annoteringer. Semantisk segmentering, en grundlæggende koncept i computer vision-modeller, indebærer at opdele et billede i mindre regioner med ensartede semantik. Denne teknik lægger grundlaget for talrige downstream-opgaver, såsom medicinsk billedbehandling, billedredigering, selvstyrende kørsel og mere.

For at fremme udviklingen af computer vision-modeller er det afgørende, at billedsegmentering ikke begrænses til en fast dataset med begrænsede kategorier. I stedet skal den fungere som en fleksibel grundlæggende opgave for forskellige andre anvendelser. Dog udgør den høje omkostning ved at indsamle mærker på en per-pixel-basis en betydelig udfordring, der begrænser fremgangen for zero-shot og supervisede segmenteringsmetoder, der kræver ingen annoteringer og mangler forhåndskendskab til målet. Denne artikel vil diskutere, hvordan selv-attention lag i stabil diffusion-modeller kan faciliterer skabelsen af en model, der kan segmentere ethvert input i en zero-shot indstilling, selv uden korrekte annoteringer. Disse selv-attention lag forstår inherent objektkoncepter lært af en pre-trænet stabil diffusion-model.

DiffSeg : En forbedret Zero-Shot Segmenteringsalgoritme

Semantisk segmentering er en proces, der opdeler et billede i forskellige sektioner, hvor hver sektion deler lignende semantik. Denne teknik danner grundlaget for talrige downstream-opgaver. Traditionelt har zero-shot computer vision-opgaver afhængigt af supervisede semantiske segmentering, der anvender store datasets med annoterede og mærkede kategorier. Dog forbliver implementeringen af unsupervisede semantiske segmentering i en zero-shot indstilling en udfordring. Mens traditionelle supervisede metoder er effektive, er deres per-pixel-mærkningsomkostning ofte forhindrende, hvilket understreger behovet for at udvikle unsupervisede segmenteringsmetoder i en mindre restriktiv zero-shot indstilling, hvor modellen hverken kræver annoteret data eller forhåndskendskab til data.

For at imødekomme denne begrænsning introducerer DiffSeg en ny post-processing-strategi, der udnytter stabilitetsdiffusionsrammeværkets muligheder for at opbygge en generisk segmenteringsmodel, der kan udføre zero-shot overføring på ethvert billede. Stabilitetsdiffusionsrammeværker har bevist deres effektivitet i generering af højopløsningsbilleder baseret på promptbetingelser. For genererede billeder kan disse rammeværker producere segmenteringsmasker ved hjælp af tilsvarende tekstprompt, der typisk kun omfatter dominante forgrundsobjekter.

I modsætning hertil er DiffSeg en innovativ post-processing-metode, der skaber segmenteringsmasker ved at anvende attention-tensorer fra selv-attention lagene i en diffusion-model. DiffSeg-algoritmen består af tre nøglekomponenter: iterativ attention-sammenlægning, attention-sammenlægning og non-maximum-undertrykkelse, som vist i følgende billede.

DiffSeg-algoritmen bevare visuelt information på tværs af multiple opløsninger ved at sammenlægge 4D attention-tensorer med spatial konsistens og anvende en iterativ sammenlægningsproces ved at prøve anchor-punkter. Disse anchor-punkter fungerer som udgangspunkt for sammenlægning af attention-masker med samme objekts anchor-punkter, der til sidst bliver absorberet. DiffSeg-rammeværket kontrollerer sammenlægningsprocessen med hjælp af KL-divergens-metoden for at måle ligheden mellem to attention-kort.

Når sammenlignet med clustering-baserede unsupervisede segmenteringsmetoder behøver udviklere ikke at specificere antallet af clusters i forvejen i DiffSeg-algoritmen, og selv uden nogen forhåndskendskab kan DiffSeg-algoritmen producere segmentering uden at anvende yderligere ressourcer. Samlet set er DiffSeg-algoritmen en ny unsupervisede og zero-shot segmenteringsmetode, der anvender en pre-trænet stabil diffusion-model og kan segmentere billeder uden yderligere ressourcer eller forhåndskendskab.

DiffSeg : Grundlæggende Koncepter

DiffSeg er en ny algoritme, der bygger på erfaringerne fra Diffusionsmodeller, Unsupervisede Segmentering og Zero-Shot Segmentering.

Diffusionsmodeller

DiffSeg-algoritmen bygger på erfaringerne fra pre-trænede diffusionsmodeller. Diffusionsmodeller er en af de mest populære generative rammeværker for computer vision-modeller og lærer den fremad- og baglæns-diffusionsproces fra et sampillet isotropt Gaussisk støj-billede for at generere et billede. Stabil Diffusion er den mest populære variant af diffusionsmodeller og anvendes til en lang række opgaver, herunder supervisede segmentering, zero-shot klassifikation, semantisk-korrespondance-matching, label-effektiv segmentering og åben-vokabular-segmentering. Dog har diffusionsmodeller det problem, at de afhænger af høj-dimensionale visuelle funktioner for at udføre disse opgaver og ofte kræver yderligere træning for at udnytte disse funktioner fuldt ud.

Unsupervisede Segmentering

DiffSeg-algoritmen er tæt relateret til unsupervisede segmentering, en moderne AI-praksis, der har til formål at generere tætte segmenteringsmasker uden at anvende nogen annoteringer. Dog kræver unsupervisede segmenteringsmodeller en vis mængde forhåndstræning på måldatasættet for at levere god ydelse. Unsupervisede segmenteringsmodeller baseret på AI-rammeværker kan karakteriseres i to kategorier: clustering ved hjælp af pre-trænede modeller og clustering baseret på invarians. I den første kategori anvender rammeværkerne de diskriminerende funktioner, der er lært af pre-trænede modeller, for at generere segmenteringsmasker, mens rammeværker i den anden kategori anvender en generisk clustering-algoritme, der optimerer den gensidige information mellem to billeder for at segmentere billeder i semantiske cluster og undgå degraderet segmentering.

Zero-Shot Segmentering

DiffSeg-algoritmen er tæt relateret til zero-shot segmenterings-rammeværker, en metode med evnen til at segmentere noget som helst uden nogen forhåndstræning eller kendskab til data. Zero-shot segmenteringsmodeller har demonstreret enestående zero-shot overføringsevner i nyere tid, selv om de kræver en vis mængde tekst-input og prompt. I modsætning hertil anvender DiffSeg-algoritmen en diffusionsmodel til at generere segmentering uden at forespørge og syntetisere multiple billeder og uden at kende indholdet af objektet.

DiffSeg : Metode og Arkitektur

DiffSeg-algoritmen anvender selv-attention lagene i en pre-trænet stabil diffusion-model til at generere højkvalitets segmenteringsopgaver.

Stabil Diffusion Model

Stabil Diffusion er en af de grundlæggende koncepter i DiffSeg-rammeværket. Stabil Diffusion er en generativ AI-rammeværk og en af de mest populære diffusionsmodeller. En af de vigtigste karakteristika af en diffusionsmodel er en fremad- og baglæns-pass. I den fremadgående pass tilføjes en lille mængde Gaussisk støj til et billede iterativt ved hver tidspunkt, indtil billedet bliver et isotropt Gaussisk støj-billede. I den baglæns-pass fjerner diffusionsmodellen iterativt støjen i det isotrope Gaussiske støj-billede for at genskabe det originale billede uden nogen Gaussisk støj.

Stabil Diffusion-rammeværket anvender en encoder-decoder og en U-Net-design med attention-lag, hvor det anvender en encoder til at komprimere et billede til et latent-rum med mindre spatial dimensioner og anvender en decoder til at dekomprimere billedet. U-Net-arkitekturen består af en stak af modulære blokke, hvor hver blok er sammensat af enten af følgende to komponenter: en Transformer-lag eller en ResNet-lag.

Komponenter og Arkitektur

Selv-attention lag i diffusionsmodeller grupperer information om inherent objekter i form af spatial attention-kort, og DiffSeg er en ny post-processing-metode til at sammenlægge attention-tensorer til en gyldig segmenteringsmaske med pipeline, der består af tre hovedkomponenter: attention-sammenlægning, non-maximum-undertrykkelse og iterativ attention.

Attention-Sammenlægning

For et input-billede, der passerer gennem U-Net-lagene og encoderen, genererer Stabil Diffusion-modellen i alt 16 attention-tensorer, med 5 tensorer for hver af dimensionerne. Det primære mål med at generere 16 tensorer er at sammenlægge disse attention-tensorer med forskellige opløsninger til en tensor med den højeste mulige opløsning. For at opnå dette behandler DiffSeg-algoritmen de fire dimensioner forskelligt fra hinanden.

Af de fire dimensioner har de sidste to dimensioner i attention-sensorerne forskellige opløsninger, men de er spatialt konsistente, da den 2D-spatial-kort i DiffSeg-rammeværket svarer til korrelationen mellem placeringerne og de spatial placeringer. Resultatet er, at DiffSeg-rammeværket sampler disse to dimensioner af alle attention-kort til den højeste opløsning af alle, 64 x 64. På den anden side angiver de første to dimensioner placeringen af attention-kortene, som demonstreret i følgende billede.

Da disse dimensioner refererer til placeringen af attention-kortene, skal attention-kortene sammenlægges derefter. Desuden for at sikre, at den sammenlægnede attention-kort har en gyldig distribution, normaliserer rammeværket distributionen efter sammenlægning med hver attention-kort tildeles en vægt proportional til dets opløsning.

Iterativ Attention-Sammenlægning

Mens det primære mål med attention-sammenlægning var at beregne en attention-tensor, er det primære formål at sammenlægge attention-kortene i tensor til en stak af objektforslag, hvor hver enkelt forslag indeholder enten en stuff-kategori eller aktiveringen af et enkelt objekt. Den foreslåede løsning til at opnå dette er at implementere en K-Means-algoritme på den gyldige distribution af tensorerne for at finde klasterne af objekterne. Dog er anvendelsen af K-Means ikke den optimale løsning, da K-Means-kustering kræver, at brugeren specificerer antallet af klaster i forvejen. Desuden kan implementeringen af en K-Means-algoritme resultere i forskellige resultater for samme billede, da det afhænger stokastisk af initialiseringen. For at overvinde dette problem foreslår DiffSeg-rammeværket at generere en sampling-grid for at skabe forslagene ved at sammenlægge attention-kort iterativt.

Non-Maximum-Undertrykkelse

Den foregående proces med iterativ attention-sammenlægning resulterer i en liste af objektforslag i form af sandsynligheds- eller attention-kort, hvor hver objektforslag indeholder aktiveringen af objektet. Rammeværket anvender non-maximum-undertrykkelse for at konvertere listen af objektforslag til en gyldig segmenteringsmaske, og processen er en effektiv tilgang, da hvert element i listen allerede er et kort over sandsynlighedsfordelingen. For hver spatial placering på tværs af alle kort tager algoritmen indekset for den største sandsynlighed og tildeler en medlemskab på basis af indekset for det tilsvarende kort.

DiffSeg : Eksperimenter og Resultater

Rammeværker, der arbejder med unsupervisede segmentering, anvender to segmenterings-benchmark, nemlig Cityscapes og COCO-stuff-27. Cityscapes-benchmark er en selv-kørende dataset med 27 mid-level-kategorier, mens COCO-stuff-27-benchmark er en kurateret version af den originale COCO-stuff-dataset, der sammenlægger 80 ting og 91 kategorier i 27 kategorier. Desuden anvender DiffSeg-rammeværket mean intersection over union eller mIoU og pixel-accurate eller ACC til at analysere segmenterings-ydelsen, og da DiffSeg-algoritmen ikke kan give en semantisk mærke, anvender den Hungarian matching-algoritmen til at tildele en grund-sandhed-maske med hver forudsiget maske. Hvis antallet af forudsigede masker overstiger antallet af grund-sandhed-masker, vil rammeværket tage ubesatte forudsigede opgaver som falske negativer.

Desuden lægger DiffSeg-rammeværket også vægt på følgende tre arbejder for at køre interference: Language Dependency eller LD, Unsupervised Adaptation eller UA og Auxiliary Image eller AX. Language Dependency betyder, at metoden kræver deskriptive tekst-input for at faciliterer segmentering for billedet, Unsupervised Adaptation refererer til, at metoden kræver unsupervisede træning på måldatasættet, mens Auxiliary Image refererer til, at metoden kræver yderligere input, enten som syntetiske billeder eller som en pulje af reference-billeder.

Resultater

På COCO-benchmark inkluderer DiffSeg-rammeværket to K-Means-baseline, K-Means-S og K-Means-C. K-Means-C-benchmark inkluderer 6 klaster, der er beregnet ved at gennemsnitte antallet af objekter i billederne, der vurderes, mens K-Means-S-benchmark anvender et bestemt antal klaster for hvert billede på basis af antallet af objekter i grund-sandheden af billedet, og resultaterne på begge disse benchmark er demonstreret i følgende billede.

Som det kan ses, overgår K-Means-baseline eksisterende metoder, hvilket demonstrerer fordelene ved at anvende selv-attention-tensorer. Det er interessant, at K-Means-S-benchmark overgår K-Means-C-benchmark, hvilket indikerer, at antallet af klaster er en grundlæggende hyper-parameter, og det er vigtigt at justere den for hvert billede. Desuden, selv når man anvender de samme attention-tensorer, overgår DiffSeg-rammeværket K-Means-baselines, hvilket beviser DiffSeg-rammeværkets evne til ikke kun at give bedre segmentering, men også til at undgå ulemperne ved at anvende K-Means-baselines.

På Cityscapes-datasættet leverer DiffSeg-rammeværket resultater, der er lignende med rammeværker, der anvender input med lavere 320-opløsning, mens det overgår rammeværker, der tager højere 512-opløsning-input på tværs af nøjagtighed og mIoU.

Som nævnt tidligere anvender DiffSeg-rammeværket flere hyper-parametre, som demonstreret i følgende billede.

Attention-sammenlægning er en af de grundlæggende koncepter, der anvendes i DiffSeg-rammeværket, og effekten af at anvende forskellige sammenlægningsvægte er demonstreret i følgende billede med billedets opløsning som konstant.

Som det kan observeres, giver højopløsningskort i Figur (b) med 64 x 64-kort de mest detaljerede segmenteringer, selv om segmenteringerne har nogle synlige revner, mens lavere opløsningskort (32 x 32) har tendens til at over-segmentere detaljer, selv om det resulterer i forbedrede kohærente segmenteringer. I Figur (d) mislykkes lavopløsningskort med at generere nogen segmentering, da hele billedet bliver sammenlagt til et enkelt objekt med de eksisterende hyper-parametre-indstillinger. Til sidst giver Figur (a), der anvender en proportional sammenlægningsstrategi, forbedrede detaljer og balanceret konsistens.

Endelige Tanker

Zero-shot unsupervisede segmentering er stadig en af de største udfordringer for computer vision-rammeværker, og eksisterende modeller afhænger enten af non-zero-shot unsupervisede tilpasning eller af eksterne ressourcer. For at overvinde denne udfordring har vi talt om, hvordan selv-attention lag i stabil diffusion-model kan muliggøre opbygningen af en model, der kan segmentere ethvert input i en zero-shot indstilling uden korrekte annoteringer, da disse selv-attention lag indeholder de inherent objektkoncepter, der læres af en pre-trænet stabil diffusion-model. Vi har også talt om DiffSeg, en ny post-processing-strategi, der har til formål at udnytte potentialet i Stabil Diffusion-rammeværket til at opbygge en generisk segmenteringsmodel, der kan udføre zero-shot overføring på ethvert billede. Algoritmen afhænger af Inter-Attention-Lighed og Intra-Attention-Lighed til at sammenlægge attention-kort iterativt til gyldige segmenteringsmasker for at opnå state-of-the-art-ydelse på populære benchmark.