Yksi tärkeimmistä haasteista tietokoneen näön perusteella kehitetyissä malleissa on korkealaatuisten jaon maskien luominen. Viimeaikaiset edistysaskeleet suurten valvottujen koulutusten parissa ovat mahdollistaneet nollasuorituksen jaon useilla eri kuvatyyleillä. Lisäksi valvomattomat koulutusmenetelmät ovat yksinkertaisesti jaon ilman laajoja merkintöjä. Vaikka nämä kehityssuunnat ovat lupaavia, tietokoneen näön kehyksen rakentaminen, joka pystyy jakamaan mitä tahansa nollasuorituksessa ilman merkintöjä, on edelleen monimutkainen tehtävä. Semanttinen jakautuminen on perustava käsite tietokoneen näön malleissa, ja se sisältää kuvan jakamisen pienempiin alueisiin, joilla on yhdenmukaiset semantiikat. Tämä tekniikka luo perustan useille alimaille tehtäville, kuten lääketieteellisille kuville, kuvan muokkaukselle, itseohjautuvalle ajolle ja monille muille.

Jotta tietokoneen näön mallien kehitystä voidaan edistää, on tärkeää, että kuvan jakautuminen ei rajoitu kiinteään tietokantaan, jossa on rajoitettu määrä kategorioita. Sen sijaan se tulisi toimia monipuolisena perustehtävänä useille sovelluksille. Kuitenkin kuvien pikselikohtaisen merkitsemisen korkea kustannus esittää merkittävän haasteen, joka rajoittaa nollasuorituksen ja valvottujen jakautumismenetelmien edistymistä, jotka eivät vaadi merkintöjä eivätkä edellytä etukäteen tietoa kohdekohteesta. Tässä artikkelissa käsitellään, miten itsehuomiokerrokset vakaissa diffuusiomalleissa voivat mahdollistaa mallin luomisen, joka pystyy jakamaan minkä tahansa syötteen nollasuorituksessa ilman oikein merkittyjä tietoja. Nämä itsehuomiokerrokset ymmärtävät luonnostaan olion käsitteitä, jotka esikoulutetussa vakaassa diffuusiomallissa on opittu.

DiffSeg : Parannettu nollasuoritus jaonmenetelmä

Semanttinen jakautuminen on prosessi, jossa kuva jaetaan useaan osaan, joilla kullakin on samanlaiset semantiikat. Tämä tekniikka luo perustan useille alimaille tehtäville. Perinteisesti nollasuoritus tietokoneen näön tehtävät ovat riippuvaisia valvotusta semanttisesta jakautumisesta, joka käyttää suuria tietokantoja, joissa on merkittyjä ja luokiteltuja kategorioita. Kuitenkin toteuttaminen valvomattomasta semanttisesta jakautumisesta nollasuorituksessa on edelleen haaste. Vaikka perinteiset valvotut menetelmät ovat tehokkaita, niiden pikselikohtainen merkitsemiskustannus on usein esteettä, korostaen tarvetta kehittää valvomattomia jakautumismenetelmiä vapaammissa nollasuoritusympäristöissä, joissa malli ei vaadi merkittyjä tietoja eikä etukäteistietoa tiedosta.

DiffSeg esittää uuden jälkikäsittelystrategian, joka hyödyntää vakaan diffuusiokehyksen ominaisuuksia luomaan yleisen jakautumismallin, joka pystyy nollasuoritukseen minkä tahansa kuvan kohdalla. Vakaat diffuusiokehykset ovat osoittaneet tehokkuutensa korkealaatuisten kuvien luomisessa perustuu ohjelmointiehdoille. Generoiduille kuville nämä kehykset voivat tuottaa jakautumismaskin vastaavien tekstiprompttien avulla, jotka sisältävät yleensä vain hallitsevat etualueen esineet.

Toisin kuin DiffSeg, joka on innovatiivinen jälkikäsittelymenetelmä, joka luo jakautumismaskit hyödyntämällä huomiovektoreita itsehuomiokerroksista diffuusiomallissa. DiffSeg-algoritmi koostuu kolmesta pääkomponentista: iteraatiivisesta huomion yhdistämisestä, huomion kokoamisesta ja ei-enimmäissuppressiosta, kuten seuraavassa kuvassa näkyy.

DiffSeg-algoritmi säilyttää visuaalisen tiedon useiden resoluutioiden yli kokoamalla 4D-huomiovektorit avaruudellisella johdonmukaisuudella ja käyttämällä iteraatiivista yhdistämismenetelmää, jossa otetaan näyteankkuripisteitä. Nämä ankkurit toimivat laukaisupisteenä huomio-maskien yhdistämiselle, joissa saman olion ankkurit imeytyvät lopulta. DiffSeg-kehyksen ohjaa yhdistämisprosessia avulla KL-erosmenetelmää mittaamaan kahden huomiovektorin välistä samankaltaisuutta.

Kun verrataan klusterointipohjaisiin valvomattomiin jakautumismenetelmiin, kehittäjien ei tarvitse määritellä klusterien lukumäärää etukäteen DiffSeg-algoritmissa, ja ilman mitään etukäteistietoa DiffSeg-algoritmi voi tuottaa jakautumisen ilman lisäresursseja. Kokonaisuutena DiffSeg-algoritmi on ”Uusi valvomaton ja nollasuoritus jaonmenetelmä, joka käyttää esikoulutettua vakaata diffuusiomallia, ja voi jakaa kuvia ilman lisäresursseja tai etukäteistietoa.”

DiffSeg : Perus käsitteet

DiffSeg on uusi algoritmi, joka perustuu diffuusiomallien, valvomattoman jakautumisen ja nollasuoritus jaon opetuksiin.

Diffuusiomallit

DiffSeg-algoritmi perustuu esikoulutettujen diffuusiomallien opetuksiin. Diffuusiomallit ovat yksi suosituimmista generatiivisista kehyksistä tietokoneen näön malleissa, ja ne oppivat eteen- ja taaksepäin diffuusioprosessin näytetyistä isotrooppisista Gaussian-noise-kuvista kuvan luomiseksi. Vakaat diffuusiomallit ovat diffuusiomallien suosituin variantti, ja niitä käytetään useiden tehtävien suorittamiseen, mukaan lukien valvottu jakautuminen, nollasuoritus luokittelu, semanttinen vastaavuus, täsmäluokittelu ja avoimen sanaston jakautuminen. Kuitenkin diffuusiomallien ongelmana on, että ne riippuvat korkean dimensionaalisista visuaalisista piirteistä näiden tehtävien suorittamiseen, ja ne usein vaativat lisäkoulutusta, jotta niistä voidaan hyötyä täysimääräisesti.

Valvomaton jakautuminen

DiffSeg-algoritmi on läheisesti liittynyt valvomattomaan jakautumiseen, joka on moderni tekoälymenetelmä, joka pyrkii tuottamaan tiheitä jakautumismaskeja ilman merkintöjä. Kuitenkin hyvän suorituskyvyn saavuttamiseksi valvomattomat jakautumismallit tarvitsevat jonkin verran etukäteistä valvomatonta koulutusta kohdekokoelmassa. Valvomaton jakautuminen perustuu tekoälykehyksiin, jotka voidaan luokitella kahteen kategoriaan: klusterointi esikoulutetuilla malleilla ja klusterointi muuttumattomuuden perusteella. Ensimmäisessä kategoriassa kehykset käyttävät esikoulutettujen mallien diskriminanteja piirteitä jakautumismaskien luomiseen, kun taas toisessa kategoriassa kehykset käyttävät yleistä klusterointialgoritmiä, joka optimoi kahden kuvan välistä vastaavuutta jakautumisen estämiseksi degeneratiivisesta jakautumisesta.

Nollasuoritus jakautuminen

DiffSeg-algoritmi on läheisesti liittynyt nollasuoritus jakautumiskehyksiin, jotka ovat menetelmiä, joilla voidaan jakaa mitä tahansa ilman etukäteistä koulutusta tai tietoa tiedosta. Nollasuoritus jakautumismallit ovat osoittaneet poikkeuksellista nollasuoritus siirtymiskykyä viime aikoina, vaikka ne vaativat tekstisyötteen ja ohjelmointipromptteja. Sen sijaan DiffSeg-algoritmi käyttää diffuusiomallia jakautumismaskin luomiseen ilman useiden kuvien synteesiä tai kohdekohteen sisällön tuntemista.

DiffSeg : Menetelmä ja arkkitehtuuri

DiffSeg-algoritmi käyttää itsehuomiokerroksia esikoulutetussa vakaassa diffuusiomallissa luomaan korkealaatuisia jakautumistehtäviä.

Vakaa diffuusiomalli

Vakaa diffuusio on yksi DiffSeg-kehyksen peruskäsitteistä. Vakaa diffuusio on generatiivinen tekoälykehyksen, ja se on yksi suosituimmista diffuusiomalleista. Yksi diffuusiomallin tärkeimmistä ominaisuuksista on eteen- ja taaksepäin siirtymä. Eteenpäin siirtymässä kuvaan lisätään pieni määrä Gaussian-noisea iteratiivisesti jokaisessa aikaskaalassa, kunnes kuva muuttuu isotrooppiseksi Gaussian-noise-kuvaksi. Taaksepäin siirtymässä diffuusiomalli poistaa iteratiivisesti Gaussian-noisen isotrooppisesta Gaussian-noise-kuvasta palauttaa alkuperäisen kuvan ilman Gaussian-noisea.

Vakaa diffuusiokehyksen käyttää kooderin ja dekooderin sekä U-Net-suunnittelua, jossa on huomiokerros, jossa se käyttää kooderia kuvan pakkaamiseen latenttiavaruuteen, jossa on pienemmät spatiaaliset ulottuvuudet, ja dekooderia kuvan purkamiseen. U-Net-arkkitehtuuri koostuu modulaarisista lohkoista, joista jokainen koostuu joko Transformer-kerroksesta tai ResNet-kerroksesta.

Komponentit ja arkkitehtuuri

Itsehuomiokerrokset diffuusiomalleissa ryhmittävät tiedon inherentistä esineistä spatiaalisten huomiovektoreiden muodossa, ja DiffSeg on uusi jälkikäsittelymenetelmä, joka yhdistää huomiovektorit validiin jakautumismaskiin, jonka putki koostuu kolmesta pääkomponentista: huomion kokoamisesta, ei-enimmäissuppressiosta ja iteraatiivisesta huomion yhdistämisestä.

Huomion kokoaminen

Kun syötekuva kulkee U-Net-kerrosten ja kooderin läpi, vakaan diffuusiomalli tuottaa yhteensä 16 huomiovektoria, joista 5 vektoria on jokaisessa ulottuvuudessa. Huomiovektoreiden tuottamisen tärkein tavoite on koota nämä vektorit eri resoluutioilla yhteen vektoriin, jolla on mahdollisimman korkein resoluutio. Tämän saavuttamiseksi DiffSeg-algoritmi käsittelee neljää ulottuvuutta toisistaan eroavaisesti.

Neljästä ulottuvuudesta viimeiset kaksi ulottuvuutta huomiovektoreissa ovat eri resoluutioita, mutta ne ovat spatiaalisesti yhdenmukaisia, koska DiffSeg-kehyksen 2D-spatiaalinen kartta vastaa sijaintien ja spatiaalisten sijaintien välistä suhdetta. Tuloksena DiffSeg-kehyksen ottaa nämä kaksi ulottuvuutta kaikista huomiovektoreista korkeimpaan resoluutioon, 64 x 64. Sen sijaan ensimmäiset kaksi ulottuvuutta osoittavat huomiovektoreiden sijaintiviitteen, kuten seuraavassa kuvassa näkyy.

Koska nämä ulottuvuudet viittaavat huomiovektoreiden sijaintiin, huomiovektorit on kootettava vastaavasti. Lisäksi, jotta kootun huomiovektorin jakautuminen on validi, kehyksen normalisoi jakautuminen kokoamisen jälkeen, ja jokainen huomiovektori saa painon, joka on suhteessa sen resoluutioon.

Iteratiivinen huomion yhdistäminen

Kun huomion kokoamisen tärkein tavoite oli laskea huomiovektori, tärkein tavoite on yhdistää huomiovektorit pinossa esine-ehdokkaita, joista jokainen sisältää joko tavaroiden kategorian tai yhden esineen aktivaation. Ehdotettu ratkaisu tähän on toteuttaa K-Means-algoritmi validin jakautumisen huomiovektoreiden klastereiden löytämiseksi. Kuitenkin K-Means-klasterin käyttäminen ei ole optimaalinen ratkaisu, koska K-Means-klasterin vaatii käyttäjän määrittämään klastereiden määrän etukäteen. Lisäksi K-Means-algoritmin toteuttaminen voi johtaa eri tuloksiin samasta kuvasta, koska se riippuu stoossa aloituksesta. Tämän esteen voittamiseksi DiffSeg-kehyksen ehdottaa näytteenottogitterin luomista ehdokkaiden luomiseksi huomiovektoreiden yhdistämällä iteratiivisesti.

Ei-enimmäissuppressio

Edellinen vaihe, iteratiivinen huomion yhdistäminen, tuottaa listan esine-ehdokkaita todennäköisyys- tai huomiovektoreiden muodossa, joissa jokainen esine-ehdokas sisältää esineen aktivaation. Keheyksen käyttää ei-enimmäissuppressiota muuttaakseen esine-ehdokkaiden listan validiksi jakautumismaskiksi, ja prosessi on tehokas lähestymistapa, koska jokainen lista-an elementti on jo todennäköisyysjakautuminen. Jokaiselle spatiaaliselle sijainnille kaikissa kartoissa algoritmi ottaa suurimman todennäköisyyden indeksin ja määrittää jäsenyyden sen perusteella.

DiffSeg : Kokeet ja tulokset

Valvomattomat jakautumiskehykset käyttävät kahta jakautumisbenchmarkia: Cityscapes ja COCO-stuff-27. Cityscapes-benchmark on itseohjautuvan ajo-aineisto, jossa on 27 keskitason kategoriaa, kun taas COCO-stuff-27-benchmark on kuriainen versio alkuperäisestä COCO-stuff-aineistosta, jossa on 80 esinettä ja 91 kategoriaa, jotka on yhdistetty 27 kategoriaan. Lisäksi jakautumisen suorituskyvyn analysointiin DiffSeg-kehyksen käyttää keskimääräistä leikkausympäristöä (mIoU) ja pikselin tarkkuutta (ACC), ja koska DiffSeg-algoritmi ei voi antaa semanttista merkintää, se käyttää Hungarian-matching-algoritmiä määrittämään maali-maskin jokaiselle ennustetulle maskille. Jos ennustettujen maskien määrä ylittää maal-maskien määrän, kehyksen ottaa huomioon vastaamattomat ennustetut tehtävät virheellisinä negatiivisina.

Lisäksi DiffSeg-kehyksen korostaa seuraavat kolme työtä suorittaa interferenssiä: Kielen riippuvuus (LD), Valvomaton sopeutuminen (UA) ja Apu-kuvat (AX). Kielen riippuvuus tarkoittaa, että menetelmä vaatii kuvausTeksti-syötteen jakautumisen helpottamiseksi kuvassa, Valvomaton sopeutuminen viittaa siihen, että menetelmä vaatii valvomattoman koulutuksen kohdeaineistossa, kun taas Apu-kuvat tarkoittavat, että menetelmä vaatii lisäsyötettä joko syntetisoina kuvina tai viitekuvana.

Tulokset

COCO-benchmarkilla DiffSeg-kehyksen sisältää kaksi K-Means-baselinea, K-Means-S ja K-Means-C. K-Means-C-baseline sisältää 6 klusteria, jotka on laskettu keskimääräisestä esineiden määrästä arvioiduissa kuvissa, kun taas K-Means-S-baseline käyttää tietyn määrän klustereita kussakin kuvassa perustuen maaliaineiston esineiden määrään, ja tulokset näissä baselineissa on esitetty seuraavassa kuvassa.

Kuten voidaan nähdä, K-Means-baseline ylittää olemassa olevat menetelmät, osoittaen itsehuomiovektoreiden käytön hyödyt. Mielenkiintoista on, että K-Means-S-baseline ylittää K-Means-C-baseline, mikä osoittaa, että klusterien määrä on tärkeä hyperparametri, ja sen säätäminen on tärkeää jokaiselle kuvalle. Lisäksi, vaikka DiffSeg-kehyksen riippuu samasta huomiovektorista, se ylittää K-Means-baseline, mikä osoittaa DiffSeg-kehyksen kyvyn tarjota parempaa jakautumista ja välttää K-Means-baselineiden haittoja.

Cityscapes-aineistolla DiffSeg-kehyksen saavuttaa tulokset, jotka ovat saman tasoisia kuin kehykset, jotka käyttävät syötettä alemmalla 320-resoluutiolla, ja se ylittää kehykset, jotka käyttävät syötettä korkeammalla 512-resoluutiolla, sekä tarkkuudessa että mIoU:ssa.

Kuten mainittiin aiemmin, DiffSeg-kehyksen käyttää useita hyperparametrejä, kuten seuraavassa kuvassa näkyy.

Huomion kokoaminen on yksi DiffSeg-kehyksen peruskäsitteistä, ja eri kokoamispainotusten vaikutusta on esitetty seuraavassa kuvassa, kuvan resoluutio pysyy vakiona.

Kuten voidaan nähdä, korkearesoluutioiset kartat (b) 64 x 64 tuottavat yksityiskohtaisimmat jakautumiset, vaikka ne sisältävät joitakin näkyviä murtumia, kun taas matalaresoluutioiset 32 x 32 -kartat taipuvat ylijakautumaan yksityiskohtiin, vaikka ne johtavat parempiin yhdenmukaisten jakautumisiin. Kuva (d) osoittaa, että matalaresoluutioiset kartat eivät pysty tuottamaan jakautumista, koska koko kuva yhdistyy yhdeksi esineeksi olemassa olevien hyperparametrien asetuksilla. Lopulta, kuva (a), joka käyttää suhteellista kokoamisstrategiaa, johtaa parempiin yksityiskohtiin ja tasapainoiseen johdonmukaisuuteen.

Loppusanat

Nollasuoritus valvomaton jakautuminen on edelleen yksi suurimmista haasteista tietokoneen näön kehyksissä, ja olemassa olevat mallit joko riippuvat nollasuorituksen valvomattomasta sopeutumisesta tai ulkoisista resursseista. Tämän haasteen voittamiseksi olemme käsitelleet, miten itsehuomiokerrokset vakaissa diffuusiomalleissa voivat mahdollistaa mallin luomisen, joka pystyy jakamaan minkä tahansa syötteen nollasuorituksessa ilman oikein merkittyjä tietoja, koska nämä itsehuomiokerrokset sisältävät luonnostaan olion käsitteitä, jotka esikoulutetussa vakaassa diffuusiomallissa on opittu. Olemme myös käsitelleet DiffSegiä, joka on uusi jälkikäsittelystrategia, joka pyrkii hyödyntämään vakaan diffuusiokehyksen potentiaalia luomaan yleinen jakautumismalli, joka pystyy nollasuoritukseen minkä tahansa kuvan kohdalla. Algoritmi perustuu huomiovektoreiden välisten samankaltaisuuksien yhdistämiseen iteratiivisesti validiksi jakautumismaskeiksi saavuttaakseen huipputason suorituskyvyn suosituilla benchmark-aineistoilla.