Segment Anything-modellen: et stort fremskritt for maskinsyn

Maskinsyn (CV) har nådd 99% nøyaktighet fra 50% på bare 10 år. Teknologien forventes å forbedres ytterligere til et hittil usett nivå med moderne algoritmer og bildesegmenteringsteknikker. Nylig har Metas FAIR-laboratorium lansert Segment Anything Model (SAM) – et gjennombrudd i bildesegmentering. Denne avanserte modellen kan produsere detaljerte objektmasker fra inndata-prompter, og tar maskinsyn til nye høyder. Den kan potensielt revolusjonere hvordan vi interagerer med digital teknologi i denne æraen.

La oss utforske bildesegmentering og kort avdekke hvordan SAM påvirker maskinsyn.

Hva er bildesegmentering & hvilke typer finnes?

Bildesegmentering er en prosess i maskinsyn som deler et bilde inn i flere regioner eller segmenter, hvor hver representerer et annet objekt eller område av bildet. Denne tilnærmingen tillater eksperter å isolere bestemte deler av et bilde for å få meningsfulle detaljer.

Bildesegmenteringsmodeller er trent for å forbedre utgangen ved å gjenkjenne viktige bilde-detaljer og redusere kompleksitet. Disse algoritmene skiller effektivt mellom ulike regioner av et bilde basert på egenskaper som farge, tekstur, kontrast, skygge og kanter.

Ved å segmentere et bilde, kan vi fokusere vår analyse på områdene av interesse for å få meningsfulle detaljer. Under følger ulike bildesegmenteringsteknikker.

• Semantisk segmentering innebærer å merke piksler inn i semantiske klasser.
• Instanssegmentering går videre ved å detektere og avgrense hvert objekt i et bilde.
• Panoptisk segmentering tildeler unike instans-ID-er til individuelle objektpiksler, noe som resulterer i mer omfattende og kontekstuell merking av alle objekter i et bilde.

Segmentering implementeres ved hjelp av bildebaserte modeller for dyp læring. Disse modellene henter alle verdifulle data-punkter og egenskaper fra treningssettet. Deretter omgjør de denne dataen til vektorer og matriser for å forstå komplekse egenskaper. Noen av de mest brukte modellene for dyp læring bak bildesegmentering er:

• Konvolusjonelle nevrale nettverk (CNN)
• Fullt tilkoblede nettverk (FCN)
• Rekurrente nevrale nettverk (RNN)

Hvordan fungerer bildesegmentering?

I maskinsyn, består de fleste bildesegmenteringsmodellene av et koder-dekoder-nettverk. Koderen lager en representasjon av inndataene i et latent rom, som dekoderen dekoder for å danne segment-kart, eller med andre ord, kart som viser plasseringen til hvert enkelt objekt i bildet.

Vanligvis består segmenteringsprosessen av 3 stadier:

• En bilde-encoder som transformerer inndata-bildet til en matematisk modell (vektorer og matriser) for prosessering.
• Koderen aggregerer vektorene på flere nivåer.
• En rask mask-decoder tar bilde-embeddingene som inndata og produserer en maske som avgrenser de ulike objektene i bildet hver for seg.

Tilstanden for bildesegmentering

Fra 2014, oppstod en bølge av segmenteringsalgoritmer basert på dyp læring, som CNN+CRF og FCN, som gjorde betydelig fremgang i feltet. I 2015 så vi oppblomstringen av U-Net og Deconvolution Network, som forbedret nøyaktigheten av segmenteringsresultatene.

Deretter, i 2016, forbedret Instance Aware Segmentation, V-Net og RefineNet nøyaktigheten og hastigheten av segmentering. I 2017 introduserte Mark-RCNN og FC-DenseNet objekt-deteksjon og tett prediksjon til segmenteringsoppgaver.

I 2018, var Panoptisk Segmentering, Mask-Lab og Context Encoding Networks i sentrum av scenen, da disse tilnærmingene adresserte behovet for segmentering på instansnivå. I 2019, introduserte Panoptic FPN, HRNet og Criss-Cross Attention nye tilnærminger for segmentering på instansnivå.

I 2020, fortsatte trenden med introduksjonen av Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS og Efficient Net + NAS-FPN. Til slutt, i 2023, har vi SAM, som vi skal diskutere neste.

Segment Anything Model (SAM) – Generell bildesegmentering

Bildekilde

Segment Anything Model (SAM) er en ny tilnærming som kan utføre interaktiv og automatisk segmentering i en enkelt modell. Tidligere, tillot interaktiv segmentering segmentering av hvilken som helst objekt-klasse, men krevde at en person veiledet metoden ved å iterativt finjustere en maske.

Automatisk segmentering i SAM tillater segmentering av bestemte objekt-kategorier definert på forhånd. Grensesnittet som tar imot instruksjoner gjør det svært fleksibelt. Som et resultat, kan SAM håndtere en rekke segmenteringsoppgaver ved å bruke en passende prompt, som klikk, avgrensningsbokser og tekst og mer.

SAM er trent på et diversifisert og innsiktsfullt datasett på over 1 milliard masker, noe som gjør det mulig å gjenkjenne nye objekter og bilder som ikke er tilgjengelige i treningssettet. Denne moderne rammen vil revolusjonere CV-modellene i applikasjoner som selvkjørende biler, sikkerhet og utvidet virkelighet.

SAM kan detektere og segmentere objekter rundt bilen i selvkjørende biler, som andre kjøretøy, fotgjengere og trafikkskilt. I utvidet virkelighet, kan SAM segmentere den virkelige verden for å plassere virtuelle objekter i passende lokasjoner, og skape en mer realistisk og engasjerende brukeropplevelse.

Bilde-segmenteringsutfordringer i 2023

Den økende forskningen og utviklingen i bildesegmentering bringer også betydelige utfordringer. Noen av de viktigste bildesegmenteringsutfordringene i 2023 inkluderer:

• Den økende kompleksiteten av datasett, spesielt for 3D-bildesegmentering
• Utviklingen av tolkbare modeller for dyp læring
• Bruken av modeller for ikke-veiledet læring som minimerer menneskelig inngripen
• Behovet for sanntids- og minne-effektive modeller
• Eliminering av flaskehalsene i 3D-punktsky-segmentering

Fremtiden for maskinsyn

Det globale markedet for maskinsyn påvirker flere industrier og forventes å nå over $41 milliarder i 2030. Moderne bildesegmenteringsteknikker som Segment Anything Model, kombinert med andre algoritmer for dyp læring, vil ytterligere styrke fundamentet for maskinsyn i det digitale landskapet. Derfor, vil vi se mer robuste maskinsyn-modeller og intelligente applikasjoner i fremtiden.

For å lære mer om AI og ML, utforsk Unite.ai – din samlede ressurs for alle spørsmål om teknologi og dens moderne tilstand.