AI-modeller og platforme

Segment Anything-modellen: et stort fremskridt for computer vision

Haziqa Sajid
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterMetas SAM-model opnår generel segmentering med en promptbar grænseflade.
Vis mere
  • Metas SAM-model opnår generel segmentering med en promptbar grænseflade.
  • SAM blev trænet på over en milliard masker, hvilket muliggør nulskudsobjektgenkendelse.
  • Markedet for computersyn forventes at overstige 41 milliarder dollars inden 2030.

Computer vision (CV) har nået 99% nøjagtighed fra 50% på blot 10 år. Teknologien forventes at forbedre sig yderligere til et hidtil uset niveau med moderne algoritmer og billedsegmenterings-teknikker. For nylig har Metas FAIR-laboratorium udgivet Segment Anything Model (SAM) – en game-changer i billedsegmentering. Denne avancerede model kan producere detaljerede objektmasker fra input-prompts, og tage computer vision til nye højder. Den kan potentielt revolutionere, hvordan vi interagerer med digital teknologi i denne æra.

Lad os udforske billedsegmentering og kort afsløre, hvordan SAM påvirker computer vision.

Hvad er Billedsegmentering & Hvad er dens Typer?

Billedsegmentering er en proces i computer vision, der opdeler et billede i multiple regioner eller segmenter, hver repræsenterende et forskelligt objekt eller område af billedet. Denne tilgang tillader eksperter at isolere bestemte dele af et billede for at opnå meningsfuld indsigt.

Billedsegmenteringsmodeller er trænet til at forbedre output ved at genkende vigtige billeddetaljer og reducere kompleksitet. Disse algoritmer kan effektivt skelne mellem forskellige regioner af et billede baseret på egenskaber som farve, tekstur, kontrast, skygger og kanter.

Ved at segmentere et billede kan vi fokusere vores analyse på de interessante regioner for indsigtsgivende detaljer. Herunder følger forskellige billedsegmenteringsteknikker.

  • Semantisk segmentering indebærer at mærke pixels med semantiske klasser.
  • Instanssegmentering går videre ved at detektere og afgrænse hvert objekt i et billede.
  • Panoptisk segmentering tildeler unikke instans-ID’er til individuelle objektpixels, hvilket resulterer i en mere omfattende og kontekstuel mærkning af alle objekter i et billede.

Segmentering implementeres ved hjælp af billedbaserede modeller til dyb læring. Disse modeller henter alle værdifulde datapunkter og egenskaber fra træningssættet. Derefter omdanner de disse data til vektorer og matricer for at forstå komplekse egenskaber. Nogle af de mest brugte modeller til dyb læring bag billedsegmentering er:

  • Konvolutionelle neurale netværk (CNN)
  • Fuldt forbundne netværk (FCN)
  • Rekurrente neurale netværk (RNN)

Hvordan Fungerer Billedsegmentering?

I computer vision består de fleste billedsegmenteringsmodeller af et encoder-decoder-netværk. Encoderen encoderer en latent rum-repræsentation af inputdata, som decoderen decoderer for at danne segmentkort, eller med andre ord, kort som afgrænser hvert objekts placering i billedet.

Som regel består segmenteringsprocessen af 3 faser:

  • En billedencoder, der transformerer inputbilledet til en matematisk model (vektorer og matricer) til behandling.
  • Encoderen samler vektorerne på multiple niveauer.
  • En hurtig maskedecoder tager billedindlejringerne som input og producerer en maske, der afgrænser forskellige objekter i billedet separat.

Tilstanden for Billedsegmentering

Fra 2014 opstod en bølge af segmenteringsalgoritmer baseret på dyb læring, såsom CNN+CRF og FCN, som gjorde betydelige fremskridt i feltet. 2015 så opkomsten af U-Net og Deconvolution Network, der forbedrede nøjagtigheden af segmenteringsresultaterne.

Derefter i 2016 forbedrede Instance Aware Segmentation, V-Net og RefineNet nøjagtigheden og hastigheden af segmentering. I 2017 introducerede Mark-RCNN og FC-DenseNet objektgenkendelse og tæt forudsigelse til segmenteringsopgaver.

I 2018 var Panoptisk Segmentering, Mask-Lab og Context Encoding Networks i centrum, da disse tilgange behandlede behovet for segmentering på instansniveau. I 2019 introducerede Panoptic FPN, HRNet og Criss-Cross Attention nye tilgange til segmentering på instansniveau.

I 2020 fortsatte trenden med introduktionen af Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS og Efficient Net + NAS-FPN. Endelig i 2023 har vi SAM, som vi vil diskutere næste.

Segment Anything Model (SAM) – Billedsegmentering til generelle formål

Den Segment Anything Model (SAM) er en ny tilgang, der kan udføre interaktive og automatiske segmenteringsopgaver i en enkelt model. Tidligere tillod interaktiv segmentering segmentering af enhver objektklasse, men krævede, at en person guidede metoden ved at iterativt finjustere en maske.

Automatisk segmentering i SAM tillader segmentering af bestemte objekt-kategorier defineret på forhånd. Dens grænseflade, der understøtter prompts, gør den meget fleksibel. Derfor kan SAM håndtere en bred vifte af segmenteringsopgaver ved hjælp af en passende prompt, såsom klik, afgrænsningsbokse og tekst og mere.

SAM er trænet på et varieret og informationsrigt datasæt på over 1 milliard masker, hvilket gør det muligt at genkende nye objekter og billeder, der ikke er tilgængelige i træningssættet. Denne moderne ramme vil revolutionere CV-modeller i anvendelser som selvkørende biler, sikkerhed og udvidet virkelighed.

SAM kan detektere og segmentere objekter omkring bilen i selvkørende biler, såsom andre køretøjer, fodgængere og trafikskilte. I udvidet virkelighed kan SAM segmentere den virkelige verden for at placere virtuelle objekter i passende placeringer, og skabe en mere realistisk og engagerende brugeroplevelse.

Udfordringer ved billedsegmentering i 2023

Den øgede forskning og udvikling i billedsegmentering medfører også betydelige udfordringer. Nogle af de fremmeste udfordringer ved billedsegmentering i 2023 omfatter følgende:

  • Den øgede kompleksitet af datasets, især for 3D-billedsegmentering
  • Udviklingen af fortolkelige dybe modeller
  • Brugen af modeller til ikke-overvåget læring, der minimerer menneskelig indgriben
  • Behovet for realtids- og hukommelseseffektive modeller
  • Elimineringen af flaskehalsene i 3D-punktskysegmentering

Fremtiden for Computer Vision

Det globale marked for computer vision påvirker multiple industrier og forventes at nå over $41 milliarder i 2030. Moderne billedsegmenteringsteknikker som Segment Anything Model kombineret med andre algoritmer til dyb læring vil yderligere styrke computer visions fundament i det digitale landskab. Derfor vil vi se mere robuste computer vision-modeller og intelligente anvendelser i fremtiden.

Til at lære mere om AI og ML, udforsk Unite.ai – din samlede ressource for alle spørgsmål om teknologi og dens moderne tilstand.

Haziqa er en Data Scientist med omfattende erfaring i at skrive teknisk indhold til AI- og SaaS-virksomheder.