Vision Transformers overvinder udfordringer med ny ‘Patch-to-Cluster Attention’-metode

Kunstig intelligens (AI)-teknologier, især Vision Transformers (ViTs), har vist stor potentiale i deres evne til at identificere og kategorisere objekter i billeder. Men deres praktiske anvendelse har været begrænset af to væsentlige udfordringer: de høje krav til beregningskraft og mangel på gennemsigtighed i beslutningstagningen. Nu har en gruppe forskere udviklet en gennembrudsmæssig løsning: en ny metode kendt som “Patch-to-Cluster attention” (PaCa). PaCa sigter mod at forbedre ViTs’ evner i billedgenkendelse, klassifikation og segmentering, samtidig med at løse de lange udfordringer med beregningskrav og beslutningsklarhed.

At løse udfordringerne for ViTs: Et glimt af den nye løsning

Transformere, takket være deres overlegne evner, er blandt de mest indflydelsesrige modeller i AI-verdenen. Kraften fra disse modeller er blevet udvidet til visuelle data gennem ViTs, en klasse af transformere, der er trænet med visuelle input. Trods det enorme potentiale, som ViTs tilbyder i fortolkning og forståelse af billeder, er de blevet holdt tilbage af to større problemer.

Først og fremmest kræver ViTs på grund af billedernes store mængde af data en betydelig beregningskraft og hukommelse. Denne kompleksitet kan være overvældende for mange systemer, især når det handler om højopløsningsbilleder. For det andet er beslutningsprocessen i ViTs ofte indviklet og uigennemsigtig. Brugere har svært ved at forstå, hvordan ViTs skelner mellem forskellige objekter eller funktioner i et billede, hvilket er afgørende for mange anvendelser.

Men den innovative PaCa-metode tilbyder en løsning på begge disse udfordringer. “Vi løser udfordringen relateret til beregnings- og hukommelseskrav ved at bruge kluster-teknikker, der giver transformer-arkitekturen mulighed for bedre at identificere og fokusere på objekter i et billede,” forklarer Tianfu Wu, korresponderende forfatter af en artikel om arbejdet og adjunktprofessor i elektro- og datateknik på North Carolina State University.

Brugen af kluster-teknikker i PaCa reducerer dramatisk beregningskravene, hvilket omdanner problemet fra en kvadratisk proces til en håndterbar lineær proces. Wu forklarer processen yderligere, “Ved at klustre kan vi gøre dette til en lineær proces, hvor hver mindre enhed kun behøver at sammenlignes med et forudbestemt antal kluster.”

Kluster-teknikker tjener også til at klarlægge beslutningsprocessen i ViTs. Processen med at danne kluster afslører, hvordan ViT beslutter, hvilke funktioner der er vigtige for at gruppere dele af billeddata sammen. Da AI kun opretter et begrænset antal kluster, kan brugere let forstå og undersøge beslutningsprocessen, hvilket betydeligt forbedrer modellens fortolkning.

PaCa-metoden overgår andre state-of-the-art ViTs

Gennem omfattende testning fandt forskerne, at PaCa-metoden overgår andre ViTs på flere punkter. Wu uddyber, “Vi fandt, at PaCa overgik SWin og PVT på alle måder.” Testprocessen afslørede, at PaCa udmærkede sig i klassifikation og identifikation af objekter i billeder og segmentering, hvilket effektivt omridsede objekters grænser i billeder. Desuden viste det sig at være mere tidseffektivt, idet det udførte opgaver hurtigere end andre ViTs.

Opfordret af PaCas succes sigter forskerholdet til at udvikle det yderligere ved at træne det på større grundlæggende datasæt. Ved at gøre dette håber de at kunne udvide grænserne for, hvad der i øjeblikket er muligt med billedbaseret AI.

Forskningsartiklen “PaCa-ViT: Learning Patch-to-Cluster Attention in Vision Transformers” vil blive præsenteret på den kommende IEEE/CVF Conference on Computer Vision and Pattern Recognition. Det er en vigtig milepæl, der kan bana vejen for mere effektive, gennemsigtige og tilgængelige AI-systemer.