På grunn av deres høye modellkapasitet, har Vision Transformer-modeller hatt stor suksess i løpet av de siste tidene. Til tross for deres ytelse, har visjonstransformator-modeller én stor svakhet: deres bemerkelsesverdige beregningskraft kommer på bekostning av høye beregningskostnader, og det er grunnen til at visjonstransformatorer ikke er det første valget for sanntidsapplikasjoner. For å løse dette problemet, lanserte en gruppe utviklere EfficientViT, en familie av høyhastighets visjonstransformatorer. 

Da utviklerne arbeidet med EfficientViT, observerte de at hastigheten til de nåværende transformator-modellene ofte er begrenset av ineffektive minneoperasjoner, særlig element-vis-funksjoner og tensor-omformning i MHSA eller Multi-Head Self Attention-nettverk. For å løse disse ineffektive minneoperasjonene, har EfficientViT-utviklerne arbeidet med en ny byggekloss med en sandwich-løsning, dvs. EfficientViT-modellen bruker en enkelt minne-bunden Multi-Head Self Attention-nettverk mellom effektive FFN-lag (Feed Forward Network) som hjelper til å forbedre minnehensyn og også forbedre den totale kanal-kommunikasjonen. Videre observerte modellen at oppmerksomhetskart ofte har høy likhet over hodene, noe som fører til beregningsredundans. For å løse redundans-problemet, presenterer EfficientViT-modellen en kaskadisk gruppeoppmerksomhetsmodul som mater oppmerksomhets-hoder med forskjellige deler av fullt funksjonsnivå. Metoden hjelper ikke bare til å spare beregningskostnader, men også å forbedre oppmerksomhets-diversiteten til modellen. 

Omfattende eksperimenter utført på EfficientViT-modellen over forskjellige scenarioer indikerer at EfficientViT overgår eksisterende effektive modeller for datavisjon samtidig som den oppnår en god avveining mellom nøyaktighet og hastighet. Så la oss dykke dyptere og utforske EfficientViT-modellen i litt mer detalj. 

En innføring i Vision Transformers og EfficientViT

Vision Transformers er fortsatt ett av de mest populære rammeverkene i datavisjonsindustrien fordi de tilbyr overlegen ytelse og høye beregningsmuligheter. Men med stadig forbedret nøyaktighet og ytelse av visjonstransformator-modellene, øker også de operative kostnadene og beregningskostnadene. For eksempel bruker nåværende modeller som er kjent for å levere stat-of-the-art-ytelse på ImageNet-datasett som SwinV2 og V-MoE, 3 milliarder og 14,7 milliarder parametre, henholdsvis. Den enorme størrelsen på disse modellene kombinert med beregningskostnadene og kravene gjør dem praktisk talt uegnet for sanntidsenheter og -applikasjoner. 

EfficientNet-modellen har som mål å utforske hvordan man kan forbedre ytelsen til visjonstransformator-modellene og finne prinsippene bak å designe effektive og effisiente transformator-baserte rammeverksarkitekturer. EfficientViT-modellen er basert på eksisterende visjonstransformator-rammeverk som Swim og DeiT, og den analyserer tre essensielle faktorer som påvirker modellens interferenshastighet, inkludert beregningsredundans, minne-tilgang og parameterbruk. Videre observerer modellen at hastigheten til visjonstransformator-modellene er minne-bunden, noe som betyr at full utnyttelse av beregningskraften i CPU/GPU er forbudt eller begrenset av minne-tilgangsforsinkelse, noe som har en negativ innvirkning på kjøretidshastigheten til transformatorerne. Element-vis-funksjoner og tensor-omformning i MHSA eller Multi-Head Self Attention-nettverk er de mest minne-ineffektive operasjonene. Modellen observerer også at optimal justering av forholdet mellom FFN (Feed Forward Network) og MHSA kan hjelpe til å betydelig reducere minne-tilgangstiden uten å påvirke ytelsen. Men modellen observerer også en viss redundans i oppmerksomhetskartene som et resultat av oppmerksomhets-hodenes tendens til å lære lignende lineære prosjekteringer. 

… (rest of the content remains the same, following the exact same structure and formatting as the original)