Kunstig intelligens

Mamba: Omdefinerer sekvensmodellering og overgÄr Transformers-arkitektur

mm
Udgivet den
Opdateret den
Mamba AI model

I denne artikel om Mamba, vil vi udforske, hvordan denne innovative tilstand-rum-model (SSM) revolutionerer sekvensmodellering. Udviklet af Albert Gu og Tri Dao, er Mamba kendt for sin effektivitet i behandling af komplekse sekvenser i fag som sprogbehandling, genetik og lydanalyse. Dens lineære tidssekvensmodellering med selektive tilstandsrum sikrer enestående præstationer på tværs af disse forskellige modaliteter.

Vi vil dykke ned i Mambas evne til at overvinde de computermæssige udfordringer, som traditionelle Transformers står over for, især med lange sekvenser. Dens selektive tilgang i tilstandsrummodeller tillader hurtigere inferens og lineær skala med sekvenslængde, hvilket betydeligt forbedrer gennemstrømningen.

Mambas unikhed ligger i dens hurtige behandlingskapacitet, selektive SSM-lag og hardware-venlig design inspireret af FlashAttention. Disse funktioner giver Mamba mulighed for at overgå mange eksisterende modeller, herunder dem, der er baseret på transformer-tilgangen, hvilket gør det til en bemærkelsesværdig fremgang i maskinlæring.

Transformers vs Mamba

Transformers, som GPT-4, har sat standarder i naturlig sprogbehandling. Men deres effektivitet falder, når sekvenserne bliver længere. Her er Mamba springer frem, med sin evne til at behandle lange sekvenser mere effektivt og sin unikke arkitektur, der forenkler hele processen.

Transformers er dygtige til at håndtere sekvenser af data, såsom tekst til sprogmodeller. I modsætning til tidligere modeller, der behandlede data sekventielt, behandler Transformers hele sekvenser samtidigt, hvilket giver dem mulighed for at fange komplekse relationer inden for data.

De bruger en opmærksomheds-mekanisme, der giver modellen mulighed for at fokusere på forskellige dele af sekvensen, når der foretages forudsigelser.

Dette opmærksomhed beregnes ved hjælp af tre sæt af vægte: forespørgsler, nøgler og værdier, der er afledt fra inputdata. Hver enhed i en sekvens sammenlignes med enhver anden enhed, hvilket giver en vægt, der angiver betydningen eller “opmærksomheden”, som hver enhed skal modtage, når der forudsiges den næste enhed i sekvensen.

Transformers har to hovedblokke: encoderen, der behandler inputdata, og decoderen, der genererer output. Encoderen består af flere lag, hver med to underlag: en multi-head selv-opmærksomheds-mekanisme og et simpelt, positionsvist fuldt forbundet feed-forward-netværk. Normalisering og residualforbindelser bruges på hvert underlag til at hjælpe med at træne dybe netværk.

Decoderen har også lag med to underlag, der er lignende encoderen, men tilføjer et tredje underlag, der udfører multi-head-opmærksomhed over encoderens output. Den sekventielle natur af decoderen sikrer, at forudsigelser for en position kun kan overveje tidligere positioner, hvilket bevares den autoregressive egenskab.

I modsætning til Transformers tager Mamba-modellen en anden tilgang. Mens Transformers behandler problemet med lange sekvenser ved at bruge mere komplekse opmærksomheds-mekanismer, bruger Mamba selektive tilstandsrum, hvilket giver en mere computermæssig effektiv løsning.

Her er en overordnet oversigt over, hvordan en transformer fungerer:

  1. Inputbehandling: Transformers behandler først inputdata i en format, som modellen kan forstå, ofte ved hjælp af indlejring, der også inkorporerer positionen af hver enhed i sekvensen.
  2. Opmærksomheds-mekanisme: I dens kerne beregner opmærksomheds-mekanismen en score, der repræsenterer, hvor meget fokus der skal lægges på andre dele af inputsekvensen, når der behandles en nuværende enhed.
  3. Encoder-decoder-arkitektur: Transformer-modellen består af en encoder til at behandle input og en decoder til at generere output. Hver består af flere lag, der raffinerer modellens forståelse af input.
  4. Multi-head-opmærksomhed: I både encoderen og decoderen giver multi-head-opmærksomhed modellen mulighed for at fokusere på forskellige dele af sekvensen fra forskellige repræsentationsrum, hvilket forbedrer dens evne til at lære fra forskellige kontekster.
  5. Positionsvist feed-forward-netværk: Efter opmærksomhed behandler et simpelt neuralt netværk output fra hver position separat og identisk. Dette kombineres med input gennem en residualforbindelse og efterfølges af lag-normalisering.
  6. Outputgenerering: Decoderen forudsigere derefter en outputsekvens, der er påvirket af encoderens kontekst og hvad den har genereret hidtil.

Transformers evne til at håndtere sekvenser i parallel og dens robuste opmærksomheds-mekanisme gør det kraftfuldt til opgaver som oversættelse og tekstgenerering.

I modsætning hertil opererer Mamba-modellen på en anden måde ved at bruge selektive tilstandsrum til at behandle sekvenser. Dette tilgang overvinder den computermæssige ineffektivitet i Transformers, når de behandler lange sekvenser. Mambas design giver hurtigere inferens og skalerer lineært med sekvenslængden, hvilket sætter en ny standard for sekvensmodellering, der kan være mere effektiv, især når sekvenserne bliver længere.

Mamba

mm

Jeg har brugt de sidste fem Är pÄ at dykke ned i den fascinerende verden af Machine Learning og Deep Learning. Min passion og ekspertise har fÞrt mig til at bidrage til over 50 forskellige software-ingeniÞrprojekter, med en sÊrlig fokus pÄ AI/ML. Min fortsatte nysgerrighed har ogsÄ fÞrt mig mod Natural Language Processing, et felt jeg er ivrig efter at udforske yderligere.