AR, XR og hjernegrensesnitt

Fremtiden for AR-briller er AI-aktivert

mm
Legg til Unite.AI blant dine foretrukne kilder på Google

Fremgangen i kunstig intelligens dominerer den bredere samtalen. Anvendelser av AI ser ut til å være ubegrensede – og det er ingen overraskelse at det vil forandre vår verden og hvordan vi samhandler med den. I tillegg til mange andre bransjer, gjelder dette spesielt for augmented reality.

AI-modeller brukes allerede til å bygge immersive AR-erfaringer – spesielt på mobiltelefonapper. Feltene augmented reality og kunstig intelligens samarbeider for å skape intuitive og unike erfaringer som mer fullstendig blandet sammen den virkelige og digitale verden. Den neste frontieren i AI- og AR-utvikling er å implementere avanserte AI-egenskaper i forbruker-AR-briller for å utvide mulighetene for immersive engasjement.

Generativ AI vil akselerere skapningen av 3D-verdener, og skape ubegrensede muligheter for brukere til å skape sine egne realiteter

Generativ AI inneholder fremgang i algoritmer, språkmodeller og økt prosesseringskraft til å kjøre de nødvendige beregningene for å kartlegge og samhandle med den fysiske verden.

Hittil har det vært begrensninger på 3D-modeller i AR-briller fordi de i hovedsak er manuelle. Men generativ AI vil skape disse svært raskt og selvstendig. Generativ AI i AR-briller vil hjelpe til å bygge 3D-modeller raskere, og låse opp det fulle potensialet for AR. Denne skapningen av den digitale verden, for å legge over den fysiske verden, vil være raskere, mer fullstendig og immersiv uten intensivt manuelt arbeid som trengs.

Generativ AI vil også forandre brukeropplevelsen og hvordan vi samhandler med fysisk rom. Med generativ AI-aktiverede AR-briller kan brukerne bokstavelig talt overføre deres forestillinger til den virkelige verden. Uten å måtte kode, kan brukerne bruke talegjenkjenning til å “si” sine bilder og 3D-objekter gjennom AR-brillene akkurat som de ønsker det. De kunne si: “forestill deg at det er en delfin som svømmer gjennom rommet” – og det ville dukke opp foran dem. Mulighetene for denne immersjonen er nesten ubegrensede for underholdning, arbeid og utenfor.

AR-briller som benytter generativ AI vil også endre spillverdenen for å skape en langt mer immersiv og personlig spill-erfaring. For eksempel, med ChatGPT, vil det være lettere å skape mer realistiske karakterer og legge til nye oppdrag eller spill-verdener. Det kan også brukes til å forbedre spill-erfaringen ved å analysere spiller-adferd og gjøre spillet lettere eller mer utfordrende for spilleren i sanntid, tilpasse erfaringen selvstendig.

AI-aktiveret oversettelse av tale + skrevet tekst vil redusere språkbarrierer

Automatisk talegjenkjenning (ASR) bruker neurale nettverksaudiovisuell talegjenkjenning (en algoritme som avhenger av bildebehandling for å trekke ut tekst). Dette kan oversette skrevet tekst – som på en meny i et fremmed land – til din morsmål i sanntid.

Når dette brukes i AR-briller, kan det gi sanntids-undertekster på ditt morsmål mens noen snakker på et annet språk – alt innenfor rammen av AR-brillene. Dette eliminerer frustrasjonen hos turister og forretningsfolk som prøver å kommunisere på det lokale språket og dermed fremmer en mer kommunikativ og samarbeidende verden.

Tekstgjenkjenning og oversettelse kombinerer AI-optisk tegngjenkjenningsteknikker med tekst-til-tekst-oversettelsesmotorer som DeepL. AI-motorer som Stable Diffusion kan også forbedre kommunikasjonen med animasjoner eller andre visuelle hjelpemidler som kan hjelpe med å formidle komplekse eller detaljerte konsepter. Dette dypper brukerens engasjement: et par AR-briller som benytter denne AI-teknologien kan vise en tilhørende bilde eller video i sanntid som er relevant for hva brukeren sier foran dem på et panel eller presentasjon. Google har nylig vist frem AR-briller med denne funksjonaliteten.

Dette muliggjør også at døve kan delta i hverdagslige samtaler uten å måtte lese på leppene eller opprettholde øyekontakt ved å omdanne lyd til undertekster som vises foran brukerens øyne.

AI gjør sin tilstedeværelse kjent i helse, utdanning og mange andre felt. Snart vil vi ha smarte AR-briller som, likesom populær vitenskapsfiksjon, vil transportere mennesker til augmenterte eller virtuelle reality-miljøer hvor AI raskt kartlegger rommet og posisjonen til taleren for å gjøre virtuell kommunikasjon sammenhengende og mindre tungvint uten å måtte være på samme sted.

AI hjelper AR-briller å lett gjenkjenne og merke objekter i den virkelige verden – dypper engasjement.

Konvolusjonsneurale nettverksalgoritmer (CNN) i objektgjenkjenning brukes for tiden i mobiltelefoner til å anslå posisjonen og omfanget av objekter i en scene. Når det gjenkjenner et objekt, kan AR-programvare legge tekst over det eller generere et annet objekt inn i den fysiske verden og skape en interaksjon mellom de to. Objekter som overføres til den virkelige verden har mange anvendelser, inkludert instruksjoner, navigasjon, kosthold og ernæring, og mange andre.

Når man bærer en pair AR-briller med disse AI-egenskapene, kan en bruker for eksempel gå gjennom gatene i en by og lære om et hvilket som helst landemerke i sanntid når de ser på det. AR-brillene kan identifisere, merke og gi informasjon om byen og dens landemerker – alt gjennom brukerens rammer. Etterhvert som objektgjenkjenningsteknologien forbedres, vil næringsdata som kalorier, protein, fett og kolesterol for alle matvarer og porsjonsstørrelser være tilgjengelig. I mellomtiden vil enkle QR-koder på produkter fremkalde næringsdetaljene for brukerne.

Utenfor ren objektgjenkjenning er ansiktsgjenkjenning også på vei til å bli vanlig for personer-gjenkjenning. Allerede nå tar ansiktsgjenkjenning av i flyindustrien, da flere fly bruker teknologien til å bekrefte en passasjers identitet – og legger til en ekstra sikkerhetslag og akselerer innkvarteringsprosessen. Ansiktsgjenkjenning, når den brukes i AR-briller, kan gi gjenkjenningsevnen til brukerne overalt. For eksempel, i nær fremtid med AR-briller, kan man kanskje møte andre på sosiale medier og motta deres bakgrunnsinformasjon umiddelbart før man bestemmer seg for å “venne” eller koble til dem.

AI-aktiverede AR-briller endrer livene våre, og deres visuelle og tekniske egenskaper vil fortsette å forbedres. I vår stadig mer sammenkoblede verden, forenkler de oppgaver og bryter ned barrierer som bare noen få år siden ble ansett for å være uoverkomelige. Fremgangen i kunstig intelligens skjer svært raskt, så over de neste 10 årene vil AI gjøre mer fremgang enn i de femti foregående årene. Uansett om det er regjering, forretning eller personlig miljø, vil kunstig intelligens snart slås sammen med AR-briller for å blande sammen de fysiske og digitale miljøene.

Ari Grobman er administrerende direktør i Lumus. Ari er en AR-industri-veteran med nesten 15 års erfaring med å kommersialisere Lumus-optikk. I sin tidligere rolle i Lumus som VP for forretningsutvikling, introduserte Ari Lumus for ledende teknologiselskaper verden over. Han bringer en dybde av AR-industri-kunnskap til selskapet.