Fra Siri til ReALM: Apples reise mot smarte taleassistenter

Siden Siri ble lansert i 2011, har Apple (AAPL ) konsistent vært i forkant av innovasjon innen taleassistenter, og tilpasset seg globale brukerbehov. Innføringen av ReALM markerer et betydningsfullt punkt i denne reisen, og gir et glimt inn i den utviklende rollen til taleassistenter i vår interaksjon med enhetene. Denne artikkelen undersøker effekten av ReALM på Siri og de potensielle retningene for fremtidige taleassistenter.

Taleassistenter på fremmarsj: Siri’s opprinnelse

Reisen begynte da Apple integrerte Siri, et sofistikert kunstig intelligenssystem, i sine enheter, og endret hvordan vi interagerer med teknologien vår. Opprinnelig fra teknologi utviklet av SRI International, ble Siri standarden for taleaktiverede assistenter. Brukere kunne utføre oppgaver som internett-søk og planlegging gjennom enkle talekommandoer, og utvidet grensene for konversasjons-grensesnitt og antente en konkurranse i taleassistent-markedet.

Siri 2.0: En ny æra for taleassistenter

Mens Apple forbereder lanseringen av iOS 18 på Worldwide Developers Conference (WWDC) i juni 2024, bygges forventningene opp i tech-samfunnet til hva som forventes å være en betydelig utvikling av Siri. Denne nye fasen, referert til som Siri 2.0, lover å bringe generative AI-fremgang til fronten, potensielt transformerer Siri til en enda mer sofistikert virtuell assistent. Mens de eksakte forbedringene forblir konfidensielle, er tech-verdenen i ferd med å se frem til at Siri når nye høyder i konversasjonsintelligens og personlig brukerinteraksjon, ved å utnytte den type sofistikerte språklæringmodeller som ses i teknologier som ChatGPT. I denne konteksten antyder innføringen av ReALM, en kompakt språkmodell, mulige forbedringer som Siri 2.0 kan introdusere for sine brukere. De følgende seksjonene vil diskutere rollen til ReALM og dens potensielle innflytelse som et viktig skritt i den pågående utviklingen av Siri.

Presentasjon av ReALM

ReALM, som står for Reference Resolution As Language Modeling, er en spesialisert språkmodell som er dyktig til å tyde kontekstuelle og tvetydige referanser under samtaler, som “den ene” eller “dette”. Den skiller seg ut med sin evne til å prosessere konversasjonelle og visuelle referanser, og omgjøre dem til en tekstformat. Denne evnen gjør det mulig for ReALM å tolke og interagere med skjermlayout og elementer på en måte som er sammenhengende med dialogen, en kritisk funksjon for å håndtere spørsmål i visuelt avhengige kontekster.

Arkitekturen til ReALM varierer fra mindre versjoner som ReALM-80M til større som ReALM-3B, og er optimalisert for å være komputasjonelt effektive for integrering i mobile enheter. Denne effektiviteten tillater konsistent ytelse med redusert strømforbruk og mindre belastning på prosesseringsressursene, viktig for å utvide batterilevetid og gi raske responstider på en rekke enheter.

I tillegg er ReALM-designet utformet for å kunne oppdateres modulært, og dette gjør det mulig å integrere de nyeste fremgangene i referanseoppløsning på en måte som er sammenhengende med dialogen. Denne modulære tilnærmingen ikke bare forbedrer modellens tilpasningsevne og fleksibilitet, men sikrer også dens langsiktige levedyktighet og effektivitet, og gjør det mulig for den å møte utviklende brukerbehov og tekniske standarder over en bred spekter av enheter.

ReALM vs. språkmodeller

Mens tradisjonelle språkmodeller som GPT-3.5 hovedsakelig prosesserer tekst, tar ReALM en multimodal vei, likt modeller som Gemini, ved å arbeide med både tekst og visuelle elementer. I motsetning til de bredere funksjonene til GPT-3.5 og Gemini, som håndterer oppgaver som tekstgenerering, forståelse og bildeoppretting, er ReALM spesifikt rettet mot å tyde konversasjonelle og visuelle kontekster. Imidlertid, i motsetning til multimodale modeller som Gemini, som direkte prosesserer visuell og tekstdata, oversetter ReALM visuell innhold av skjermer til tekst, annoterer enheter og deres romlige detaljer. Denne omformingen gjør det mulig for ReALM å tolke skjerminnhold på en måte som er sammenhengende med dialogen, og muliggjør en mer presis identifisering og forståelse av skjermreferanser.

Hvordan ReALM kan transformere Siri?

ReALM kan betydelig forbedre Siris evner, og transformere den til en mer intuitiv og kontekstuell assistent. Her er hvordan det kan påvirke:

• Bedre kontekstuell forståelse: ReALM spesialiserer seg i å tyde tvetydige referanser i samtaler, og kan potensielt forbedre Siris evne til å forstå kontekstavhengige spørsmål. Dette vil gjøre det mulig for brukerne å interagere med Siri på en mer naturlig måte, da den kan forstå referanser som “spill den sangen igjen” eller “ring henne” uten ekstra detaljer.
• Forbedret skjerminteraksjon: Med sin evne til å tolke skjermlayout og elementer i dialoger, kan ReALM muliggjøre en mer flytende integrasjon mellom Siri og enhetens visuelle innhold. Siri kan dermed utføre kommandoer relatert til skjermelementer, som “åpne appen ved siden av Mail” eller “rull ned på denne siden”, og utvide sin nytte i ulike oppgaver.
• Personliggjøring: Ved å lære fra tidligere interaksjoner, kan ReALM forbedre Siris evne til å tilby personlige og adaptive responser. Over tid kan Siri muligens forutsi brukerbehov og preferanser, og foreslå eller initiere handlinger basert på tidligere atferd og kontekstuell forståelse, likt en kunnskapsrik personlig assistent.
• Forbedret tilgjengelighet: De kontekstuelle og referanseforståelsesevner til ReALM kan betydelig forbedre tilgjengeligheten, og gjøre teknologien mer inkluderende. Siri, drevet av ReALM, kan tolke vag eller delvis kommandoer nøyaktig, og muliggjøre enklere og mer naturlig enhetbruk for personer med fysiske eller visuelle funksjonshemninger.

ReALM og Apples AI-strategi

ReALMs lansering reflekterer en nøkkelaspekt av Apples AI-strategi, som betoner på-enhet-intelligens. Denne utviklingen stemmer overens med den bredere industri-trenden mot edge-computing, hvor data prosesserer lokalt på enhetene, reduserer latency, konserverer båndbredde og sikrer brukerdata på enheten selv.

ReALM-prosjektet viser også Apples bredere AI-mål, som fokuserer ikke bare på kommando-utførelse, men også på en dypere forståelse og forutsigelse av brukerbehov. ReALM representerer et skritt mot fremtidige innovasjoner hvor enheter kan tilby mer personlig og prediktiv støtte, informert av en dyp forståelse av brukeratferd og preferanser.

Sluttpunktet

Apples utvikling fra Siri til ReALM understreker en kontinuerlig utvikling i taleassistent-teknologi, med fokus på forbedret kontekstforståelse og brukerinteraksjon. ReALM markerer en overgang mot mer intelligente, personlige og privatlivsbevisste taleassistenter, som stemmer overens med industri-trenden mot edge-computing for bedre på-enhet-prosesserings- og sikkerhetsfunksjoner.