Revoluce v oblasti umělé inteligence s Apple ReALM: Budoucnost inteligentních asistentů

V neustále se vyvíjejícím světě umělé inteligence se Apple (AAPL ) tiše podílí na průlomovém přístupu, který by mohl předefinovat, jak interagujeme s našimi iPhony. ReALM, nebo Reference Resolution as Language Modeling, je model AI, který slibuje přinést nový level kontextuální povědomí a bezproblémovou asistenci.

Zatímco tech svět žije nadšením z OpenAI GPT-4 a dalších velkých jazykových modelů (LLM), Apple ReALM představuje posun v myšlení – přechod od závislosti pouze na cloud-based AI k více personalizovanému, on-device přístupu. Cílem je vytvořit inteligentního asistenta, který skutečně rozumí vám, vašemu světu a složitým vzorcům vašich denních digitálních interakcí.

V srdci ReALM leží schopnost řešit odkazy – ty nejednoznačné zájmena jako “to“, “oni” nebo “to“, které lidé navigují s lehkostí díky kontextovým signálům. Pro AI asistenty však toto dlouho bylo překážkou, vedoucí k frustrujícím nedorozuměním a nesourodému uživatelskému zážitku.

Představte si scénář, kdy požádáte Siri, aby “našla zdravý recept na základě toho, co je ve vaší lednici, ale bez hub – ty nemám rády.” S ReALM by váš iPhone nejen pochopil odkazy na informace na obrazovce (obsah vaší lednice), ale také si vzpomněl na vaše osobní preference (nepřátelství vůči houbám) a širší kontext hledání receptu přizpůsobeného těmto parametrům.

Tento level kontextuálního povědomí je kvantovým skokem od keyword-matching přístupu většiny současných AI asistentů. Díky tréninku LLM na bezproblémové řešení odkazů přes tři klíčové domény – konverzační, na obrazovce a pozadí – ReALM cílí na vytvoření skutečně inteligentního digitálního společníka, který se cítí méně jako robotický hlasový asistent a více jako prodloužení vašich vlastních myšlenkových procesů.

Konverzační doména: Pamatování si toho, co přišlo předtím

Konverzační AI, ReALM řeší dlouholetou výzvu: udržování koherence a paměti napříč několika obraty dialogu. Díky své schopnosti řešit odkazy v rámci probíhající konverzace by ReALM mohl konečně splnit slib přirozené, zpětné interakce s vaším digitálním asistentem.

Představte si, že požádáte Siri, aby “vám připomněla, abyste si rezervovali lístky na vaši dovolenou, až budete placeni v pátek.” S ReALM by Siri nejen pochopil kontext vašich dovolenkových plánů (potenciálně získaných z předchozí konverzace nebo informací na obrazovce), ale také měl povědomí o spojení “získání peněz” s vaším pravidelným výplatním dnem.

Tento level konverzační inteligence se cítí jako skutečný skok vpřed, umožňující bezproblémové multi-obratové dialogy bez frustrace z neustálého vysvětlování kontextu nebo opakovaného sebe.

Doména na obrazovce: Dávání vašemu asistentovi očí

Možná nejvíce průlomový aspekt ReALM však spočívá v jeho schopnosti řešit odkazy na entity na obrazovce – zásadní krok směrem k vytvoření skutečně bezdotykového, hlasem řízeného uživatelského zážitku.

Výzkumná práce Apple diskutuje o novém postupu pro kódování vizuálních informací z vašeho zařízení na obrazovce do formátu, který LLM mohou zpracovat. Tím, že vlastně rekonstruuje rozložení vaší obrazovky v textové reprezentaci, ReALM může “vidět” a pochopit prostorové vztahy mezi různými entitami na obrazovce.

Představte si scénář, kdy se díváte na seznam restaurací a požádáte Siri o “směr k té na Main Street.” S ReALM by váš iPhone nejen pochopil odkaz na konkrétní lokalitu, ale také spojal ho s relevantní entitou na obrazovce – restaurací, která odpovídá tomuto popisu.

Tento level vizuálního porozumění otevírá svět možností, od bezproblémového jednání s odkazy v aplikacích a webových stránkách až po integraci s budoucími AR rozhraními a dokonce i vnímání a reagování na reálné objekty a prostředí prostřednictvím kamery vašeho zařízení.

Výzkumná práce o Apple ReALM modelu hovoří o složitých detailech, jak systém kóduje entity na obrazovce a řeší odkazy napříč různými kontexty. Zde je zjednodušené vysvětlení algoritmů a příkladů uvedených v článku:

1. Kódování entit na obrazovce: Článek zkoumá několik strategií pro kódování entit na obrazovce v textovém formátu, který LLM mohou zpracovat. Jedním z přístupů je shlukování okolních objektů na základě jejich prostorové blízkosti a generování dotazů, které zahrnují tyto shlukované objekty. Nicméně, tato metoda může vést k příliš dlouhým dotazům, jakmile se počet entit zvýší.

Finální přístup přijatý výzkumníky spočívá v parse obrazovky shora dolů, zleva doprava, reprezentaci rozložení v textovém formátu. To je dosaženo prostřednictvím Algoritmu 2, který seřadí entity na obrazovce podle jejich středových souřadnic, určuje vertikální úrovně seskupením objektů v rámci určité marže a konstruuje parse obrazovky spojením těchto úrovní s tabulátory oddělujícími objekty na stejné řádce.

Vložením relevantních entit (telefonních čísel v tomto případě) do textové reprezentace může LLM pochopit kontext na obrazovce a řešit odkazy odpovídajícím způsobem.

2. Příklady řešení odkazů: Článek poskytuje několik příkladů, aby ilustroval schopnosti ReALM modelu v řešení odkazů napříč různými kontexty:

a. Konverzační odkazy: Pro požadavek jako “Siri, najděte mi zdravý recept na základě toho, co je ve vaší lednici, ale bez hub – ty nemám rády,” ReALM může pochopit kontext na obrazovce (obsah lednice), konverzační kontext (hledání receptu) a uživatelské preference (nepřátelství vůči houbám).

b. Pozadí odkazy: V příkladu “Siri, přehrajte tu písničku, která hrála v supermarketu dříve,” ReALM může potenciálně zachytit a identifikovat okolní audio snímky, aby vyřešil odkaz na konkrétní písničku.

c. Odkazy na obrazovce: Pro požadavek jako “Siri, připoměňte mi, abych si rezervoval lístky na dovolenou, až budu placen v pátek,” ReALM může kombinovat informace z vašich rutin (výplatní den), konverzací nebo webových stránek na obrazovce (dovolenkové plány) a kalendáře, aby pochopil a jednal na základě požadavku.

Tyto příklady demonstrují schopnost ReALM řešit odkazy napříč konverzačními, na obrazovce a pozadí kontexty, umožňující více přirozenou a bezproblémovou interakci s inteligentními asistenty.

Pozadí domény

Přesouvajíce se za hranice konverzačních a na obrazovce kontextů, ReALM také zkoumá schopnost řešit odkazy na pozadí entity – ty periferní události a procesy, které často unikají pozornosti našich současných AI asistentů.

Představte si scénář, kdy požádáte Siri, aby “přehrála tu písničku, která hrála v supermarketu dříve.” S ReALM by váš iPhone mohl potenciálně zachytit a identifikovat okolní audio snímky, aby Siri mohla bezproblémově přehrát stopu, o kterou jste měli zájem.

Tento level pozadí povědomí se cítí jako první krok směrem k skutečně všudypřítomnému, kontextuálně vědomému AI asistenci – digitálnímu společníkovi, který nejen rozumí vašim slovům, ale také bohaté tapisérii vašich denních zkušeností.

Slib on-device AI: Privátnost a personalizace

Zatímco schopnosti ReALM jsou bezpochyby působivé, možná jeho nejvýznamnější výhodou je Apple dlouhodobý závazek k on-device AI a uživatelské privátnosti.

Na rozdíl od cloud-based AI modelů, které spoléhají na odesílání uživatelských dat na vzdálené servery pro zpracování, ReALM je navržen tak, aby fungoval zcela na vašem iPhone nebo jiných Apple zařízeních. To nejen řeší obavy kolem datové privátnosti, ale také otevírá nové možnosti pro AI asistenci, která skutečně rozumí a přizpůsobuje se vám jako jedinečné osobě.

Učením se přímo z vašich on-device dat – vašich konverzací, vzorců použití aplikací a dokonce i okolních senzorických vstupů – ReALM by mohl potenciálně vytvořit hyper-personalizovaný digitální asistent přizpůsobený vašim jedinečným potřebám, preferencím a denním rutinám.

Tento level personalizace se cítí jako paradigma posunu od univerzálního přístupu současných AI asistentů, kteří často bojují s přizpůsobením se individuálním uživatelům specifickým charakteristikám a kontextům.

ReALM-250M model dosahuje působivých výsledků:

• • Konverzační porozumění: 97.8
  • Syntetické úkoly porozumění: 99.8
  • Výkon úkolu na obrazovce: 90.6
  • Zacházení s neviditelnými doménami: 97.2

Etické úvahy

Samozřejmě, s takovým vysokým stupněm personalizace a kontextuálního povědomí přichází řada etických úvah kolem privátnosti, transparentnosti a potenciálu pro AI systémy ovlivňovat nebo dokonce manipulovat uživatelské chování.

Jakmile ReALM získá hlubší porozumění vašemu dennímu životu – od vašich stravovacích návyků a vzorců médií až po vaše sociální interakce a osobní preference – existuje riziko, že tato technologie bude použita způsoby, které porušují důvěru uživatele nebo překračují etické hranice.

Výzkumníci Apple jsou si tohoto napětí vědomi, uznávají v článku potřebu najít pečlivou rovnováhu mezi poskytováním skutečně užitečné, personalizované AI zkušenosti a respektem k uživatelské privátnosti a agentuře.

Tato výzva není jedinečná pro Apple nebo ReALM – je to konverzace, se kterou musí celý tech průmysl bojovat, jakmile se AI systémy stanou stále sofistikovanějšími a integrovanějšími do našeho denního života.

Směrem k chytřejší, přirozenější AI zkušenosti

Jak Apple pokračuje v rozšiřování hranic on-device AI s modely jako ReALM, slib真正 inteligentního, kontextuálně vědomého digitálního asistenta se cítí bližší než kdykoli předtím.

Představte si svět, kde Siri (nebo jakýkoli jiný AI asistent v budoucnosti) se cítí méně jako odtržený hlas z cloudu a více jako prodloužení vašich vlastních myšlenkových procesů – partner, který nejen rozumí vašim slovům, ale také bohaté tapisérii vašeho digitálního života, vašim denním rutinám a vašim jedinečným preferencím a kontextům.

Od bezproblémového jednání s odkazy v aplikacích a webových stránkách až po anticipaci vašich potřeb na základě vaší polohy, aktivity a okolních senzorických vstupů ReALM představuje významný krok směrem k více přirozené, bezproblémové AI zkušenosti, která rozmazává hranice mezi našimi digitálními a fyzickými světy.

Samozřejmě, realizace této vize bude vyžadovat více než jen technickou inovaci – bude také vyžadovat uvážlivý, etický přístup k AI vývoji, který priorizuje uživatelskou privátnost, transparentnost a agenturu.

Jak Apple pokračuje v rozšiřování a vylepšování schopností ReALM, tech svět bude jistě sledovat s napětím, aby viděl, jak tento průlomový AI model formuje budoucnost inteligentních asistentů a uvádí novou éru skutečně personalizovaného, kontextuálně vědomého počítačového zpracování.

Zda ReALM splní svůj slib překonání dokonce i mocného GPT-4, zůstává vidět. Ale jedna věc je jistá: věk AI asistentů, kteří skutečně rozumí nám – našim slovům, našim světům a bohaté tapisérii našich denních životů – je v plném proudu, a Appleova nejnovější inovace může být skutečně na čele této revoluce.