Div Garg, VD och medgrundare av AGI, Inc – Intervjuserie

Div Garg, VD och medgrundare av AGI, Inc, är en AI-forskare och entreprenör som fokuserar på autonoma agenter, edge-intelligens, datorseende och robotik. Innan han grundade AGI, Inc, var han med och grundade MultiOn, en tidig pionjär inom datoranvändning, och senare var han ordförande för dess styrelse. Garg tillbringade också nästan fyra år som adjungerad lärare vid Stanford University, där han skapade CS 25: Transformers United, universitetets första kurs som ägnades åt transformerarkitektur. Hans tidigare erfarenhet inkluderar att leda utvecklingen av artificiell intelligens vid Collaborative Robotics, att bedriva forskning vid NVIDIA (NVDA ) och Apple (AAPL ), samt att arbeta med datorseende och autonoma körtekniker vid Google, Uber och Cornell University, där hans forskning inkluderade den inflytelserika Pseudo-LiDAR-metoden för kamerabaserad 3D-perception.

AGI, Inc är ett AI-forskningsföretag som utvecklar privat, säker och tillgänglig intelligens som fungerar direkt på edge-enheter. Deras flaggskeppsteknologi, AGI-0, är ett handlingsinriktat AI-system som är utformat för att förstå användarpreferenser och slutföra uppgifter över applikationer på telefoner, datorer, wearables och andra anslutna enheter, inklusive arbetsflöden som involverar shopping, transport, schemaläggning, meddelanden och underhållning. Företaget erbjuder också en plattform som tillåter hårdvarutillverkare och utvecklare att lägga till skärmmedvetna agenter som kan resonera och agera över befintliga applikationer utan att behöva bygga separata integrationer för varje app. AGI, Inc har demonstrerat sin teknologi med Lenovo och optimerar sin agentstack för Qualcomm (QCOM ) Snapdragon-aktiverade enheter.

Du har arbetat på Apple, Google, Nvidia och hjälpt till att bana väg för tidiga agentsystem på MultiOn innan du pausade din Stanford-doktorand för att grunda AGI, Inc. Vad var den specifika begränsningen eller ögonblicket som övertygade dig om att befintliga AI-tillvägagångssätt inte räckte, och att bygga en autonom agent på enheten var rätt väg framåt?

Denna förändring inträffade någonstans mellan 2023 och 2024 medan jag arbetade med webbagent. Vi kunde skapa agenter som kunde utföra åtgärder i webbläsare, men bara om webbplatsen hade en korrekt struktur som agenten kunde arbeta med. Så fort något gick fel och inte betedde sig som en idealiserad version av DOM, som en modalruta eller en animeringseffekt, slutade agenten att fungera. Å andra sidan sker allt som är viktigt när människor vill interagera med sina smartphones inom applikationer. Applikationer tillhandahåller ingen sorts API, de presenterar skärmar istället.

Det var denna skillnad som ledde till våra slutsatser. Lösningen på problemet var inte mer avancerade API:er eller större modeller, utan snarare en agent som skulle operera enheten från en persons synvinkel. Detta innebar att behandla smartphones som en person skulle – interagera med dess skärmar.

Många AI-assistenter idag förlitar sig fortfarande tungt på API:er, integrationer och molnkoordinering. Vad bryts i den modellen, och varför tror du att körning på enheten är det saknade lagret?

Det finns tre problem med det. Det första är täckning. API:er kräver att alla utvecklare måste gränssnitt med dig, vilket begränsar ditt agents kapacitet till den långsammaste partnern. App Intents från Apple är ett bra exempel på sådan teknik som började utvecklas tillbaka på WWDC 2024. Sedan finns det sekretess. Molnkoordinering kräver att din skärminnehåll, meddelanden och aktiviteter skickas till en tredje parts servrar. Slutligen finns det problemet med kostnad och fördröjning. All omvänt bearbetning via molnet gör det långsamt och dyrt.

Körning på enheten löser alla dessa problem. Din agent är inte beroende av någon annan och gränssnitt med systemet genom att interagera med användargränssnittet direkt.

Din tillvägagångssätt förskjuter AI från att svara på frågor till att faktiskt slutföra uppgifter över applikationer. Vilka var de svåraste tekniska utmaningarna i att möjliggöra en agent som tillförlitligt kunde operera en telefon som en människa skulle?

Att tillförlitligt kontrollera en telefon är svårare än det kan låta. Först måste en agent samtidigt uppfatta telefonens skärm som en människa, förstå vad som kommer härnäst och utföra lämplig åtgärd. Uppfattning sker genom en vision-språkmodell som kan känna igen knappar, textfält, menyer, layouter etc. Åtgärdsvalet krävs för att hantera tvetydigheter, delvis laddade sidor, modala dialogrutor och fel. Slutligen måste åtgärden vara tillräckligt exakt för att en knackning ska landa på rätt plats.

Det största problemet ligger dock i förmågan att tillförlitligt interagera med komplexa appar under en lång tid. Att boka en Uber är en sak, men att utföra en multi-stegsprocess inom en applikation där varje steg beror på tidigare interaktioner är en helt annan sak. Detta är precis varför modellträning från slut till slut var avgörande för produkten.

Du har beskrivit detta som att gå från assistenter till agenter. Vad innebär den övergången i praktiken för vanliga användare, och hur snabbt förväntar du dig att beteendet kommer att förändras?

Praktisk förändring kommer från gränssnittet självt. Där vi idag har appen och lär oss att använda appen, kommer vi i morgon att ha agenten, och apparna kommer att bli förmågor som sammansätts av agenten på vår vägnar. Vi slutar tänka på appar och börjar tänka på avsikt: “Boka en resa hem.” “Skicka bilderna från helgen till mamma.” “Visa mig hotell i Lissabon där jag kan få lite ro för nästa helg.” Agenten vet vilka appar som ska användas.

Beteendeförändring börjar långsamt och ökar allt eftersom. Till en början kommer människor att prova detta tillvägagångssätt för enkla uppgifter som de litar på och sedan expandera så långt de kan. Utlösaren för fullskalig acceptans kommer när agenten får rätt på våra telefoner varje gång.

Med partnerskap som Qualcomm och Lenovo, hur viktigt är tätt samarbete mellan hårdvara och mjukvara för att göra agenter tillgängliga i stor skala?

Detta är skillnaden mellan en prototyp som används för forskningsändamål och en applikation som faktiskt är användbar. Enheter som drivs av Snapdragon har neurala bearbetningsenheter, som kommer att säkerställa att agentens algoritmer kan köras på enheten med minimal fördröjning och energiförbrukning. Qualcomm har arbetat i år för att uppnå denna optimering, och partnerskapet vi tillkännagav på MWC 2026 hade just detta mål i sikte.

Den andra änden är Lenovo. Lenovo kan nå hundratals miljoner användare över smartphones, surfplattor och datorer, som vill differentiera sig med hjälp av AI. Att gå genom partners med befintliga enhetsportföljer och nå dem snabbt och transparent slår den alternativa vägen. Jag vet detta från erfarenhet.

Förtroende verkar vara en stor barriär. Hur designar du system där användare känner sig bekväma med att låta AI utföra åtgärder på deras vägnar, särskilt när dessa åtgärder omfattar flera appar och känsliga data?

Förtroende byggs på grunden av att vara öppen om vad agenten kan och inte kan göra. Varje åtgärd som involverar något viktigt, som att göra ett riktigt köp, skicka ett meddelande eller ändra några kontoinställningar, kräver användar godkännande. Agenten kan gå hela vägen till kassasidan på egen hand, men inte längre tills du gör det hända. Vårt partnerskap med Visa lägger till autentiserade betalningsvägar ovanpå det.

Detta görs allt baserat på två enkla filosofier. Den första är “människa i slingan för allt väsentligt”. Den andra är “återställbarhet där det är möjligt”. Dessutom kommer agenten bara att se vad som är synligt på skärmen och hedra de behörigheter som har ställts in av operativsystemet.

Det finns en växande berättelse om att app-ekonomin kan störas. Ser du agenter som ersätter appar helt, eller omformar hur appar nås och monetiseras?

Apparna försvinner aldrig. Dynamiken förändras bara. För tillfället är appen hur varumärket kommunicerar med konsumenten. I morgon kommer agenten att vara det, och appen kommer att vara verktyget som används av agenten. App-utvecklare är här för att stanna eftersom det alltid kommer att finnas ett behov av applikationen bakom tjänste-anropet, textmeddelandet eller transaktionen. Skillnaden kommer att vara gränssnittet på vilket dessa val görs.

Detta representerar en ny frontier för appar och för varumärken som använder dem. Detta representerar ingen hot alls, utan snarare en fantastisk möjlighet att utforska och utveckla med våra partners i utveckling och plattformar.

Ditt system undviker att förlita sig på API:er. Skapar det spänningar med utvecklare och plattformar, eller låser det upp ett mer öppet ekosystem?

Det är mindre kontroversiellt än det låter. Det finns ingen konkurrens mellan utvecklare och oss. Sättet som ett gränssnitt fungerar är samma process som en person skulle använda en applikation, så agenten använder samma gränssnitt som alla andra. Utvecklare kan använda vanliga tekniska metoder för att blockera åtkomst, och vi förstår deras resonemang.

Ett mer intressant resultat är avsaknaden av konflikt. Ett öppet system med universal interoperabilitet gynnar alla, jämfört med ett slutet system, där varje assistent bara kan användas på specifika appar, eftersom det bara stöder sådan anpassad integration. Universalitet hjälper användarna, men det hjälper också appar med verkligt värde.

AI på enheten är ofta ramad som en fördel för sekretess. Hur balanserar du lokal bearbetning med behovet av kraftfulla modeller som traditionellt kräver storskalig beräkning?

Det är ett hybrid-system som kommer att fortsätta utvecklas mot ett fullständigt system på enheten. Både åtgärder och lätt resonemang sker på telefonen, medan tungt resonemang sker i molnet. Med stackoptimering genom vårt arbete med Qualcomm och kapaciteten hos NPUs på telefoner som blir alltmer avancerade, sker en förskjutning mot att modellen blir mer lokaliserad. För närvarande kan de flesta flaggskeppstelefoner som finns på marknaden hantera den arbetsbelastning som krävs.

Dikotomin mellan att ha kraftfull prestanda och offra lokalitet eller vice versa är också föråldrad. Modellerna blir mer effektiva, och hårdvaran på telefonen blir mer kapabel. Allt kan uppnås när stacken är ordentligt optimerad.

Om tre till fem år, vad ser en fullt realiserad AI-nativ enhet ut som, och vad behöver hända tekniskt och kulturellt innan den visionen blir mainstream?

Den faktiska implementeringen skulle vara en enda agent som följer dig över enheter. Du ber din dator att hitta information om presenter, växla till din smartphone för att göra ett köp, sedan ber din bil att värma upp. Avsikten är densamma; sammanhanget förblir konstant, medan ytan förändras. Telefonerna är införandepunkten eftersom det är där de flesta beräkningar sker just nu. Därefter kommer det att flytta till datorer, TV-apparater, bilar och slutligen till smarta glasögon, och Qualcomm-samarbetet gör en stor skillnad i det avseendet.

Från ett tekniskt perspektiv handlar det om att fortsätta bearbeta på enheten och öka långsiktig tillförlitlighet, samt korrekt övergång mellan enheter. Från ett kulturellt perspektiv skulle förändringen vara att alltmer lita på agenter med alltmer komplexa uppgifter, vilket bygger på att agenten berättar allt den inte kan göra utan tvekan, och inte bryter några av de enkla löften som gjorts till dig.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka AGI, Inc.