Intel förser den första satelliten med AI ombord

Så vanligt förekommande som artificiell intelligens har blivit i det moderna livet — från att förbättra vår förståelse av kosmos till att visa underhållande videor på din telefon — har AI ännu inte funnit sin väg ut i rymden.

Det var inte förrän den 2 september, då en experimentell satellit av storleken på en frukostflinga utsköts från en raket och 45 andra satelliter av liknande storlek. Satelliten, som heter PhiSat-1, svävar nu i en hastighet av över 27 000 kilometer i timmen i solsynkron bana, cirka 530 kilometer ovanför jordens yta.

PhiSat-1 innehåller en ny hyperspektral-termisk kamera och ombord AI-bearbetning tack vare Intel (INTC ) ® Movidius™ Myriad™ 2 Vision Processing Unit (VPU) — samma chip som finns i många smarta kameror och till och med en $99-selfiekamera här på jorden. PhiSat-1 är faktiskt en av ett par satelliter som har i uppdrag att övervaka polaris och jordfuktighet, samtidigt som de testar satellit-till-satellit-kommunikationssystem för att skapa ett framtida nätverk av federerade satelliter.

Det första problemet som Myriad 2 hjälper till att lösa är hur man hanterar den stora mängden data som genereras av högkvalitativa kameror som den på PhiSat-1. “Förmågan hos sensorer att producera data ökar med en faktor på 100 för varje generation, medan vår förmåga att ladda ner data ökar, men bara med en faktor på tre, fyra, fem per generation”, säger Gianluca Furano, data-system och ombord-datorledare på den Europeiska rymdorganisationen, som ledde det samarbete som låg bakom PhiSat-1.

Samtidigt är cirka två tredjedelar av jordens yta täckt av moln vid varje given tidpunkt. Det betyder att en hel del användlösa bilder av moln tas, sparas, skickas över dyrbar nedlänksbandbredd till jorden, sparas igen, granskas av en forskare (eller en algoritm) på en dator timmar eller dagar senare — bara för att sedan raderas.

“Och artificiell intelligens i kanten kom till vår räddning, som kavalleriet i en västernfilm”, säger Furano. Idén som teamet samlades kring var att använda ombord-bearbetning för att identifiera och kasta bort molniga bilder — och därmed spara cirka 30% av bandbredden.

“Rymden är den ultimata kanten”, säger Aubrey Dunne, teknisk chef på Ubotica. Den irländska startupen byggde och testade PhiSat-1:s AI-teknik, i nära samarbete med cosine, tillverkare av kameran, samt Universitetet i Pisa och Singergise för att utveckla den kompletta lösningen. “Myriad var absolut utformad från grunden för att ha en imponerande beräkningsförmåga men i ett mycket lågt effektområde, och det passar rymdtillämpningar mycket bra.”

Myriad 2 var dock inte avsedd för omloppsbana. Rymdfarkostdatorer använder vanligtvis mycket specialiserade “strålningshärdade” chip som kan vara “upp till två decennier efter den senaste kommersiella tekniken”, förklarar Dunne. Och AI har inte varit på menyn.

Så Dunne och Ubotica-teamet utförde “strålningskaraktärisering”, genom att utsätta Myriad-chippet för en serie tester för att ta reda på hur man hanterar eventuella fel eller slitage.

ESA “hade aldrig testat ett chip av denna komplexitet för strålning”, säger Furano. “Vi var tveksamma till om vi kunde testa det ordentligt … vi var tvungna att skriva handboken om hur man utför en omfattande test och karaktärisering för detta chip från scratch.”

Det första testet, 36 timmar i sträck av strålningsbestrålning vid CERN i slutet av 2018, “var en mycket högt tryckssituation”, säger Dunne. Men det testet och två uppföljande tester “lyckades bra för oss”. Myriad 2 passerade i standardform, utan några ändringar.

Plötsligt var denna lågeffekt, högpresterande datorseende-chip redo att gå utöver jordens atmosfär. Ja! Men nu kom en ny utmaning.

Vanligtvis byggs AI-algoritmer, eller “tränas”, med hjälp av stora mängder data för att “lära” — i det här fallet, vad som är ett moln och inte ett moln. Men eftersom kameran var så ny, “hade vi ingen data”, säger Furano. “Vi var tvungna att träna vår applikation på syntetisk data som extraherats från befintliga uppdrag.”

All denna system- och programvaruintegration och testning, med inblandning av ett halvt dussin olika organisationer i hela Europa, tog fyra månader att slutföra. “Vi var mycket stolta över att kunna vara så snabba och så effektivt flexibla, för att få allt ombord på så kort tid”, säger Max Pastena, PhiSat-officer på ESA. Så långt som rymdfarkostutveckling är, är tidsplanen “ett under”, tillägger Furano.

“Intel har gett oss bakgrundsstöd på Myriad-enheten när vi behövde det, för att möjliggöra PhiSat-1:s AI med vår CVAI-teknik”, säger Dunne. “Det uppskattas mycket.”

Tyvärr ledde en serie orelaterade händelser — förseningar med raketen, coronaviruspandemin och ogynnsamma sommarvindar — till att teamen var tvungna att vänta mer än ett år för att ta reda på om PhiSat-1 skulle fungera i omloppsbana som planerat.

Den 2 september lanseringen från Franska Guyana — en första-gången-satellit-rid-delning som drivs av Arianespace — gick snabbt och utan problem. För den första verifikationen sparade satelliten alla bilder och spelade in sitt AI-molndetektionsbeslut för var och en, så att teamet på marken kunde verifiera att dess inbyggda hjärna betedde sig som förväntat.

Efter en tre veckor lång andhämtning kunde Pastena proklamera: “Vi har just gått in i rymdhistorien.”

ESA meddelade att det gemensamma teamet var “glada att avslöja den första hårdvaru-accelererade AI-inferensen av jordobservationsbilder på en satellit i omloppsbana.”

Genom att endast skicka användbara pixlar kommer satelliten nu att “förbättra bandbreddsutnyttjandet och signifikant minska den samlade nedlänkskostnaden” — för att inte tala om att den sparar tid för forskare på marken.

Om man ser framåt är användningarna för lågkostnads-, AI-förbättrade, små satelliter oändliga — särskilt när man lägger till möjligheten att köra flera applikationer.

“I stället för att ha dedikerad hårdvara i en satellit som gör en sak, är det möjligt att växla nätverk i och ut”, säger Jonathan Byrne, chef för Intel Movidius-teknikkontoret. Dunne kallar detta “satellit-tjänst”.

Överväg: När man flyger över områden som är benägna att skogsbränder, kan en satellit upptäcka bränder och meddela lokala respondenter på några minuter i stället för timmar. Över haven, som vanligtvis försummas, kan en satellit upptäcka obehöriga fartyg eller miljöolyckor. Över skogar och jordbruksmarker kan en satellit spåra jordfuktighet och grödornas tillväxt. Över isen kan den spåra tjockleken och smältande dammar för att hjälpa till att övervaka klimatförändringar.

Många av dessa möjligheter kommer snart att testas: ESA och Ubotica arbetar tillsammans på PhiSat-2, som kommer att bära en annan Myriad 2 i omloppsbana. PhiSat-2 kommer att vara “kapabel att köra AI-applikationer som kan utvecklas, enkelt installeras, valideras och opereras på rymdfarkosten under flygning med en enkel användargränssnitt.”

För Intel är det en lågvolymmarknad, men den potentiella påverkan är obestridlig. Som Pastena säger, kan vi till slut förstå “jordens puls”.