Fremgang i mikrochip design bringer oss nærmere AI-kantcomputing

Forskere fra Princeton University har utviklet co-designet hardware og programvare for å øke hastigheten og effektiviteten til spesialiserte kunstig intelligens (AI)-systemer.

Naveen Verma er en professor i elektro- og datateknikk ved Princeton som leder forskningsteamet.

“Programvare er en kritisk del av å muliggjøre nytt hardware,” sa Verma. “Håpet er at designerne kan fortsette å bruke samme programvaresystem — og bare få det til å fungere ti ganger raskere og mer effektivt.”

Systemene som er utviklet av forskerne reduserer energibehovet og mengden data som må utveksles fra fjernservere. Dette gjør at AI-applikasjoner som programvare for droner kan finne sted på kanten av computing-infrastrukturen.

Verma er også direktør for universitetets Keller Center for Innovation in Engineering Education.

“For å gjøre AI tilgjengelig for sanntids- og ofte personlige prosesser rundt oss, må vi adresse forsinkelsen og personvernet ved å flytte beregningen selv til kanten” sa Verma. “Og det krever både energi-effektivitet og ytelse.”

Nye chip-design

Teamet fra Princeton utviklet et nytt chip-design for to år siden, og det var ment å forbedre ytelsen til neurale nettverk. Chipen kunne utføre ti til hundre ganger bedre enn andre mikrochip på markedet.

“Chipens største svakhet er at den bruker en svært uvanlig og disruptiv arkitektur,” sa Verma i 2018. “Det må være forsonet med den massive mengden infrastruktur og designmetodikken som vi har og bruker i dag.”

Chipen ble kontinuerlig forbedret over de neste to årene, og et programvaresystem ble skapt for å tillate AI-systemer å bruke den nye teknologien effektivt. Idéen var at de nye chipene kunne tillate systemer å være skalerbare i hardware og utførelse av programvare.

“Det er programmerbart over alle disse nettverkene,” sa Verma. “Nettverkene kan være svært store, og de kan være svært små.”

Det beste scenarioet for beregning er at det skjer på teknologien selv, i stedet for i en fjern nettverksdatamaskin. Men dette krever massive mengder energi og minne, noe som gjør det vanskelig å designe et slikt system.

For å overvinne disse begrensningene, designet forskerne en chip som utfører beregning og lagrer data i samme område, som kalles in-memory computing. Denne teknikken kutte energi- og tidsbehovet for å utveksle informasjon med dedikert minne.

For å komme rundt analog drift, som er nødvendig for in-memory computing og er følsom for korrupte data, brukte teamet kondensatorer i stedet for transistorer i chip-designet. Kondensatorer er ikke utsatt for samme effekt av spenningsskift, og de er mer presise.

Til tross for ulike andre utfordringer omkring analoge systemer, har de mange fordeler når de brukes til applikasjoner som neurale nettverk. Forskerne ser nå på å kombinere de to typene systemer, ettersom digitale systemer er sentrale, mens neurale nettverk som avhenger av analoge chip kan kjøre raskt og effektivt spesialiserte operasjoner.