NTT avdekker gjennombrots AI-inferenschip for sanntids 4K-videobehandling på kanten

I et stort sprang for kant-AI-behandling, har NTT Corporation annonsert en banebrytende AI-inferenschip som kan behandle sanntids 4K-video i 30 bilder per sekund – med mindre enn 20 watt strøm. Denne nye large-scale integration (LSI) chipen er den første i verden som oppnår slike høy-ytelses AI-video-inferens i strømbegrensede miljøer, og det er et gjennombrudd for kant-datatilpasning.

Avmalt under NTT sitt Upgrade 2025 toppmøte i San Francisco, er chipen spesifikt designet for utrulling i kantenheter – hardware som er fysisk nær kilde til data, som droner, smarte kameraler og sensorer. I motsetning til tradisjonelle AI-systemer som avhenger av skydatatilpasning, bringer denne chipen kraftige AI-egenskaper direkte til kanten, og reduserer latency og eliminerer behovet for å overføre ultra-høyoppløselig video til sentraliserte skytjenere for analyse.

Kant-datatilpasning vs. Skydatatilpasning: Hvorfor det betyr noe

I tradisjonell skydatatilpasning, sendes data fra enheter som droner eller kameraler til fjerne datacenter – ofte beliggende hundrevis eller tusenvis av mil unna – hvor det behandles og analyseres. Mens denne tilnærmingen tilbyr praktisk talt ubegrenset beregningskraft, introduserer den forsinkelser på grunn av dataoverføring, noe som er problematisk for sanntidsapplikasjoner som autonom navigasjon, sikkerhetsovervåking og live-beslutning.

I motsetning til dette, behandler kant-datatilpasning data lokalt, på eller nær enheten selv. Dette reduserer latency, bevarende båndbredde og muliggjør sanntidsinnsikt selv i miljøer med begrensede eller intermittente internettforbindelser. Det forbedrer også personvern og datasikkerhet ved å minimere behovet for å overføre følsomme data over offentlige nettverk.

NTT sitt nye AI-chip omfavner fullstendig denne kant-først-filosofien – leverer sanntids 4K-videanalyse direkte innenfor enheten, uten å avhenge av skyen.

En ny æra for sanntids AI på droner og enheter

Med denne chipen installert, kan en drone detektere mennesker eller objekter fra opptil 150 meter (492 fot) – det lovlige høydegrensen for droner i Japan. Dette er en dramatisk forbedring i forhold til tradisjonelle sanntids AI-systemer, som vanligvis er begrensede til en 30-meters rekkevidde på grunn av lavere oppløsning eller prosesseringshastighet.

Dette fremmer en rekke nye bruksområder, inkludert:

• Infrastrukturinspeksjoner i vanskelige å nå steder

• Katastroferespons i områder med begrensede forbindelser

• Landbruksovervåking over brede felt

• Sikkerhet og overvåking uten konstant skyoppkobling

Alt dette oppnås med en chip som forbruker mindre enn 20 watt – dramatisk lavere enn de hundrevis av watt som kreves av GPU-drevne AI-tjenere, som er upraktiske for mobile eller batteridrevne systemer.

Inni chipen: NTT sitt proprietære AI-inferensmotor

LSI-enhetens ytelse avhenger av NTT sitt eget bygde AI-inferensmotor, som sikrer høyhastighets-, nøyaktige resultater samtidig som strømforbruket minimiseres. Nøkkelinnovasjoner inkluderer:

• Mellomramme-korrelasjon: Ved å sammenligne sekvensielle videoframer, reduserer chipen redundante beregninger, og forbedrer effektiviteten.

• Dynamisk bit-presisjonskontroll: Denne teknikken justerer den numeriske presisjonen som kreves på fly, og bruker færre biter for enklere oppgaver, og konserverer energi uten å kompromittere nøyaktigheten.

• Naturlig YOLOv3-utførelse: Chipen støtter direkte utførelse av You Only Look Once v3, ett av de raskeste sanntids-objektdeteksjonsalgoritmene i maskinlæring.

Disse kombinerende funksjonene tillater chipen å levere robust AI-ytelse i miljøer som tidligere ble ansett som for strøm- eller båndbredde-begrensede for avansert inferens.

Veien til kommersialisering og IOWN-visjonen

NTT planlegger å kommersialisere chipen innen regnskapsåret 2025 gjennom sitt operasjonsselskap, NTT Innovative Devices Corporation.

Forskere utforsker allerede integreringen av denne i Innovative Optical and Wireless Network (IOWN) – NTT sitt neste-generasjons-infrastrukturvisjon som retter seg mot å overhalde den digitale ryggraden i det moderne samfunnet. Innen IOWN sitt Data-Centric Infrastructure (DCI), ville chipen dra nytte av All-Photonics Network for ultra-lav latency, høyhastighetskommunikasjon, og komplementere den lokale prosesseringskraften den bringer til kantenheter.

NTT samarbeider også med NTT DATA, Inc. for å kombinere chipens egenskaper med sin Attribute-Based Encryption (ABE) teknologi, som muliggjør sikker, fin-granet tilgangskontroll over følsomme data. Sammen vil disse teknologiene støtte AI-applikasjoner som krever både hastighet og sikkerhet – som i helsevesen, smarte byer og autonome systemer.

En arv av innovasjon og en visjon for fremtiden

Denne AI-inferenschipen er det siste beviset på NTT sitt oppdrag å muliggjøre et bærekraftig, intelligent samfunn gjennom dyp teknologisk innovasjon. Som en global leder med over 92 milliarder dollar i omsetning, 330 000 ansatte og 3,6 milliarder dollar i årlig FoU, betjener NTT over 75 % av Fortune Global 100-selskaper og millioner av forbrukere over 190 land.

Uansett om det er droner som flyr utenfor visuell linje, kameraler som detekterer hendelser i sanntid uten skyavhengighet, eller sikrer datastrømmer med attribut-basert kryptering, setter NTT sitt nye chip scenen for den neste fronten i AI på kanten – hvor intelligensen møter umiddelbarheten.