NTT presenterer gjennombrudds AI-inferenschip for sanntids 4K-videobehandling på kanten

I et stort sprang for kant-AI-behandling, har NTT Corporation annonsert en banebrytende AI-inferenschip som kan behandle sanntids 4K-video i 30 bilder per sekund – med mindre enn 20 watt strøm. Denne nye large-scale integration (LSI)-chippet er den første i verden som oppnår så høy ytelse AI-videoinferens i strømbegrensede miljøer, og gjør det til et gjennombrudd for kant-datatjenester.

Avmønstring under NTT’s Upgrade 2025 toppmøte i San Francisco, er chippet designet spesifikt for utrulling i kantenheter – maskinvare som er fysisk nær datakilden, som droner, smarte kamere og sensorer. I motsetning til tradisjonelle AI-systemer som avhenger av skytjenester for inferens, bringer dette chippet kraftige AI-egenskaper direkte til kanten, og reduserer latency betydelig og eliminerer behovet for å overføre ultra-høyoppløselig video til sentraliserte skytjenere for analyse.

Kant-datatjenester vs. Skytjenester: Hvorfor det betyr noe

I tradisjonell skytjeneste, sendes data fra enheter som droner eller kamere til fjerne datacenter – ofte beliggende hundredvis eller tusenvis av mil unna – hvor det behandles og analyseres. Mens denne tilnærmingen tilbyr praktisk talt ubegrenset beregningskraft, introduserer den forsinkelser på grunn av dataoverføring, som er problematisk for sanntidsapplikasjoner som autonom navigasjon, sikkerhetsovervåking og live-beslutning.

I motsetning til dette, kant-datatjenester behandler data lokalt, på eller nær enheten selv. Dette reduserer latency, bevarende båndbredde og muliggjør sanntidsinnsikt selv i miljøer med begrensede eller intermittent internetttilkobling. Det forbedrer også personvern og datasikkerhet ved å minimere behovet for å overføre følsomme data over offentlige nettverk.

NTT’s nye AI-chip omfavner fullstendig denne kant-først-filosofien – leverer sanntids 4K-videanalyse direkte innenfor enheten, uten å avhenge av skytjenesten.

En ny æra for sanntids-AI på droner og enheter

Med dette chippet installert, kan en drone detektere mennesker eller objekter fra opptil 150 meter (492 fot) – det lovlige høydegrensen for droner i Japan. Dette er en dramatisk forbedring i forhold til tradisjonelle sanntids-AI-systemer, som vanligvis er begrensede til en 30-meters rekkevidde på grunn av lavere oppløsning eller prosesseringshastighet.

Dette fremmer en rekke nye bruksområder, inkludert:

• Infrastrukturinspeksjoner i vanskelige tilgjengelige områder

• Katastroferespons i områder med begrensede nettverksforbindelser

• Landbruksovervåking over store områder

• Sikkerhet og overvåking uten konstant skyoppkobling

Alt dette oppnås med et chip som forbruker mindre enn 20 watt – dramatisk lavere enn de hundredvis av watt som kreves av GPU-drevne AI-tjenere, som er upraktiske for mobile eller batteridrevne systemer.

Inne i chippet: NTT’s egenutviklede AI-inferensmotor

LSI’ens ytelse avhenger av NTT’s egenutviklede AI-inferensmotor, som sikrer høyhastighets-, nøyaktige resultater samtidig som strømforbruket minimiseres. Nøkkelinnovasjoner inkluderer:

• Ramme-korrelasjon: Ved å sammenligne påfølgende videorammer, reduserer chippet redundante beregninger, og forbedrer effektiviteten.

• Dynamisk bitpresisjonskontroll: Denne teknikken justerer den numeriske presisjonen som kreves på fly, og bruker færre biter for enklere oppgaver, og konserverer energi uten å kompromittere nøyaktigheten.

• Innbygd YOLOv3-utføring: Chippet støtter direkte utføring av You Only Look Once v3, en av de raskeste sanntidsobjektdeteksjonsalgoritmene i maskinlæring.

Disse kombinerete egenskapene tillater chippet å levere robust AI-ytelse i miljøer som tidligere ble ansett som for strøm- eller båndbreddebegrensede for avansert inferens.

Veien til kommersialisering og IOWN-visjonen

NTT planlegger å kommersialisere chippet innen regnskapsåret 2025 gjennom sitt driftsselskap, NTT Innovative Devices Corporation.

Forskere utforsker allerede integreringen av det i Innovative Optical and Wireless Network (IOWN) – NTT’s neste-generasjons infrastrukturvisjon som har som mål å omgjøre den digitale ryggraden i det moderne samfunnet. Innen IOWN’s Data-Centric Infrastructure (DCI), ville chippet dra nytte av All-Photon Network for ultra-lav latency, høyhastighetskommunikasjon, og komplementere den lokale prosesseringskraften det bringer til kantenheter.

NTT samarbeider også med NTT DATA, Inc. for å kombinere chippets egenskaper med sin Attribute-Based Encryption (ABE)-teknologi, som muliggjør sikker, finmasket tilgangskontroll over følsomme data. Disse teknologiene vil sammen støtte AI-applikasjoner som krever både hastighet og sikkerhet – som i helsevesenet, smarte byer og autonome systemer.

En arv av innovasjon og en visjon for fremtiden

Dette AI-inferenschippet er det siste beviset på NTT’s misjon om å muliggjøre et bærekraftig, intelligent samfunn gjennom dyp teknologisk innovasjon. Som en global leder med over 92 milliarder dollar i omsetning, 330 000 ansatte og 3,6 milliarder dollar i årlig FoU, betjener NTT over 75 % av Fortune Global 100-selskaper og millioner av forbrukere over 190 land.

Uansett om det er droner som flyr utenfor synsrekkevidden, kamere som detekterer hendelser i sanntid uten avhengighet av skytjenester, eller sikrer datastrømmer med attributbasert kryptering, setter NTT’s nye chip scenen for den neste fronten i AI på kanten – hvor intelligensen møter umiddelbarheten.