NTT przedstawia przełomowy chip AI Inference do przetwarzania wideo 4K w czasie rzeczywistym na krawędzi

W dużym skoku dla przetwarzania AI na krawędzi, NTT Corporation ogłosił przełomowy chip AI inference, który może przetwarzać wideo 4K w czasie rzeczywistym z prędkością 30 klatek na sekundę, używając mniej niż 20 watów mocy. Ten nowy chip large-scale integration (LSI) jest pierwszym na świecie, który osiąga tak wysokowydajne przetwarzanie wideo AI w środowiskach ograniczonych pod względem mocy, co czyni go przełomem dla aplikacji przetwarzania na krawędzi.

Ogłoszony podczas konferencji NTT Upgrade 2025 w San Francisco, chip jest zaprojektowany specjalnie do wdrożenia w urządzeniach na krawędzi – sprzęcie umieszczonym fizycznie blisko źródła danych, takim jak drony, inteligentne kamery i czujniki. W przeciwieństwie do tradycyjnych systemów AI, które polegają na chmurze obliczeniowej do inferencji, ten chip wnosi potężne możliwości AI bezpośrednio na krawędź, znacznie redukując opóźnienia i eliminując potrzebę transmisji wideo o ultra-wysokiej rozdzielczości do scentralizowanych serwerów chmury do analizy.

Przetwarzanie na krawędzi vs. chmura obliczeniowa: Dlaczego to ma znaczenie

W tradycyjnej chmurze obliczeniowej dane z urządzeń takich jak drony lub kamery są wysyłane do oddalonych centrów danych – często położonych setki lub tysiące mil odległości – gdzie są przetwarzane i analizowane. Chociaż ten podejście oferuje praktycznie nieograniczoną moc obliczeniową, wprowadza opóźnienia z powodu transmisji danych, co jest problematyczne dla aplikacji w czasie rzeczywistym, takich jak autonomiczna nawigacja, monitorowanie bezpieczeństwa i podejmowanie decyzji na żywo.

W przeciwieństwie do tego, przetwarzanie na krawędzi przetwarza dane lokalnie, na lub w pobliżu samego urządzenia. To redukuje opóźnienia, zachowuje przepustowość i umożliwia wgląd w czasie rzeczywistym, nawet w środowiskach z ograniczonym lub przerywanym połączeniem z Internetem. Ponadto poprawia prywatność i bezpieczeństwo danych, minimalizując potrzebę transmisji wrażliwych danych przez publiczne sieci.

Nowy chip AI NTT w pełni przyjmuje tę filozofię przetwarzania na krawędzi – dostarczając analizę wideo 4K w czasie rzeczywistym bezpośrednio w urządzeniu, bez polegania na chmurze.

Nowa era dla AI w czasie rzeczywistym na dronach i urządzeniach

Z tym chipem zainstalowanym, dron może wykryć ludzi lub obiekty z odległości do 150 metrów (492 stopy) – granicy wysokości dla dronów w Japonii. To dramatyczna poprawa w porównaniu z tradycyjnymi systemami AI w czasie rzeczywistym, które są ogólnie ograniczone do zasięgu 30 metrów z powodu niższej rozdzielczości lub prędkości przetwarzania.

To osiągnięcie umożliwia szereg nowych przypadków użycia, w tym:

• Inspekcje infrastruktury w trudno dostępnych miejscach

• Reakcja na klęski żywiołowe w obszarach z ograniczoną łącznością

• Monitorowanie rolnictwa na szerokich polach

• Bezpieczeństwo i nadzór bez stałego połączenia z chmurą

Wszystko to jest osiągane z chipem, który zużywa mniej niż 20 watów – dramatycznie mniej niż setki watów wymaganych przez serwery AI zasilane przez GPU, które są niepraktyczne dla systemów przenośnych lub zasilanych bateryjnie.

Wewnątrz chipa: Własny silnik inferencji AI NTT

Wydajność LSI zależy od własnego silnika inferencji AI NTT, który zapewnia szybkie, dokładne wyniki, minimalizując jednocześnie zużycie mocy. Kluczowe innowacje obejmują:

• Korelacja między klatkami: Porównując sekwencyjne klatki wideo, chip redukuje redundancję obliczeń, poprawiając wydajność.

• Kontrola precyzji bitowej w czasie rzeczywistym: Ta technika dostosowuje precyzję numeryczną w locie, używając mniej bitów do prostszych zadań, zachowując energię bez kompromisowania dokładności.

• Wykonywanie natywne YOLOv3: Chip obsługuje bezpośrednie wykonywanie You Only Look Once v3, jednego z najszybszych algorytmów wykrywania obiektów w czasie rzeczywistym w uczeniu maszynowym.

Te połączone funkcje pozwalają chipowi dostarczyć solidne wydajności AI w środowiskach, które wcześniej były uważane za zbyt ograniczone pod względem mocy lub przepustowości dla zaawansowanego inferencji.

Ścieżka do komercjalizacji i wizja IOWN

NTT planuje skomercjalizować chip w ciągu roku fiskalnego 2025 za pośrednictwem swojej spółki zależnej, NTT Innovative Devices Corporation.

Badacze już teraz badają jego integrację z Innowacyjną Optyczną i Bezprzewodową Siecią (IOWN) – wizją infrastruktury NTT, mającą na celu przebudowę cyfrowego rdzenia współczesnego społeczeństwa. W ramach Data-Centric Infrastructure (DCI) chip będzie korzystał z All-Photonics Network dla ultra-niskich opóźnień i szybkiej komunikacji, uzupełniając moc przetwarzania, którą wnosi do urządzeń na krawędzi.

NTT współpracuje również z NTT DATA, Inc. w celu połączenia możliwości chipu z jego technologią szyfrowania opartego na atrybutach (ABE), która umożliwia bezpieczną, drobnoziarnistą kontrolę dostępu do wrażliwych danych. Razem te technologie będą wspierać aplikacje AI, które wymagają zarówno szybkości, jak i bezpieczeństwa – takie jak w ochronie zdrowia, inteligentnych miastach i autonomicznych systemach.

Dziedzictwo innowacji i wizja przyszłości

Ten chip AI inference jest najnowszym dowodem misji NTT, aby umożliwić zrównoważone, inteligentne społeczeństwo za pomocą głębokiej innowacji technologicznej. Jako globalny lider z ponad 92 miliardami dolarów przychodu, 330 000 pracownikami i 3,6 miliardami dolarów wydatków na badania i rozwój rocznie, NTT obsługuje ponad 75% firm z listy Fortune Global 100 oraz miliony konsumentów w 190 krajach.

Nie jest ważne, czy chodzi o drony latające poza zasięgiem wzroku, kamery wykrywające zdarzenia w czasie rzeczywistym bez zależności od chmury, czy zabezpieczanie przepływu danych za pomocą szyfrowania opartego na atrybutach, nowy chip NTT otwiera drogę do następnej generacji AI na krawędzi – gdzie inteligencja spotyka się z natychmiastowością.