Rola tinyML w umożliwieniu komputerowego widzenia na urządzeniach brzegowych – Liderzy myśli

Przez: Davis Sawyer, współzałożyciel i dyrektor produktowy, Deeplite

Widzenie komputerowe ma ogromny potencjał, aby poprawić nasze codzienne życie – i istnieje wiele aplikacji i zastosowań dla niego. Kilka przykładów obejmuje:

• Inteligentne dzwonki do drzwi do bezpieczeństwa domu pomagają zapobiegać “porch pirate’om” i włamaniom. Zgodnie z badaniami przeprowadzonymi przez I.H.S. Markit (opublikowanymi w SecurityInfoWatch) liczba globalnych kamer nadzoru na całym świecie miała osiągnąć jeden miliard w 2021 roku. W samej Ameryce liczba kamer miała osiągnąć 85 milionów;
• Na parkingach, kamery z funkcją sztucznej inteligencji automatyzują śledzenie dostępnych i zajętych miejsc parkingowych, informując konsumentów, gdzie znajdują się wolne miejsca;
• Kamery na desce rozdzielczej w ciężarówkach odczytują teraz znaki ograniczenia prędkości i dynamicznie redukują prędkość ciężarówki w celu poprawy bezpieczeństwa;
• I drony z podłączonymi kamerami monitorują odległe i trudno dostępne obszary, oraz mogą przetwarzać obrazy i podejmować decyzje w czasie rzeczywistym.

Wszystkie te aplikacje wykorzystują inteligentną analitykę wideo, napędzaną przez sztuczną inteligencję i maszynowe uczenie (ML), aby obserwować wideo, podejmować decyzje i wykonywać czynności.

Widzenie komputerowe wymaga więcej zasobów na urządzeniach brzegowych

Jednak podobnie jak wiele aplikacji napędzanych przez sztuczną inteligencję, widzenie komputerowe wymaga wybuchów mocy obliczeniowej, pamięci i energii, aby wykonać złożoną analitykę i podejmować decyzje. Chociaż jest to w porządku w centrum danych z dużą mocą obliczeniową, może to uniemożliwić przeniesienie sztucznej inteligencji na urządzenia brzegowe. Konkretnie, małe urządzenia zlokalizowane daleko od centrów danych korporacyjnych i działające na małych bateriach wymagają nowego rodzaju sztucznej inteligencji, który jest mniejszy, szybszy i “lżejszy” niż tradycyjne podejścia. I istniejące urządzenia będą musiały zostać uaktualnione o nową funkcjonalność sztucznej inteligencji + ML (widzenie komputerowe), aby pozostać przydatne i konkurencyjne.

Nowe osiągnięcia zwiększają wydajność głębokich sieci neuronowych

Dziś nowe osiągnięcia w dziedzinie sztucznej inteligencji sprawiają, że głębokie sieci neuronowe (DNN) stają się szybsze, mniejsze i bardziej efektywne pod względem energii – i pomagają przenieść sztuczną inteligencję z chmury i centrów danych na urządzenia brzegowe i czujniki zasilane bateriami. Jeśli chodzi o szkolenie modeli sztucznej inteligencji, olbrzymi ślad węglowy został udokumentowany i omówiony (tj. szkolenie jednego modelu języka sztucznej inteligencji emituje tyle samo CO2, co 5 samochodów podczas ich całego życia). Jednak musimy zrozumieć, jaki jest wpływ środowiskowy wnioskowania modelu sztucznej inteligencji i jak go zmniejszyć. To właśnie tutaj optymalizacja modelu może przynieść ogromne korzyści, redukując koszty ekonomiczne i środowiskowe DNN.

TinyML umożliwia sztuczną inteligencję na małych urządzeniach

Jednym z takich osiągnięć jest tinyML, potężny nowy trend, który umożliwia mniejszym, zasilanym bateriami urządzeniom wykorzystywanie zaawansowanego maszynowego uczenia, aby dostarczyć widzenie komputerowe i inne zadania percepcji. Ułatwia wnioskowanie maszynowe na małych, ograniczonych zasobami urządzeniach, zwykle na brzegu chmury, i pomaga umożliwić aplikacje brzegowe bliżej użytkownika.

Na przykład serwer GPU, taki jak NVIDIA A100, ma ponad 40 GB dostępnej pamięci, co jest odpowiednie do uruchomienia złożonej sztucznej inteligencji, takiej jak widzenie komputerowe i przetwarzanie języka naturalnego. Jednak gdy mówimy o urządzeniach brzegowych i tinyML, typowy mikrokontroler (MCU) może mieć tylko 256 KB pamięci na chipie, co jest ponad 100 000 razy mniej pamięci niż w chmurze! Ponadto, w przeciwieństwie do centrów danych i chmury, sprzęt urządzeń brzegowych nie może być łatwo aktualizowany w terenie. Oznacza to, że musimy “dopasować” naszą sztuczną inteligencję do dostępnego sprzętu, co może zajmować miesiące lub lata prób i błędów dla deweloperów, jeśli w ogóle. To właśnie tutaj tinyML, a w szczególności automatyczne maszynowe uczenie (również nazywane AutoML), może odegrać znaczącą rolę w łamaniu barier dla przyjęcia sztucznej inteligencji w świecie rzeczywistym.

I wpływ tinyML rośnie. Z ponad 10 000 członków, Fundacja tinyML rozwija ekosystem, aby wspierać rozwój i wdrożenie ultra-niskiej mocy rozwiązań maszynowego uczenia na brzegu. Fundacja łączy globalną społeczność sprzętu, oprogramowania, maszynowego uczenia, naukowców danych, inżynierów systemów, projektantów, produktów i biznesmenów.

Świat możliwości

W sumie istnieje miliardy małych, połączonych urządzeń, które mogą skorzystać z zaawansowanej inteligencji. Wyzwaniem jest to, że mają one bardzo ograniczone zasoby, więc jak możemy dodać im inteligencję? tinyML może odegrać kluczową rolę w przywożeniu sztucznej inteligencji i maszynowego uczenia do więcej aplikacji opartych na widzeniu komputerowym, w świecie rzeczywistym, na urządzeniach brzegowych i małych urządzeniach. I to może odblokować świat korzyści dla ludzi i firm w różnych produktach, usługach i branżach, pomagając nam wchodzić w nowe granice sztucznej inteligencji.