Die Rolle von tinyML bei der Aktivierung von Computer Vision am Rand – Thought Leaders

Von: Davis Sawyer, Co-Founder & Chief Product Officer, Deeplite

Computer-Vision hat ein großes Potenzial, unser tägliches Leben zu verbessern – und es gibt viele Anwendungen und Verwendungen dafür. Einige Beispiele sind:

• Intelligente Türsprechanlagen für die Heimsicherheit helfen, “Porch-Piraten” und Einbrüche zu verhindern. Laut einer Studie von I.H.S. Markit (veröffentlicht in SecurityInfoWatch) wurde die Anzahl der globalen Überwachungskameras im Jahr 2021 voraussichtlich auf eine Milliarde ansteigen. Allein in den USA wurde die Anzahl der Kameras auf 85 Millionen geschätzt;
• In Parkplätzen automatisieren AI-gesteuerte Kameras die Verfolgung von verfügbaren und besetzten Parkplätzen, um den Verbrauchern mitzuteilen, wo offene Plätze sind;
• Dashboard-Kameras in LKW lesen jetzt Geschwindigkeitsbegrenzungen und reduzieren dynamisch die Geschwindigkeit des LKW, um die Sicherheit zu verbessern;
• Und Drohnen mit verbundenen Kameras überwachen abgelegene und schwer zugängliche Gebiete und können Bilder verarbeiten und in Echtzeit Entscheidungen treffen.

All diese Anwendungen nutzen intelligente Videoanalytik, die von KI und Machine Learning (ML) angetrieben wird, um Videos zu beobachten, Intelligenz zu nutzen, um Entscheidungen zu treffen, und dann zu handeln.

Computer-Vision benötigt mehr Ressourcen am Rand

Jedoch benötigt Computer-Vision, wie viele KI-gesteuerte Anwendungen, Bursts von Rechenleistung, Speicher und Energie, um komplexe Analysen durchzuführen und Entscheidungen zu treffen. Während dies in einem Rechenzentrum mit viel Rechenleistung in Ordnung ist, kann es die Verlagerung von KI an den Rand verhindern. Insbesondere benötigen kleine Geräte, die weit von Unternehmensrechenzentren entfernt sind und mit kleinen Batterien betrieben werden, eine neue Generation von KI, die kleiner, schneller und “leichter” ist als herkömmliche Ansätze. Und bestehende Geräte müssen mit neuer KI + ML (Computer-Vision)-Funktionalität ausgestattet werden, um weiterhin wettbewerbsfähig zu bleiben.

Neue Fortschritte beschleunigen Deep Neural Networks

Heute beschleunigen neue Fortschritte in KI Deep Neural Networks (DNNs), machen sie schneller, kleiner und energieeffizienter – und helfen, KI von der Cloud und Rechenzentren zu Geräten am Rand und batteriebetriebenen Sensoren zu verlagern. Wenn es um das Training von KI-Modellen geht, wurde der atemberaubende CO2-Fußabdruck dokumentiert und diskutiert (z. B. emittiert das Training eines KI-Sprachmodells so viel CO2 wie 5 Autos über ihre gesamte Lebensdauer). Wir müssen jedoch verstehen, was die Umweltauswirkungen von AI-Modell-Inferenz sind und wie wir diesen Fußabdruck reduzieren können. Hier kann die Modelloptimierung enorme Vorteile durch die Reduzierung der wirtschaftlichen und ökologischen Kosten von DNNs haben.

TinyML ermöglicht KI auf kleinen Geräten

Eine solche Entwicklung ist tinyML, ein mächtiger neuer Trend, der es ermöglicht, kleinere, batteriebetriebene Geräte zu verwenden, um fortschrittliches ML für Computer-Vision und andere Wahrnehmungsaufgaben zu nutzen. Es ermöglicht ML-Inferenz auf kleinen, ressourcenbeschränkten Geräten, die normalerweise am Rand der Cloud sind, und hilft, Anwendungen am Rand zu ermöglichen, die näher bei den Benutzern sind.

Beispielsweise hat ein Server-GPU wie ein NVIDIA A100 über 40 GB verfügbaren Speicher, der für komplexe KI wie Computer-Vision und Sprachverarbeitung geeignet ist. Wenn wir jedoch über Geräte am Rand und tinyML sprechen, kann ein gemeinsamer Mikrocontroller (MCU) nur 256 KB On-Chip-Speicher haben, was über 100.000-mal weniger Speicher als die Cloud ist! Darüber hinaus kann die Hardware von Geräten am Rand im Gegensatz zu Rechenzentren und der Cloud nicht einfach im Feld aktualisiert werden. Das bedeutet, dass wir unsere KI in die verfügbare Hardware “passen” müssen, was Entwicklern Monate bis Jahre der Trial-and-Error-Entwicklung bedeuten kann, wenn überhaupt. Hier kann tinyML, insbesondere automatisiertes maschinelles Lernen (auch AutoML genannt), eine wichtige Rolle bei der Überwindung von Barrieren für die Übernahme von KI in der realen Welt spielen.

Und der Einfluss von tinyML wächst. Mit über 10.000 Mitgliedern wächst die tinyML-Foundation und unterstützt die Entwicklung und Bereitstellung von ultra-niedrigenergetischen maschinellen Lernlösungen am Rand. Die Foundation vereint eine globale Gemeinschaft von Hardware-, Software-, maschinellen Lern-, Datenwissenschaftlern, Systemingenieuren, Designern, Produkt- und Geschäftsleuten.

Eine Welt der Möglichkeiten

Insgesamt gibt es Milliarden von kleinen, vernetzten Geräten, die von fortschrittlicher Intelligenz profitieren können. Die Herausforderung besteht darin, dass sie sehr begrenzte Ressourcen haben, also wie können wir Intelligenz hinzufügen? tinyML kann eine wichtige Rolle bei der Einführung von KI und ML in mehr Computer-Vision-basierten, realen Anwendungen am Rand auf kleinen Geräten spielen. Und dies kann eine Welt von Vorteilen für Menschen und Unternehmen in einer Reihe von Produkten, Dienstleistungen und Branchen freischalten, die uns helfen, in neue Grenzen für KI vorzustoßen.