Die Rolle von tinyML bei der Ermöglichung von Computer Vision am Edge – Vordenker

Von: Davis Sawyer, Mitbegründer und Chief Product Officer, Deeplite

Computer Vision hat großes Potenzial, unseren Alltag zu verbessern – und es gibt viele Anwendungen und Einsatzmöglichkeiten dafür. Einige Beispiele sind:

• Intelligente Türklingeln für die Sicherheit zu Hause helfen, „Verandapiraten“ und Einbrüche zu verhindern. Laut einer Studie von IHS Markit (veröffentlicht in SecurityInfoWatch) soll die Zahl der weltweiten Überwachungskameras im Jahr 2021 eine Milliarde erreichen. Allein in den USA soll die Zahl der Kameras 85 Millionen erreichen;
• In Parkplätze, KI-fähige Kameras automatisieren die Verfolgung verfügbarer und belegter Parkplätze, um Verbraucher darüber zu informieren, wo freie Plätze sind;
• Armaturenbrettkameras Bei Lkws werden jetzt Geschwindigkeitsbegrenzungsschilder gelesen und die Geschwindigkeit des Lkws dynamisch reduziert, um die Sicherheit zu erhöhen.
• Und Drohnen mit angeschlossenen Kameras überwachen abgelegene und schwer zugängliche Gebiete, können Bilder verarbeiten und Entscheidungen in Echtzeit treffen.

Alle diese Anwendungen nutzen intelligente Videoanalysen, die auf KI und maschinellem Lernen (ML) basieren, um Videos anzusehen, mithilfe von Intelligenz Entscheidungen zu treffen und dann Maßnahmen zu ergreifen.

Computer Vision benötigt mehr Ressourcen am Edge

Allerdings benötigt Computer Vision, wie viele KI-gesteuerte Anwendungen, große Mengen an Rechenleistung, Speicher und Energie, um seine komplexen Analysen durchzuführen und Entscheidungen zu treffen. Während dies in einem Rechenzentrum mit viel Computerleistung in Ordnung ist, kann es die Verlagerung der KI an den Rand verhindern. Insbesondere kleine Geräte, die weit entfernt von Unternehmensrechenzentren stehen und mit kleinen Batterien betrieben werden, benötigen eine neue Art von KI, die kleiner, schneller und „leichter“ als herkömmliche Ansätze ist. Und bestehende Geräte müssen mit neuen KI- und ML-Funktionen (Computer Vision) aufgerüstet werden, um lebensfähig und wettbewerbsfähig zu bleiben.

Neue Fortschritte fördern tiefe neuronale Netze

Neue Fortschritte in der KI machen Deep Neural Networks (DNNs) heute schneller, kleiner und energieeffizienter – und tragen dazu bei, KI von der Cloud und den Rechenzentren auf Edge-Geräte und batteriebetriebene Sensoren zu verlagern. Wenn es um das Training von KI-Modellen geht, wurde der atemberaubende COXNUMX-Fußabdruck dokumentiert und diskutiert (z. B. Training eines KI-Sprachmodells). stößt im Laufe seines Lebens so viel CO2 aus wie 5 Autos). Wir müssen jedoch verstehen, welche Auswirkungen dies auf die Umwelt hat KI-Modellinferenz ist und wie man diesen Fußabdruck reduzieren kann. Hier kann die Modelloptimierung enorme Vorteile bringen, indem sie die wirtschaftlichen und ökologischen Kosten von DNNs senkt.

TinyML ermöglicht KI auf kleinen Geräten

Ein solcher Fortschritt ist winzigML, ein starker neuer Trend, der es kleineren, batteriebetriebenen Geräten ermöglicht, fortschrittliches ML zu nutzen, um Computer Vision und andere Wahrnehmungsaufgaben bereitzustellen. Es erleichtert ML-Inferenz auf kleinen, ressourcenbeschränkten Geräten, die sich typischerweise am Rande der Cloud befinden, und trägt dazu bei, Edge-Anwendungen näher am Benutzer zu ermöglichen.

Beispielsweise verfügt eine Server-GPU wie eine NVIDIA A100 über mehr als 40 GB verfügbaren Speicher, der für die Ausführung komplexer KI wie Computer Vision und Verarbeitung natürlicher Sprache geeignet ist. Wenn wir jedoch über Edge-Geräte und tinyML sprechen, verfügt ein gewöhnlicher Mikrocontroller (MCU) möglicherweise nur über 256 KB On-Chip-Speicher, was über 100,000-mal weniger Speicher als in der Cloud ist! Darüber hinaus kann die Hardware von Edge-Geräten im Gegensatz zu Rechenzentren und der Cloud nicht einfach vor Ort aktualisiert werden. Das bedeutet, dass wir unsere KI in die verfügbare Hardware „einpassen“ müssen, was für Entwickler, wenn überhaupt, Monate oder Jahre des Ausprobierens erfordern kann. Hier kann TinyML, insbesondere automatisiertes maschinelles Lernen (auch AutoML genannt), eine wichtige Rolle dabei spielen, Hindernisse für die Einführung von KI in der realen Welt zu überwinden.

Und der Einfluss von tinyML wächst. Mit über 10,000 Mitgliedern erweitert die tinyML Foundation das Ökosystem, um die Entwicklung und Bereitstellung von extrem stromsparenden Machine-Learning-Lösungen am Edge zu unterstützen. Die Foundation vereint eine globale Community aus Hardware-, Software-, Machine-Learning-, Datenwissenschaftlern, Systemingenieuren, Designern, Produkten und Geschäftsleuten.

Eine Welt voller Möglichkeiten

Insgesamt gibt es überall Milliarden kleiner, vernetzter Geräte, die von fortschrittlicher Intelligenz profitieren können. Die Herausforderung besteht darin, dass sie nur über sehr begrenzte Ressourcen verfügen. Wie können wir ihnen also Intelligenz hinzufügen? tinyML kann eine Schlüsselrolle dabei spielen, KI und ML in mehr auf Computer Vision basierende, reale Anwendungen am Rande kleiner Geräte zu integrieren. Und dies kann eine Welt voller Vorteile für Menschen und Unternehmen in einer Reihe von Produkten, Dienstleistungen und Branchen eröffnen und uns dabei helfen, neue Grenzen für KI zu erschließen.