Neue Horizonte in der generativen KI – weit entfernt von der Cloud

Am Anfang war das Internet, das unser Leben für immer veränderte – die Art und Weise, wie wir kommunizieren, einkaufen, Geschäfte führen. Und dann, aus Gründen der Latenz, Privatsphäre und Kosteneffizienz, zog das Internet an den Netzwerkrand, was zum “Internet der Dinge” führte.

Jetzt gibt es künstliche Intelligenz, die alles, was wir im Internet tun, einfacher, persönlicher und intelligenter macht. Um sie jedoch zu nutzen, sind große Server und hohe Rechenleistung erforderlich, so dass sie auf die Cloud beschränkt sind. Aber dieselben Motivationen – Latenz, Privatsphäre, Kosteneffizienz – haben Unternehmen wie Hailo dazu gebracht, Technologien zu entwickeln, die KI am Rand ermöglichen.

Ohne Zweifel ist die nächste große Sache die generative KI. Generative KI bietet enormes Potenzial über verschiedene Branchen hinweg. Sie kann verwendet werden, um die Arbeit zu rationalisieren und die Effizienz verschiedener Kreative – Anwälte, Content-Autoren, Grafikdesigner, Musiker und viele mehr – zu steigern. Sie kann helfen, neue therapeutische Medikamente zu entdecken oder bei medizinischen Eingriffen zu helfen. Generative KI kann die industrielle Automation verbessern, neue Software-Code entwickeln und die Verkehrssicherheit durch die automatisierte Synthese von Video, Audio, Bildern und mehr verbessern.

Die generative KI, wie sie heute existiert, ist jedoch durch die Technologie, die sie ermöglicht, eingeschränkt. Das liegt daran, dass generative KI in der Cloud stattfindet – große Rechenzentren mit teuren, energieintensiven Computerprozessoren, die weit entfernt von den tatsächlichen Nutzern sind. Wenn jemand eine Anfrage an ein generatives KI-Tool wie ChatGPT oder eine neue AI-basierte Video-Konferenzlösung sendet, wird die Anfrage über das Internet an die Cloud gesendet, wo sie von Servern verarbeitet wird, bevor die Ergebnisse über das Netzwerk zurückgesendet werden.

Wenn Unternehmen neue Anwendungen für generative KI entwickeln und auf verschiedenen Geräten bereitstellen – Video-Kameras und Sicherheitssysteme, industrielle und persönliche Roboter, Laptops und sogar Autos – ist die Cloud ein Flaschenhals in Bezug auf Bandbreite, Kosten und Konnektivität.

Und für Anwendungen wie Fahrerassistenz, persönliche Computer-Software, Video-Konferenzen und Sicherheit kann das ständige Verschieben von Daten über ein Netzwerk ein Risiko für die Privatsphäre darstellen.

Die Lösung besteht darin, diese Geräte in die Lage zu versetzen, generative KI am Rand zu verarbeiten. Tatsächlich kann generative KI am Rand viele aufkommende Anwendungen nutzen.

Generative KI im Aufwind

Bedenken Sie, dass Mercedes-Benz im Juni bekannt gab, dass es ChatGPT in seine Autos integrieren wird. In einem ChatGPT-verbesserten Mercedes kann der Fahrer beispielsweise handsfree nach einem Rezept für ein Abendessen fragen, das auf Zutaten basiert, die er bereits zu Hause hat. Vorausgesetzt, das Auto ist mit dem Internet verbunden. In einer Parkgarage oder einem abgelegenen Gebiet ist alles anders.

In den letzten paar Jahren ist Video-Konferenzen für die meisten von uns zur zweiten Natur geworden. Schon jetzt integrieren Software-Unternehmen Formen von KI in Video-Konferenzlösungen. Vielleicht ist es, um Audio- und Videoqualität auf die Schnelle zu optimieren, oder um “Menschen” in denselben virtuellen Raum zu setzen. Jetzt können generative KI-gestützte Video-Konferenzen automatisch Besprechungsprotokolle erstellen oder relevante Informationen aus Unternehmensquellen in Echtzeit abrufen, wenn verschiedene Themen diskutiert werden.

Wenn jedoch ein intelligentes Auto, ein Video-Konferenzsystem oder jedes andere Gerät am Rand nicht mit der Cloud verbunden werden kann, kann die generative KI-Erfahrung nicht stattfinden. Aber was, wenn sie es nicht müssten? Es klingt wie eine schwierige Aufgabe, wenn man die enorme Verarbeitung von Cloud-KI berücksichtigt, aber es wird jetzt möglich.

Generative KI am Rand

Schon jetzt gibt es generative KI-Tools, die beispielsweise automatisch reiche, ansprechende PowerPoint-Präsentationen erstellen können. Aber der Benutzer benötigt das System, um von überall aus zu funktionieren, sogar ohne Internetverbindung.

Ähnlich sehen wir bereits eine neue Klasse von generativen KI-basierten “Co-Pilot”-Assistenten, die grundlegend unsere Interaktion mit unseren Computern verändern werden, indem sie viele Routine-Aufgaben automatisieren, wie das Erstellen von Berichten oder das Visualisieren von Daten. Stellen Sie sich vor, Sie öffnen einen Laptop, der Laptop erkennt Sie durch seine Kamera und generiert dann automatisch einen Aktionsplan für den Tag/Woche/Monat basierend auf Ihren am häufigsten verwendeten Tools wie Outlook, Teams, Slack, Trello usw. Aber um die Daten-Privatsphäre und eine gute Benutzererfahrung zu gewährleisten, müssen Sie die Möglichkeit haben, generative KI lokal auszuführen.

Zusätzlich zu den Herausforderungen unzuverlässiger Verbindungen und der Daten-Privatsphäre kann KI am Rand auch dazu beitragen, die Bandbreitenanforderungen zu reduzieren und die Leistung von Anwendungen zu verbessern. Wenn beispielsweise eine generative KI-Anwendung Daten-reiche Inhalte wie einen virtuellen Konferenzraum über die Cloud erstellt, kann der Prozess je nach verfügbarer (und teurer) Bandbreite verzögert werden. Und bestimmte Arten von generativen KI-Anwendungen, wie Sicherheit, Robotik oder Gesundheitswesen, erfordern hochleistungsfähige, latenzarme Antworten, die Cloud-Verbindungen nicht bewältigen können.

Bei der Video-Sicherheit ist die Fähigkeit, Personen wiederzuerkennen, wenn sie zwischen vielen Kameras wechseln – einige davon an Orten, an denen Netzwerke nicht erreicht werden können – Datenmodelle und KI-Verarbeitung in den Kameras selbst erfordert. In diesem Fall kann generative KI auf automatisierte Beschreibungen dessen angewendet werden, was die Kameras sehen, durch einfache Abfragen wie “Finde das 8-jährige Kind mit dem roten T-Shirt und der Baseball-Mütze”.

Das ist generative KI am Rand.

Entwicklungen in der KI am Rand

Durch die Einführung einer neuen Klasse von KI-Prozessoren und die Entwicklung schlankerer, effizienterer, aber nicht weniger leistungsfähiger generativer KI-Datenmodelle können Geräte am Rand so konzipiert werden, dass sie intelligent arbeiten, wo Cloud-Konnektivität unmöglich oder unerwünscht ist.

Natürlich wird die Cloud-Verarbeitung ein wichtiger Bestandteil der generativen KI bleiben. Beispielsweise wird das Training von KI-Modellen in der Cloud bleiben. Aber die Anwendung von Benutzereingaben auf diese Modelle, auch Inferenz genannt, kann – und sollte in vielen Fällen – am Rand stattfinden.

Die Branche entwickelt bereits schlankere, kleinere, effizientere KI-Modelle, die auf Geräten am Rand geladen werden können. Unternehmen wie Hailo fertigen KI-Prozessoren, die speziell für die Verarbeitung von neuronalen Netzen konzipiert sind. Diese neuronalen Netzprozessoren verarbeiten nicht nur KI-Modelle unglaublich schnell, sondern tun dies auch mit weniger Leistung, was sie energieeffizient und für eine Vielzahl von Geräten am Rand geeignet macht, von Smartphones bis hin zu Kameras.

Die Verarbeitung von generativen KI am Rand kann auch dazu beitragen, die Last von wachsenden Arbeitslasten zu verteilen, Anwendungen stabiler zu skalieren, Cloud-Rechenzentren von teurer Verarbeitung zu entlasten und ihnen zu helfen, ihren CO2-Fußabdruck zu reduzieren.

Generative KI ist bereit, die Computertechnologie erneut zu verändern. In der Zukunft kann das LLM auf Ihrem Laptop automatisch aktualisiert werden, genauso wie Ihr Betriebssystem heute – und funktioniert auf ähnliche Weise. Aber um dorthin zu gelangen, müssen wir die Verarbeitung von generativer KI am Netzwerkrand ermöglichen. Das Ergebnis verspricht bessere Leistung, Energieeffizienz und Privatsphäre und Sicherheit. All dies führt zu KI-Anwendungen, die die Welt genauso verändern wie die generative KI selbst.