Nowe horyzonty w generatywnej sztucznej inteligencji — daleko od chmury

Na początku było internet, który zmienił nasze życie na zawsze — sposób, w jaki komunikujemy się, robimy zakupy, prowadzimy biznes. A potem, z powodów opóźnień, prywatności i efektywności kosztowej, internet przeniósł się na krawędź sieci, dając początek „internetowi rzeczy”.

Teraz jest sztuczna inteligencja, która ułatwia wszystko, co robimy w internecie, czyniąc to bardziej personalizowanym, inteligentnym. Aby ją wykorzystać, potrzebne są jednak duże serwery i wysoka pojemność obliczeniowa, więc jest ograniczona do chmury. Ale te same motywacje — opóźnienia, prywatność, efektywność kosztowa — skłoniły firmy takie jak Hailo do opracowania technologii umożliwiających sztuczną inteligencję na krawędzi.

Bez wątpienia, następną wielką rzeczą jest generatywna sztuczna inteligencja. Generatywna sztuczna inteligencja oferuje ogromny potencjał we wszystkich branżach. Może być wykorzystywana do usprawnienia pracy i zwiększenia wydajności różnych twórców — prawników, pisarzy, grafików, muzyków i wielu innych. Może pomóc w odkryciu nowych leków lub wspomóc w procedurach medycznych. Generatywna sztuczna inteligencja może poprawić automatyzację przemysłową, rozwijać nowy kod oprogramowania i poprawiać bezpieczeństwo transportu poprzez automatyczną syntezę wideo, audio, obrazów i innych.

Jednak generatywna sztuczna inteligencja, jaka istnieje dzisiaj, jest ograniczona przez technologię, która ją umożliwia. To dlatego, że generatywna sztuczna inteligencja działa w chmurze — duże centra danych, drogie, pochłaniające energię procesory komputerowe, oddalone od rzeczywistych użytkowników. Kiedy ktoś wydaje polecenie narzędziu generatywnej sztucznej inteligencji, takiej jak ChatGPT lub nowe rozwiązanie wideokonferencyjne oparte na sztucznej inteligencji, żądanie jest przesyłane przez internet do chmury, gdzie jest przetwarzane przez serwery, zanim wyniki są zwrócone przez sieć.

Podczas gdy firmy rozwijają nowe aplikacje dla generatywnej sztucznej inteligencji i wdrażają je na różnych urządzeniach — kamerach i systemach bezpieczeństwa, robotach przemysłowych i osobistych, laptopach, a nawet samochodach — chmura jest wąskim gardłem pod względem przepustowości, kosztów i łączności.

I dla aplikacji takich jak asystent kierowcy, oprogramowanie komputerowe, wideokonferencje i bezpieczeństwo, stałe przenoszenie danych przez sieć może stanowić ryzyko dla prywatności.

Rozwiązaniem jest umożliwienie tym urządzeniom przetwarzania generatywnej sztucznej inteligencji na krawędzi. W rzeczywistości generatywna sztuczna inteligencja na krawędzi może przynieść korzyści wielu nowym aplikacjom.

Generatywna sztuczna inteligencja w górę

Zastanów się, że w czerwcu Mercedes-Benz ogłosił, że wprowadzi ChatGPT do swoich samochodów. W samochodzie z ChatGPT kierowca mógłby, na przykład, poprosić samochód — bez użycia rąk — o przepis na kolację na podstawie składników, które już ma w domu. To jest, jeśli samochód jest podłączony do internetu. W garażu lub na odległym miejscu, wszystkie zakłady są wyłączone.

W ciągu ostatnich kilku lat wideokonferencje stały się dla nas czymś naturalnym. Już teraz firmy oprogramowania integrują formy sztucznej inteligencji z rozwiązaniami wideokonferencyjnymi. Może to być optymalizacja jakości audio i wideo w locie lub „umieszczenie” ludzi w tym samym wirtualnym miejscu. Teraz wideokonferencje z generatywną sztuczną inteligencją mogą automatycznie tworzyć notatki z spotkań lub pobierać istotne informacje z firmowych źródeł w czasie rzeczywistym, gdy omawiane są różne tematy.

Jednak jeśli inteligentny samochód, system wideokonferencyjny lub jakiekolwiek inne urządzenie na krawędzi nie może połączyć się z chmurą, wówczas doświadczenie generatywnej sztucznej inteligencji nie może się wydarzyć. Ale co, gdyby nie musiały? Brzmi to jak trudne zadanie, biorąc pod uwagę ogromne przetwarzanie sztucznej inteligencji w chmurze, ale teraz staje się to możliwe.

Generatywna sztuczna inteligencja na krawędzi

Już teraz istnieją narzędzia generatywnej sztucznej inteligencji, które mogą automatycznie tworzyć bogate, angażujące prezentacje PowerPoint. Ale użytkownik potrzebuje systemu, który działa z dowolnego miejsca, nawet bez połączenia z internetem.

Podobnie, już widzimy nową klasę asystentów „kopilotów” opartych na generatywnej sztucznej inteligencji, które w zasadniczy sposób zmienią sposób, w jaki wchodzimy w interakcje z naszymi urządzeniami komputerowymi, automatyzując wiele rutynowych zadań, takich jak tworzenie raportów lub wizualizacja danych. Wyobraź sobie otwarcie laptopa, rozpoznanie przez kamerę, a następnie automatyczne generowanie planu działań na dzień/tydzień/miesiąc na podstawie najczęściej używanych narzędzi, takich jak Outlook, Teams, Slack, Trello itp. Ale aby utrzymać prywatność danych i dobre doświadczenie użytkownika, musisz mieć możliwość uruchomienia generatywnej sztucznej inteligencji lokalnie.

Ponadto, oprócz spełnienia wyzwań związanych z niepewnymi połączeniami i prywatnością danych, sztuczna inteligencja na krawędzi może pomóc zmniejszyć wymagania dotyczące przepustowości i poprawić wydajność aplikacji. Na przykład, jeśli aplikacja generatywnej sztucznej inteligencji tworzy treści bogate w dane, takie jak wirtualna przestrzeń konferencyjna, za pośrednictwem chmury, proces ten może zwalniać w zależności od dostępnej (i kosztownej) przepustowości. A pewne typy aplikacji generatywnej sztucznej inteligencji, takie jak bezpieczeństwo, robotyka lub opieka zdrowotna, wymagają wysokowydajnych, niskiej latencji odpowiedzi, których połączenia z chmurą nie mogą zapewnić.

W bezpieczeństwie wideo możliwość ponownego identyfikowania ludzi, gdy poruszają się między wieloma kamerami — niektórymi umieszczonymi w miejscach, w których sieci nie mogą dotrzeć — wymaga modeli danych i przetwarzania sztucznej inteligencji w samych kamerach. W tym przypadku generatywna sztuczna inteligencja może być stosowana do automatycznych opisów tego, co widzą kamery, za pomocą prostych zapytań, takich jak „Znajdź 8-letnie dziecko w czerwonej koszulce i baseballowej czapce”.

To jest generatywna sztuczna inteligencja na krawędzi.

Rozwój sztucznej inteligencji na krawędzi

Poprzez przyjęcie nowej klasy procesorów sztucznej inteligencji i rozwój lżejszych, bardziej wydajnych, choć nie mniej potężnych modeli danych generatywnej sztucznej inteligencji, urządzenia na krawędzi mogą być zaprojektowane tak, aby działały inteligentnie w miejscach, w których połączenie z chmurą jest niemożliwe lub niepożądane.

Oczywiście, przetwarzanie w chmurze pozostanie kluczowym składnikiem generatywnej sztucznej inteligencji. Na przykład, szkolenie modeli sztucznej inteligencji pozostanie w chmurze. Ale akt stosowania danych wejściowych do tych modeli, zwany inferencją, może — i w wielu przypadkach powinien — wystąpić na krawędzi.

Przemysł już rozwija lżejsze, mniejsze, bardziej wydajne modele sztucznej inteligencji, które mogą być ładowane na urządzenia na krawędzi. Firmy takie jak Hailo produkują procesory sztucznej inteligencji zaprojektowane specjalnie do przetwarzania sieci neuronowych. Tacy procesorzy sieci neuronowej nie tylko radzą sobie z modelami sztucznej inteligencji niezwykle szybko, ale robią to również z mniejszą mocą, co sprawia, że są one energooszczędne i nadają się do różnych urządzeń na krawędzi, od smartfonów po kamery.

Przetwarzanie generatywnej sztucznej inteligencji na krawędzi może również skutecznie zrównoważyć rosnące obciążenia, pozwolić aplikacjom skalować się bardziej stabilnie, odciążyć centra danych w chmurze od kosztownego przetwarzania i pomóc im zmniejszyć swój ślad węglowy.

Generatywna sztuczna inteligencja jest gotowa zmienić sposób komputowania ponownie. W przyszłości, LLM na twoim laptopie może być automatycznie aktualizowany w taki sam sposób, jak twoje oprogramowanie systemowe dzisiaj — i działać w podobny sposób. Ale aby to osiągnąć, musimy umożliwić przetwarzanie generatywnej sztucznej inteligencji na krawędzi sieci. Rezultat obiecuje być lepszą wydajnością, efektywnością energetyczną i prywatnością oraz bezpieczeństwem. Wszystko to prowadzi do aplikacji sztucznej inteligencji, które zmienią świat tak samo, jak sama generatywna sztuczna inteligencja.