Nové hranice v generativní AI — Daleko od cloudu

Na počátku bylo internet, který změnil naše životy navždy — způsobem, jakým komunikujeme, nakupujeme, podnikáme. A pak z důvodů latence, ochrany soukromí a nákladové efektivity se internet přesunul na okraj sítě, což vedlo ke vzniku „internetu věcí“.

Nyní je tu umělá inteligence, která dělá vše, co děláme na internetu, snadněji, personalizovaněji a inteligentněji. K jejímu použití jsou však potřebné velké servery a vysoká výpočetní kapacita, takže je omezena na cloud. Ale stejné motivy — latence, ochrana soukromí, nákladová efektivita — vedly společnosti, jako je Hailo, k vývoji technologií, které umožňují AI na okraji.

Bezpochyby je dalším velkým trendem generativní AI. Generativní AI nabízí enormní potenciál napříč odvětvími. Může být použita ke streamlinování práce a zvýšení efektivity různých tvůrců — právníků, autorů, grafických designerů, hudebníků a dalších. Může pomoci objevit nové léčivé léky nebo pomoci při lékařských zákrocích. Generativní AI může zlepšit průmyslovou automatizaci, vyvinout nové softwarové kódy a zlepšit bezpečnost dopravy prostřednictvím automatizované syntézy videa, audio, obrazů a dalších.

Jenže generativní AI, jak existuje dnes, je omezena technologií, která ji umožňuje. To je proto, že generativní AI probíhá v cloudu — velkých datových centrech drahých, energie-spotřebujících počítačových procesorů, které jsou daleko od skutečných uživatelů. Když někdo vydá příkaz generativnímu AI nástroji, jako je ChatGPT nebo nová AI-založená videokonferenční řešení, požadavek je přenesen prostřednictvím internetu do cloudu, kde je zpracován servery, než jsou výsledky vráceny přes síť.

Jak společnosti vyvíjejí nové aplikace pro generativní AI a nasazují je na různých typech zařízení — video kamer a bezpečnostních systémů, průmyslových a osobních robotů, notebooků a dokonce i aut — cloud je úzkým místem z hlediska šířky pásma, nákladů a konektivity.

A pro aplikace, jako je asistenční řízení, osobní počítačový software, videokonferenční a bezpečnostní systémy, neustálé přenášení dat přes síť může být rizikem pro ochranu soukromí.

Rozwiązáním je umožnit těmto zařízením zpracovávat generativní AI na okraji. Skutečně, generativní AI na okraji může prospěť mnoha novým aplikacím.

Generativní AI na vzestupu

V červnu Mercedes-Benz oznámil, že bude zavádět ChatGPT do svých aut. V autě s ChatGPT může řidič požádat auto — bez použití rukou — o recept na večeři na základě ingrediencí, které již má doma. To je, pokud je auto připojeno k internetu. V parkovišti nebo vzdáleném místě je vše jinak.

V posledních letech se videokonferenční systémy staly samozřejmostí pro většinu z nás. Už nyní softwarové společnosti integrují formy AI do videokonferenčních řešení. Možná je to k optimalizaci audio a video kvality na letu, nebo k „umístění“ lidí do stejného virtuálního prostoru. Nyní mohou generativní AI-založené videokonference automaticky vytvářet záznamy z jednání nebo čerpat relevantní informace z firemních zdrojů v reálném čase, zatímco se diskutují různé téma.

Jenže pokud chytré auto, videokonferenční systém nebo jakékoli jiné zařízení na okraji nemůže se vrátit do cloudu, pak nelze generativní AI zkušenost nastat. Ale co kdyby nemusely? Zněží to jako úkolu, který je obtížný, ale stává se nyní možným.

Generativní AI na okraji

Už existují generativní AI nástroje, které mohou automaticky vytvářet bohaté, atraktivní prezentace PowerPoint. Ale uživatel potřebuje, aby systém fungoval z jakéhokoli místa, i bez internetového připojení.

Podobně už vidíme novou třídu generativních AI-založených „kopilot“ asistentů, kteří budou fundamentálně měnit, jak interagujeme s našimi počítačovými zařízeními, automatizací mnoha rutinních úkolů, jako je vytváření zpráv nebo vizualizace dat. Představte si otevření notebooku, notebook rozpozná vás prostřednictvím své kamery a automaticky vygeneruje plán činnosti na den/týden/měsíc na základě vašich nejčastěji používaných nástrojů, jako je Outlook, Teams, Slack, Trello atd. Ale aby byla zachována ochrana dat a dobrá uživatelská zkušenost, musíte mít možnost spustit generativní AI místně.

Kromě řešení problémů s nestabilními připojeními a ochranou dat může AI na okraji pomoci snížit požadavky na šířku pásma a zlepšit výkon aplikací. Například, pokud generativní AI aplikace vytváří datově bohatý obsah, jako je virtuální konferenční prostor, prostřednictvím cloudu, proces by mohl být zpomalen v závislosti na dostupné (a nákladné) šířce pásma. A某 typy generativních AI aplikací, jako je bezpečnost, robotika nebo zdravotnictví, vyžadují vysoce výkonné, nízké latence odpovědi, které cloudové připojení nemůže zvládnout.

V bezpečnostních systémech je schopnost znovu identifikovat lidi, jak se pohybují mezi mnoha kamerami — některé umístěné tam, kde sítě nemohou dosáhnout — vyžaduje datové modely a AI zpracování v samotných kamerách. V tomto případě lze generativní AI použít k automatizovaným popisům toho, co kamery vidí, prostřednictvím jednoduchých dotazů, jako je „Najdi 8leté dítě s červeným tričkem a baseballovou čepicí“.

To je generativní AI na okraji.

Vývoj na okraji AI

Prostřednictvím přijetí nové třídy AI procesorů a vývoje štíhlejších, efektivnějších, ale nikoli méně výkonných generativních AI datových modelů, lze zařízení na okraji navrhnout tak, aby fungovala inteligentně, i když je cloudové připojení nemožné nebo nežádoucí.

Samozřejmě, že cloudové zpracování zůstane kritickou součástí generativní AI. Například, školení AI modelů zůstane v cloudu. Ale akt aplikace uživatelských vstupů do těchto modelů, nazývaný inferencing, může — a v mnoha případech by měl — probíhat na okraji.

Průmysl již vyvíjí štíhlejší, menší, efektivnější AI modely, které lze načíst do zařízení na okraji. Společnosti, jako je Hailo, vyrábějí AI procesory, které jsou speciálně navrženy pro zpracování neuronových sítí. Tyto neuronové procesory zpracovávají AI modely neuvěřitelně rychle a dělají to s méně energií, což je činí energeticky efektivními a vhodnými pro širokou škálu zařízení na okraji, od smartphonů po kamery.

Zpracování generativní AI na okraji může také účinně vyvážit rostoucí pracovní zátěž, umožnit aplikacím škálovat stabilněji, ulevit cloudovým datovým centrům od nákladného zpracování a pomoci jim snížit jejich uhlíkovou stopu.

Generativní AI je připravena změnit výpočetní techniku znovu. V budoucnosti může LLM na vašem notebooku automaticky aktualizovat stejně, jako vaše operační systém dnes — a fungovat podobným způsobem. Ale abychom se tam dostali, musíme umožnit generativní AI zpracování na okraji sítě. Výsledek slibuje lepší výkon, energetickou efektivitu a ochranu soukromí a bezpečnosti. To vše povede k AI aplikacím, které změní svět stejně, jako generativní AI sama.