Myslitelé
Nové hranice v generativní AI — Daleko od cloudu

Klíčové bodyEdge AI procesory, jako jsou od společnosti Hailo, umožňují běh generativní AI přímo na…
Zobrazit více
- Edge AI procesory, jako jsou od společnosti Hailo, umožňují běh generativní AI přímo na zařízeních, čímž odstraňují závislost na cloudu pro kritické aplikace.
- Přesun inference generativní AI na edge řeší problémy s latencí, ochranou soukromí a šířkou pásma u automobilů, bezpečnostních systémů a videokonferencí.
- Odlehčené modely AI a efektivní neuronové procesory udělají z generativní AI standardní lokální funkci notebooků a chytrých telefonů.
Na počátku byl internet, který změnil naše životy navždy — způsobem, jakým komunikujeme, nakupujeme, podnikáme. A pak z důvodů latence, ochrany soukromí a nákladové efektivity se internet přesunul na okraj sítě, což vedlo ke vzniku „internetu věcí“.
Nyní je tu umělá inteligence, která dělá vše, co děláme na internetu, snadněji, personalizovaněji a inteligentněji. K jejímu použití jsou však potřebné velké servery a vysoká výpočetní kapacita, takže je omezena na cloud. Ale stejné motivy — latence, ochrana soukromí, nákladová efektivita — vedly společnosti, jako je Hailo, k vývoji technologií, které umožňují AI na okraji.
Bezpochyby je dalším velkým trendem generativní AI. Generativní AI nabízí enormní potenciál napříč odvětvími. Může být použita ke zjednodušení práce a zvýšení efektivity různých tvůrců — právníků, autorů, grafických designerů, hudebníků a dalších. Může pomoci objevit nové léčivé přípravky nebo pomoci při lékařských zákrocích. Generativní AI může zlepšit průmyslovou automatizaci, vyvinout nové softwarové kódy a zlepšit bezpečnost dopravy prostřednictvím automatizované syntézy videa, audio, obrazů a dalších.
Jenže generativní AI, jak existuje dnes, je omezena technologií, která ji umožňuje. To je proto, že generativní AI probíhá v cloudu — velkých datových centrech drahých, energie-spotřebujících počítačových procesorů, které jsou daleko od skutečných uživatelů. Když někdo vydá příkaz generativnímu AI nástroji, jako je ChatGPT nebo nová AI-založená videokonferenční řešení, požadavek je přenesen prostřednictvím internetu do cloudu, kde je zpracován servery, než jsou výsledky vráceny přes síť.
Jak společnosti vyvíjejí nové aplikace pro generativní AI a nasazují je na různých typech zařízení — video kamer a bezpečnostních systémů, průmyslových a osobních robotů, notebooků a dokonce i aut — cloud je úzkým místem z hlediska šířky pásma, nákladů a konektivity.
A pro aplikace, jako je asistenční systémy řidiče, osobní počítačový software, videokonferenční a bezpečnostní systémy, neustálé přenášení dat přes síť může být rizikem pro ochranu soukromí.
Řešením je umožnit těmto zařízením zpracovávat generativní AI na okraji. Skutečně, generativní AI na okraji může prospět mnoha novým aplikacím.
Generativní AI na vzestupu
V červnu Mercedes-Benz (MBG.DE ) oznámil, že bude zavádět ChatGPT do svých aut. V autě s ChatGPT může řidič požádat auto — bez použití rukou — o recept na večeři na základě ingrediencí, které již má doma. To je, pokud je auto připojeno k internetu. V podzemní garáži nebo na odlehlém místě už připojení, a tedy ani tato funkce, nemusí být dostupné.
V posledních letech se videokonferenční systémy staly samozřejmostí pro většinu z nás. Už nyní softwarové společnosti integrují formy AI do videokonferenčních řešení. Možná je to k průběžné optimalizaci kvality zvuku a obrazu, nebo k „umístění“ lidí do stejného virtuálního prostoru. Nyní mohou generativní AI-založené videokonference automaticky vytvářet záznamy z jednání nebo čerpat relevantní informace z firemních zdrojů v reálném čase, zatímco se diskutují různá témata.
Pokud se však chytré auto, videokonferenční systém nebo jiné koncové zařízení nemůže připojit ke cloudu, funkce generativní AI nejsou dostupné. Co kdyby ale připojení nepotřebovaly? Vzhledem k obrovským výpočetním nárokům cloudové AI to zní jako obtížný úkol, ale už se to stává možným.
Generativní AI na okraji
Už existují generativní AI nástroje, které mohou automaticky vytvářet bohaté, atraktivní prezentace PowerPoint. Ale uživatel potřebuje, aby systém fungoval z jakéhokoli místa, i bez internetového připojení.
Podobně už vidíme novou třídu generativních AI-založených „kopilot“ asistentů, kteří budou fundamentálně měnit, jak interagujeme s našimi počítačovými zařízeními, automatizací mnoha rutinních úkolů, jako je vytváření zpráv nebo vizualizace dat. Představte si otevření notebooku, notebook rozpozná vás prostřednictvím své kamery a automaticky vygeneruje plán činnosti na den/týden/měsíc na základě vašich nejčastěji používaných nástrojů, jako je Outlook, Teams, Slack, Trello atd. Ale aby byla zachována ochrana dat a dobrá uživatelská zkušenost, musíte mít možnost spustit generativní AI místně.
Kromě řešení problémů s nestabilními připojeními a ochranou dat může AI na okraji pomoci snížit požadavky na šířku pásma a zlepšit výkon aplikací. Například, pokud generativní AI aplikace vytváří datově bohatý obsah, jako je virtuální konferenční prostor, prostřednictvím cloudu, proces by mohl být zpomalen v závislosti na dostupné (a nákladné) šířce pásma. A některé typy generativních AI aplikací, jako je bezpečnost, robotika nebo zdravotnictví, vyžadují výkonné zpracování s nízkou latencí, které cloudové připojení nemůže zvládnout.
Ve videobezpečnostních systémech schopnost znovu identifikovat lidi při pohybu mezi mnoha kamerami — některé umístěné tam, kde sítě nemohou dosáhnout — vyžaduje datové modely a AI zpracování v samotných kamerách. V tomto případě lze generativní AI použít k automatizovaným popisům toho, co kamery vidí, prostřednictvím jednoduchých dotazů, jako je „Najdi 8leté dítě s červeným tričkem a baseballovou čepicí“.
To je generativní AI na okraji.
Pokrok v oblasti AI na okraji sítě
Prostřednictvím přijetí nové třídy AI procesorů a vývoje štíhlejších, efektivnějších, ale nikoli méně výkonných generativních AI datových modelů, lze zařízení na okraji navrhnout tak, aby fungovala inteligentně, i když je cloudové připojení nemožné nebo nežádoucí.
Samozřejmě, že cloudové zpracování zůstane kritickou součástí generativní AI. Například, trénování AI modelů zůstane v cloudu. Ale akt aplikace uživatelských vstupů do těchto modelů, nazývaný inferencing, může — a v mnoha případech by měl — probíhat na okraji.
Průmysl již vyvíjí štíhlejší, menší, efektivnější AI modely, které lze načíst do zařízení na okraji. Společnosti, jako je Hailo, vyrábějí AI procesory, které jsou speciálně navrženy pro zpracování neuronových sítí. Tyto neuronové procesory zpracovávají AI modely neuvěřitelně rychle a dělají to s méně energií, což je činí energeticky efektivními a vhodnými pro širokou škálu zařízení na okraji, od smartphonů po kamery.
Zpracování generativní AI na okraji může také účinně vyvážit rostoucí pracovní zátěž, umožnit aplikacím škálovat stabilněji, ulevit cloudovým datovým centrům od nákladného zpracování a pomoci jim snížit jejich uhlíkovou stopu.
Generativní AI je připravena změnit výpočetní techniku znovu. V budoucnosti se může LLM na vašem notebooku automaticky aktualizovat stejně jako dnes váš operační systém — a fungovat podobným způsobem. Ale abychom se tam dostali, musíme umožnit generativní AI zpracování na okraji sítě. Výsledek slibuje lepší výkon, energetickou efektivitu a ochranu soukromí a bezpečnosti. To vše povede k AI aplikacím, které změní svět stejně, jako generativní AI sama.












