Názor

Umělá inteligence proniká do našich počítačů — kdo ale rozhoduje o tom, co může vidět?

Adlin Pertishya
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyMístní zpracování AI automaticky nezaručuje soukromí ani bezpečnost pro agenty v…
Zobrazit více
  • Místní zpracování AI automaticky nezaručuje soukromí ani bezpečnost pro agenty v zařízení.
  • Agenti musí fungovat s přístupem podle nejmenších oprávnění omezeným na to, co každý konkrétní pracovní postup vyžaduje.
  • Uživatelé potřebují transparentní a odvolatelnou kontrolu nad tím, co agenti mohou vidět a dělat.

AI agenti začínají opouštět chatovací okna a pronikat do operačních systémů, aplikací a souborů, které lidé používají každý den.

Nové počítače s Windows a software uvedené v posledních měsících zahajují novou éru vícekrokových autonomních pracovních postupů s umělou inteligencí pro běžné uživatele i podniková prostředí. Nejde už jen o technologickou předpověď.

Počítače s Windows využívající RTX od NVIDIA podporují lokální spouštění agentů umělé inteligence, zatímco Perplexity rozšířila možnosti svých agentů na kompatibilní počítače s Windows, což umožňuje pracovní postupy zahrnující místní soubory a propojené aplikace. Microsoft mezitím vyvíjí ochranná opatření, která mají řídit, jak agenti přistupují ke zdrojům a provádějí akce.

Díky větší autonomii však rostou i bezpečnostní rizika. Dne 19. října varovala výkonná viceprezidentka Microsoftu pro bezpečnost Hayete Gallot, že organizace musí lépe zabezpečit „agenty v roli insiderů“. Upozornila, že agenti AI mají často příliš rozsáhlá oprávnění a při rozhodování v kritických procesech mohou přistupovat k citlivým datům, nástrojům a systémům.

Bezpečnostní strategie Microsoftu pro Windows vychází z izolace, omezených oprávnění a omezeného dohledu a zároveň roste obava, že chyba agenta může mít následky přesahující pouhou nesprávnou odpověď. Agent může odhalit citlivé informace, změnit důležité soubory nebo vyvolat nežádoucí činnost v podnikových aplikacích.

Místní umělá inteligence automaticky neznamená soukromí

Používání AI agentů na počítači může pomoci omezit množství citlivých dat odesílaných do cloudových služeb, místní zpracování však není všespásnou bezpečnostní pojistkou.

I model běžící přímo v zařízení může získat přístup k příliš mnoha souborům, mít nedostatečné zabezpečení nebo být nebezpečně propojen s jinými aplikacemi.

Problémem nebývá vždy samotný model umělé inteligence; často jde o řízení a správu v organizaci, uvedl Bayron Quintero, generální ředitel a spoluzakladatel společnosti iData Global, která se specializuje na řešení umělé inteligence v celé Americe.

Firmy mohou poskytnout příliš rozsáhlý, nebo naopak nedostatečný přístup k datům, aplikacím a podnikovým procesům, řekl Quintero serveru Unite.AI. Agentům mohou být udělena oprávnění, která neodpovídají tomu, co se od nich očekává.

„Výzvou je zajistit, aby agent dodržoval zásadu nejnižších oprávnění a měl přístup pouze k datům, systémům a akcím potřebným pro konkrétní pracovní postup,“ řekl Quintero. To znamená udělit mu přístup pouze k datům, systémům a akcím nezbytným pro daný pracovní postup.

Za nezbytná ochranná opatření označil jasně určené vlastnictví dat, řízení přístupu na základě rolí a průběžné sledování interakcí s interními systémy i systémy třetích stran.

Bezpečná místní umělá inteligence neexistuje, zdůraznil Quintero.

Příliš rozsáhlá oprávnění, slabé šifrování, nedostatečný dohled a nezabezpečená integrace mohou způsobit, že agent běžící přímo v zařízení bude stejně rizikový jako agent v cloudu — nebo ještě rizikovější.

Bezpečnost nezávisí jen na tom, kde běží model systému, ale také na tom, jak je systém nakonfigurován a spravován.

Novou hranicí jsou oprávnění

Běžný uživatel by se měl ptát, zda přístup AI agenta odpovídá úkolu, který má vykonat.

Pokud má agent shrnout jediný dokument, neměl by prohledávat celý disk. Nástroj pro třídění fotografií by neměl automaticky číst finanční údaje ani mít možnost odesílat zprávy. Oprávnění musí být přísně omezená, transparentní a odvolatelná.

Model účtu agenta a pracovního prostoru ve společnosti Microsoft představuje krok k oddělení činnosti agenta od relace uživatele. Tato ochranná opatření však musí fungovat i mimo demonstrační prostředí.

Pokyny Microsoftu pro zabezpečení agentů ve Windows požadují souhlas uživatele, záznamy o činnosti a mechanismus, který zajistí, že agenti budou mít pouze nezbytný přístup. Zaměstnavatelé a vývojáři musí sledovat, jak agenti reagují na zavádějící pokyny v dokumentech, na webových stránkách nebo ve zprávách.

Při plnění povoleného úkolu se agenti mohou setkat s nedůvěryhodným obsahem. Pokud agent vyhodnotí škodlivý text jako příkaz, může to představovat závažný bezpečnostní problém, protože k informacím lze snadno získat přístup.

Lidské schvalování a přístup s nejnižšími oprávněními musí jít ruku v ruce s izolací při citlivých úkonech.

Pohodlí potřebuje jasné hranice

Počítače s umělou inteligencí se nebudou hodnotit jen podle toho, kolik práce dokážou agenti automatizovat, ale také podle toho, nakolik jim uživatelé důvěřují při sdílení osobních a pracovních údajů.

Při místním zpracování může agentní umělá inteligence zvýšit rychlost a omezit vystavení některých dat, tím však nezaniká potřeba oprávnění a dohledu.

Zásada by měla být jednoduchá: agenti mají mít přístup pouze k tomu, co je k práci nezbytné, a uživatelé musí být schopni pochopit, sledovat a blokovat jejich činnost.

Jakmile počítače získávají větší schopnost jednat za nás, kontrola nesmí být až dodatečnou myšlenkou. Musí být součástí návrhu.

Adlin Pertishya je reportér v oblasti technologií a podnikání, který pracoval pro Finance Outlook India, Silicon India, StartupBeat a další.