David Maher, CTO Intertrust – Rozhovorová série

David Maher působí jako výkonný viceprezident a hlavní technický ředitel Intertrust. S více než 30 lety zkušeností v oblasti důvěryhodných distribuovaných systémů, zabezpečených systémů a řízení rizik vedl výzkumné a vývojové úsilí a zastával klíčové vedoucí pozice napříč dceřinými společnostmi. V minulosti působil jako prezident společnosti Seacert Corporation, certifikační autority pro digitální média a IoT, a prezident společnosti whiteCryption Corporation, vývojáře systémů pro samoobranu softwaru. Působil také jako místopředseda organizace Marlin Trust Management Organization (MTMO), která dohlíží na světový nezávislý ekosystém digitálního správy práv.

Intertrust vyvinul inovace, které umožňují distribuovaným operačním systémům zabezpečit a řídit data a výpočty v otevřených sítích, což vedlo k základnímu patentu na důvěryhodné distribuované výpočty.

Původně založený na výzkumu se Intertrust vyvinul v produktově orientovanou společnost, která nabízí důvěryhodné výpočetní služby, které sjednocují operace zařízení a dat, zejména pro IoT a AI. Jeho trhy zahrnují distribuci médií, identifikaci a autentizaci zařízení, digitální energetické řízení, analytiku a zabezpečení cloudového úložiště.

Jak můžeme uzavřít důvěryhodnostní mezeru AI a řešit rostoucí obavy veřejnosti o bezpečnost a spolehlivost AI?

Průhlednost je nejvýznamnější kvalitou, která podle mého názoru pomůže řešit rostoucí obavy o bezpečnost a spolehlivost AI. Průhlednost zahrnuje funkce, které pomáhají spotřebitelům i technológům pochopit, jaké mechanismy AI jsou součástí systémů, se kterými interagujeme, jaký mají původ, jaké jsou pojistky, jaké zásady byly uplatněny při vývoji modelu a jaké další záruky existují pro bezpečnost a zabezpečení konkrétního mechanismu. S větší průhledností budeme moci řešit skutečné rizika a problémy a nebudeme tolik rozptylovat iracionálními obavami a domněnkami.

Jakou roli hraje autentizace metadata při zajišťování důvěryhodnosti výstupů AI?

Autentizace metadata pomáhá zvýšit naši důvěru v to, že záruky o modelech AI nebo jiných mechanismech jsou spolehlivé. Karta modelu AI je příkladem sbírky metadata, které mohou pomoci při hodnocení použití mechanismu AI (modelu, agenta atd.) pro konkrétní účel. Musíme stanovit standardy pro jasnost a úplnost modelových karet se standardy pro kvantitativní měření a autentizované tvrzení o výkonu, zkreslení, vlastnostech trénovacích dat atd.

Jak mohou organizace zmírnit riziko zkreslení a halucinací v velkých jazycových modelech (LLM)?

Cílené testování je obecný přístup k řešení těchto a dalších rizik během vývoje a před vydáním modelů. Původně použitý pro hodnocení zabezpečených systémů se tento přístup nyní stává standardem pro systémy založené na AI. Jedná se o systémový přístup k řízení rizik, který může a měl by zahrnovat celý životní cyklus systému od počátečního vývoje až po nasazení, pokrývající celý dodavatelský řetězec vývoje. Zvláště kritické je klasifikace a autentizace trénovacích dat používaných pro model.

Jaké kroky mohou podniky podniknout, aby vytvořily průhlednost v systémech AI a snížily rizika spojená s “černou skříňkou”?

Pochopit, jak společnost bude model používat a jaké druhy závazků může mít při nasazení, ať už pro interní použití nebo pro použití zákazníky, přímo nebo nepřímo. Pak pochopit, co nazývám “původ” mechanismů AI, které mají být nasazeny, včetně tvrzení na kartě modelu, výsledků cílených testů, diferenciální analýzy pro konkrétní použití společnosti, co bylo formálně vyhodnoceno a jaké zkušenosti měli jiní. Interní testování pomocí komplexního testovacího plánu v realistickém prostředí je absolutně nezbytné. Osvědčené postupy se vyvíjejí v této nově se rozvíjející oblasti, takže je důležité zůstat v obraze.

Jak lze systémy AI navrhnout s ohledem na etické směrnice a jaké jsou výzvy při dosahování tohoto cíle v různých odvětvích?

Toto je oblast výzkumu a mnoho lidí tvrdí, že pojem etiky a současné verze AI jsou neslučitelné, protože etika je konceptuálně založena a mechanismy AI jsou většinou datem řízené. Například jednoduchá pravidla, která lidé chápou, jako “nesmí se podvádět”, jsou obtížná na zajištění. Nicméně pečlivá analýza interakcí a konfliktů cílů v cílovém učení, vyloučení pochybných dat a dezinformací a budování pravidel, která vyžadují použití výstupních filtrů, které vynucují pojistky a testují porušování etických principů, jako je propagace nebo soucit s používáním násilí v obsahu výstupu, by měly být zvažovány. Podobně přísné testování zkreslení může pomoci sladit model s etickými principy. Opět, mnoho z tohoto může být konceptuální, takže je třeba dbát na to, aby se testovaly účinky konkrétního přístupu, protože mechanismus AI “nepochopí” instrukce způsobem, jakým je chápou lidé.

Jaké jsou hlavní rizika a výzvy, kterým AI čelí v budoucnu, zejména při integraci s systémy IoT?

Chceme použít AI k automatizaci systémů, které optimalizují kritické infrastruktury. Například víme, že můžeme optimalizovat distribuci a využití energie pomocí virtuálních elektráren, které koordinují tisíce prvků energetické výroby, úložiště a spotřeby. To je praktické pouze s masivní automatizací a pomocí AI pro podporu minute rozhodování. Systémy budou zahrnovat agenty s konfliktními optimalizačními cíli (například prospěch spotřebitele vs dodavatele). Bezpečnost a zabezpečení AI budou kritické při širokém nasazení takových systémů.

Jaký druh infrastruktury je potřebný pro bezpečnou identifikaci a autentizaci entit v systémech AI?

Budeme potřebovat robustní a efektivní infrastrukturu, pomocí které budou moci entity zapojené do hodnocení všech aspektů systémů AI a jejich nasazení publikovat autoritativní a autentizované tvrzení o systémech AI, jejich původu, dostupných trénovacích datech, původu senzorických dat, bezpečnostních incidentech a událostech atd. Tato infrastruktura bude také muset zajistit efektivní ověření tvrzení a záruk uživatelů systémů, které zahrnují mechanismy AI, a prvků v automatizovaných systémech, které činí rozhodnutí na základě výstupů modelů a optimalizátorů AI.

Můžete sdílet s námi některé poznatky o tom, na čem pracujete v Intertrust a jak to souvisí s tím, o čem jsme diskutovali?

Vyvíjíme a navrhujeme technologii, která může poskytnout potřebnou infrastrukturu pro správu důvěryhodnosti, o které jsme diskutovali v předchozí otázce. Konkrétně se zabýváme problémy škálovatelnosti, latence, zabezpečení a interoperability, které vznikají v systémech IoT, které zahrnují komponenty AI.

Jak služba PKI (Public Key Infrastructure) Intertrust zabezpečuje zařízení IoT a co ji činí škálovatelnou pro rozsáhlá nasazení?

Náš PKI byl navržen speciálně pro správu důvěryhodnosti pro systémy, které zahrnují řízení zařízení a digitálního obsahu. Nasadili jsme miliardy kryptografických klíčů a certifikátů, které zajišťují soulad. Naše současné výzkumné úsilí se zaměřuje na škálovatelnost a záruky, které vyžaduje masivní průmyslová automatizace a kritická celosvětová infrastruktura, včetně osvědčených postupů pro “zero-trust” nasazení a autentizaci zařízení a dat, které mohou akomodovat trillions senzorů a generátorů událostí.

Co vás motivovalo k účasti na iniciativách NIST pro AI a jak vaše účast přispívá k vývoji důvěryhodných a bezpečných standardů AI?

NIST má enormní zkušenosti a úspěchy v oblasti vývoje standardů a osvědčených postupů v oblasti zabezpečených systémů. Jako hlavní výzkumný pracovník pro US AISIC z Intertrust mohu prosazovat důležité standardy a osvědčené postupy pro vývoj systémů pro správu důvěryhodnosti, které zahrnují mechanismy AI. Z předchozích zkušeností zejména oceňuji přístup, který NIST uplatňuje při podpoře kreativity, pokroku a průmyslové spolupráce při vývoji a šíření důležitých technických standardů, které podporují interoperabilitu. Tyto standardy mohou urychlit přijetí prospěšných technologií a současně řešit rizika, kterým společnost čelí.

Děkuji za skvělý rozhovor, čtenáři, kteří si chtějí dozvědět více, by měli navštívit Intertrust.