Nadzor halucinacij: koristi in tveganja uvajanja LLM kot dela varnostnih procesov

Veliki jezikovni modeli (LLM), ki so usposobljeni za velike količine podatkov, lahko naredijo ekipe za varnostne operacije pametnejše. Študenti LLM zagotavljajo sprotne predloge in smernice za odziv, revizije, upravljanje drže in več. Večina varnostnih ekip eksperimentira ali uporablja LLM-je za zmanjšanje ročnega truda v delovnih tokovih. To je lahko tako za vsakdanje kot za zapletene naloge. 

LLM lahko na primer po e-pošti povpraša zaposlenega, ali namerava dati v skupno rabo dokument, ki je lastniški, in odgovor obdela s priporočilom za strokovnjaka za varnost. LLM je lahko zadolžen tudi za prevajanje zahtev za iskanje napadov v dobavni verigi na odprtokodne module in vrtenje agentov, osredotočenih na posebne pogoje – novi sodelavci v knjižnicah, ki se pogosto uporabljajo, neustrezni vzorci kode – pri čemer je vsak agent pripravljen za to specifično stanje. 

Kljub temu ti zmogljivi sistemi umetne inteligence nosijo pomembna tveganja, ki niso podobna drugim tveganjem, s katerimi se soočajo varnostne ekipe. Modeli, ki poganjajo varnostne LLM, so lahko ogroženi s takojšnjim vstavljanjem ali zastrupitvijo podatkov. Neprekinjene povratne zanke in algoritmi strojnega učenja brez zadostnega človeškega vodenja lahko slabim akterjem omogočijo, da preizkusijo kontrole in nato povzročijo slabo usmerjene odzive. LLM so nagnjeni k halucinacijam, tudi na omejenih področjih. Tudi najboljši LLM-ji si izmišljujejo stvari, ko ne poznajo odgovora. 

Varnostni procesi in politike umetne inteligence v zvezi z uporabo LLM in poteki dela bodo postali bolj kritični, ko bodo ti sistemi postali pogostejši v operacijah in raziskavah kibernetske varnosti. Zagotavljanje skladnosti s temi procesi ter njihovo merjenje in upoštevanje v sistemih upravljanja se bo izkazalo za ključnega pomena za zagotovitev, da lahko CISO zagotovijo zadostno pokritost GRC (upravljanje, tveganje in skladnost) za izpolnjevanje novih mandatov, kot je okvir kibernetske varnosti 2.0. 

Velika obljuba študija LLM na področju kibernetske varnosti

CISO in njihove ekipe se nenehno trudijo slediti naraščajočemu valu novih kibernetskih napadov. Po podatkih Qualysa je število CVE, o katerih so poročali leta 2023, doseglo a nov rekord 26,447. To je več kot 5-krat več kot leta 2013. 

Ta izziv je postal le še bolj obremenjujoč, saj se površina napadov povprečne organizacije z vsakim letom povečuje. Ekipe AppSec morajo zavarovati in spremljati veliko več programskih aplikacij. Računalništvo v oblaku, API-ji, multi-cloud in virtualizacijske tehnologije so dodale dodatno kompleksnost. S sodobnimi orodji in procesi CI/CD lahko skupine aplikacij pošiljajo več kode, hitreje in pogosteje. Mikrostoritve so monolitno aplikacijo razdelile na številne API-je in napadalno površino ter naredile veliko več lukenj v globalnih požarnih zidovih za komunikacijo z zunanjimi storitvami ali napravami strank.

Napredni LLM-ji veliko obljubljajo zmanjšanje delovne obremenitve skupin za kibernetsko varnost in izboljšanje njihovih zmogljivosti. Orodja za kodiranje, ki jih poganja AI, so močno prodrla v razvoj programske opreme. Githubova raziskava je pokazala, da 92 % razvijalcev uporablja ali je uporabljalo orodja umetne inteligence za predlaganje in dokončanje kode. Večina teh "copilot" orodij ima nekatere varnostne zmogljivosti. Pravzaprav so programske discipline z relativno binarnimi rezultati, kot je kodiranje (koda bo prestala ali neuspešna na testih enot), zelo primerne za LLM. Poleg skeniranja kode za razvoj programske opreme in v cevovodu CI/CD je umetna inteligenca lahko koristna za ekipe za kibernetsko varnost na več drugih načinov:   

• Izboljšana analiza: LLM-ji lahko obdelajo ogromne količine varnostnih podatkov (dnevniki, opozorila, obveščanje o grožnjah), da identificirajo vzorce in korelacije, ki so ljudem nevidne. To lahko počnejo v različnih jezikih, 24 ur na dan in v številnih dimenzijah hkrati. To odpira nove priložnosti za varnostne ekipe. LLM-ji lahko zažgejo kup opozoril v skoraj realnem času in označijo tista, ki bodo najverjetneje resna. Z učenjem z okrepitvijo bi se morala analiza sčasoma izboljšati. 
• Avtomatizacija: LLM-ji lahko avtomatizirajo naloge varnostne ekipe, ki običajno zahtevajo pogovor naprej in nazaj. Na primer, ko varnostna ekipa prejme IoC in mora lastnika končne točke vprašati, ali se je dejansko prijavil v napravo ali če se nahaja nekje zunaj svojih običajnih delovnih con, lahko LLM izvede te preproste operacije in nato sledi po potrebi z vprašanji in povezavami ali navodili. To je bila interakcija, ki jo je moral član IT ali varnostne skupine izvajati sam. LLM-ji lahko nudijo tudi naprednejšo funkcionalnost. Na primer, Microsoftov kopilot za varnost lahko ustvari poročila o analizi incidentov in prevede zapleteno kodo zlonamerne programske opreme v opise naravnega jezika. 
• Nenehno učenje in prilagajanje: V nasprotju s prejšnjimi sistemi strojnega učenja za varnostne politike in razumevanje se lahko LLM učijo sproti z zaužitjem človeških ocen njegovega odziva in s ponovnim prilagajanjem novejšim zbirkam podatkov, ki morda niso v notranjih dnevniških datotekah. Pravzaprav je mogoče z uporabo istega osnovnega temeljnega modela programe LLM za kibernetsko varnost prilagoditi različnim skupinam in njihovim potrebam, potekom dela ali nalogam, specifičnim za regijo ali vertikalo. To tudi pomeni, da je lahko celoten sistem takoj pameten kot model, s spremembami, ki se hitro širijo po vseh vmesnikih. 

Tveganje magistrskih študijev za kibernetsko varnost

Študije LLM so kot nova tehnologija s kratkimi rezultati resna tveganja. Še huje, razumevanje celotnega obsega teh tveganj je izziv, ker rezultati LLM niso 100-odstotno predvidljivi ali programski. LLM-ji lahko na primer »halucinirajo« in si izmišljujejo odgovore ali odgovarjajo na vprašanja napačno na podlagi namišljenih podatkov. Pred sprejetjem LLM-jev za primere uporabe kibernetske varnosti je treba upoštevati možna tveganja, vključno z: 

• Takojšnje vbrizgavanje:  Napadalci lahko ustvarijo zlonamerne pozive posebej za ustvarjanje zavajajočih ali škodljivih rezultatov. Ta vrsta napada lahko izkoristi težnjo LLM, da ustvari vsebino na podlagi pozivov, ki jih prejme. V primerih uporabe kibernetske varnosti je lahko takojšnje vstavljanje najbolj tvegano kot oblika notranjega napada ali napada nepooblaščenega uporabnika, ki uporablja pozive za trajno spreminjanje izhodov sistema z izkrivljanjem vedenja modela. To bi lahko ustvarilo netočne ali neveljavne izhode za druge uporabnike sistema. 
• Zastrupitev podatkov:  Podatki o usposabljanju, na katere se zanašajo LLM-ji, so lahko namerno poškodovani, kar ogroža njihovo odločanje. V nastavitvah kibernetske varnosti, kjer organizacije verjetno uporabljajo modele, ki so jih usposobili ponudniki orodij, lahko pride do zastrupitve podatkov med prilagajanjem modela za določeno stranko in primer uporabe. Tveganje bi lahko bilo, da bi nepooblaščen uporabnik dodal slabe podatke – na primer poškodovane dnevniške datoteke –, da bi spodkopal proces usposabljanja. Pooblaščeni uporabnik bi to lahko storil tudi nehote. Rezultat bi bili rezultati LLM na podlagi slabih podatkov.
• Halucinacije: Kot je bilo že omenjeno, lahko LLM ustvarijo dejansko nepravilne, nelogične ali celo zlonamerne odzive zaradi napačnega razumevanja pozivov ali osnovnih podatkovnih napak. V primerih uporabe kibernetske varnosti lahko halucinacije povzročijo kritične napake, ki onemogočijo obveščanje o grožnjah, triažo in odpravo ranljivosti ter drugo. Ker je kibernetska varnost dejavnost, ki je ključnega pomena, morajo magistri študija znanja upoštevati višje standarde upravljanja in preprečevanja halucinacij v teh kontekstih. 

Ko postajajo sistemi AI zmogljivejši, se njihove uvedbe informacijske varnosti hitro širijo. Da smo jasni, številna podjetja za kibernetsko varnost že dolgo uporabljajo ujemanje vzorcev in strojno učenje za dinamično filtriranje. Novost v dobi generativne umetne inteligence so interaktivni LLM-ji, ki poleg obstoječih delovnih tokov in zbirk podatkov zagotavljajo plast inteligence, kar idealno izboljša učinkovitost in izboljša zmogljivosti ekip za kibernetsko varnost. Z drugimi besedami, GenAI lahko varnostnim inženirjem pomaga narediti več z manj truda in enakimi viri, kar zagotavlja boljšo zmogljivost in pospešene procese.