Refresh

This website www.unite.ai/ta/hallucination-control-benefits-and-risks-of-deploying-llms-as-part-of-security-processes/ is currently offline. Cloudflare's Always Online™ shows a snapshot of this web page from the Internet Archive's Wayback Machine. To check for the live version, click Refresh.

எங்களை தொடர்பு கொள்ளுங்கள்

சிந்தனை தலைவர்கள்

மாயத்தோற்றம் கட்டுப்பாடு: பாதுகாப்பு செயல்முறைகளின் ஒரு பகுதியாக LLMகளை பயன்படுத்துவதன் நன்மைகள் மற்றும் அபாயங்கள்

பெரிய மொழி மாதிரிகள் (எல்எல்எம்கள்) பரந்த அளவிலான தரவுகளில் பயிற்சியளிக்கப்பட்டால், பாதுகாப்புச் செயல்பாட்டுக் குழுக்களை சிறந்ததாக மாற்ற முடியும். பதில், தணிக்கைகள், தோரணை மேலாண்மை மற்றும் பலவற்றில் LLMகள் இன்-லைன் பரிந்துரைகள் மற்றும் வழிகாட்டுதலை வழங்குகின்றன. பெரும்பாலான பாதுகாப்புக் குழுக்கள் வேலைப்பாய்வுகளில் கைமுறை உழைப்பைக் குறைக்க எல்எல்எம்களைப் பரிசோதித்து வருகின்றன அல்லது பயன்படுத்துகின்றன. இது சாதாரணமான மற்றும் சிக்கலான பணிகளுக்கு இருக்கலாம். 

எடுத்துக்காட்டாக, ஒரு LLM ஒரு பணியாளரை மின்னஞ்சல் மூலம் வினவலாம், அவர்கள் தனியுரிமமான ஆவணத்தைப் பகிர்ந்து கொள்ளவும், பாதுகாப்புப் பயிற்சியாளருக்கான பரிந்துரையுடன் பதிலைச் செயலாக்கவும் விரும்பினால். ஒரு LLM ஆனது ஓப்பன் சோர்ஸ் மாட்யூல்களில் சப்ளை செயின் தாக்குதல்களைத் தேடுவதற்கான கோரிக்கைகளை மொழிபெயர்ப்பது மற்றும் குறிப்பிட்ட நிபந்தனைகளில் கவனம் செலுத்தும் முகவர்களை ஸ்பின்னிங் அப் செய்வது - பரவலாகப் பயன்படுத்தப்படும் நூலகங்களுக்கு புதிய பங்களிப்பாளர்கள், முறையற்ற குறியீடு வடிவங்கள் - ஒவ்வொரு முகவர் அந்த குறிப்பிட்ட நிபந்தனைக்கு முதன்மையானது. 

பாதுகாப்புக் குழுக்கள் எதிர்கொள்ளும் மற்ற அபாயங்களைப் போலல்லாமல், இந்த சக்திவாய்ந்த AI அமைப்புகள் குறிப்பிடத்தக்க அபாயங்களைக் கொண்டுள்ளன. பாதுகாப்பு LLMகளை இயக்கும் மாதிரிகள் உடனடி ஊசி அல்லது தரவு நச்சுத்தன்மை மூலம் சமரசம் செய்யப்படலாம். போதுமான மனித வழிகாட்டுதல் இல்லாமல் தொடர்ச்சியான பின்னூட்ட சுழல்கள் மற்றும் இயந்திர கற்றல் வழிமுறைகள் மோசமான நடிகர்கள் கட்டுப்பாடுகளை ஆய்வு செய்ய அனுமதிக்கலாம் மற்றும் பின்னர் மோசமான இலக்கு பதில்களைத் தூண்டலாம். வரையறுக்கப்பட்ட களங்களில் கூட, எல்எல்எம்கள் மாயத்தோற்றங்களுக்கு ஆளாகின்றன. சிறந்த எல்.எல்.எம்-கள் கூட பதில் தெரியாதபோது விஷயங்களை உருவாக்குகிறார்கள். 

இணைய பாதுகாப்பு செயல்பாடுகள் மற்றும் ஆராய்ச்சி முழுவதும் இந்த அமைப்புகள் மிகவும் பொதுவானதாக இருப்பதால், LLM பயன்பாடு மற்றும் பணிப்பாய்வுகளைச் சுற்றியுள்ள பாதுகாப்பு செயல்முறைகள் மற்றும் AI கொள்கைகள் மிகவும் முக்கியமானதாக மாறும். அந்த செயல்முறைகள் இணங்குவதையும், ஆளுகை அமைப்புகளில் அளவிடப்பட்டு கணக்கிடப்படுவதையும் உறுதிசெய்வது, சைபர் செக்யூரிட்டி ஃபிரேம்வொர்க் 2.0 போன்ற புதிய ஆணைகளைப் பூர்த்தி செய்ய CISOக்கள் போதுமான GRC (ஆளுமை, இடர் மற்றும் இணக்கம்) கவரேஜை வழங்க முடியும் என்பதை உறுதிப்படுத்துவது மிகவும் முக்கியமானது. 

சைபர் செக்யூரிட்டியில் எல்எல்எம்களின் மிகப்பெரிய வாக்குறுதி

சிஐஎஸ்ஓக்களும் அவர்களது குழுக்களும் புதிய இணையத் தாக்குதல்களின் எழுச்சி அலைகளைத் தொடர தொடர்ந்து போராடுகின்றன. குவாலிஸின் கூற்றுப்படி, 2023 இல் பதிவுசெய்யப்பட்ட CVEகளின் எண்ணிக்கை a 26,447 என்ற புதிய சாதனை. இது 5 ஐ விட 2013 மடங்கு அதிகமாகும். 

கடந்து செல்லும் ஒவ்வொரு ஆண்டும் சராசரி அமைப்பின் தாக்குதல் பரப்பளவு பெரிதாகி வருவதால், இந்தச் சவால் அதிக வரி செலுத்துவதாக மாறியுள்ளது. AppSec குழுக்கள் இன்னும் பல மென்பொருள் பயன்பாடுகளைப் பாதுகாத்து கண்காணிக்க வேண்டும். கிளவுட் கம்ப்யூட்டிங், ஏபிஐக்கள், பல கிளவுட் மற்றும் மெய்நிகராக்க தொழில்நுட்பங்கள் கூடுதல் சிக்கலைச் சேர்த்துள்ளன. நவீன CI/CD கருவிகள் மற்றும் செயல்முறைகள் மூலம், பயன்பாட்டுக் குழுக்கள் அதிக குறியீட்டை, வேகமாக மற்றும் அடிக்கடி அனுப்ப முடியும். மைக்ரோ சர்வீஸ்கள் பல ஏபிஐகள் மற்றும் தாக்குதல் மேற்பரப்பாகப் பிரிக்கப்பட்ட மோனோலிதிக் பயன்பாட்டைக் கொண்டுள்ளன, மேலும் வெளிப்புற சேவைகள் அல்லது வாடிக்கையாளர் சாதனங்களுடன் தொடர்புகொள்வதற்காக உலகளாவிய ஃபயர்வால்களில் மேலும் பல துளைகளை குத்துகின்றன.

மேம்பட்ட LLMகள் இணைய பாதுகாப்பு குழுக்களின் பணிச்சுமையை குறைப்பதற்கும் அவர்களின் திறன்களை மேம்படுத்துவதற்கும் மிகப்பெரிய வாக்குறுதியைக் கொண்டுள்ளன. AI-இயங்கும் குறியீட்டு கருவிகள் மென்பொருள் உருவாக்கத்தில் பரவலாக ஊடுருவியுள்ளன. 92% டெவலப்பர்கள் குறியீடு பரிந்துரை மற்றும் நிறைவுக்கு AI கருவிகளைப் பயன்படுத்துகின்றனர் அல்லது பயன்படுத்துகின்றனர் என்று கிதுப் ஆராய்ச்சி கண்டறிந்துள்ளது. இந்த "கோபைலட்" கருவிகளில் பெரும்பாலானவை சில பாதுகாப்பு திறன்களைக் கொண்டுள்ளன. உண்மையில், குறியீட்டு முறை (குறியீடு யூனிட் சோதனைகளில் தேர்ச்சி பெறலாம் அல்லது தோல்வியடையும்) போன்ற ஒப்பீட்டளவில் பைனரி விளைவுகளைக் கொண்ட நிரல்சார் துறைகள் LLMகளுக்கு மிகவும் பொருத்தமானவை. மென்பொருள் மேம்பாட்டிற்கான குறியீடு ஸ்கேனிங்கிற்கு அப்பால் மற்றும் CI/CD பைப்லைனில், AI ஆனது சைபர் செக்யூரிட்டி குழுக்களுக்கு பல வழிகளில் மதிப்புமிக்கதாக இருக்கலாம்:   

  • மேம்படுத்தப்பட்ட பகுப்பாய்வு: மனிதர்களால் கண்ணுக்குத் தெரியாத வடிவங்கள் மற்றும் தொடர்புகளை அடையாளம் காண LLMகள் பாரிய அளவிலான பாதுகாப்புத் தரவை (பதிவுகள், எச்சரிக்கைகள், அச்சுறுத்தல் நுண்ணறிவு) செயலாக்க முடியும். அவர்கள் இதை மொழிகள் முழுவதும், கடிகாரத்தைச் சுற்றி, மற்றும் பல பரிமாணங்களில் ஒரே நேரத்தில் செய்ய முடியும். இது பாதுகாப்பு குழுக்களுக்கு புதிய வாய்ப்புகளைத் திறக்கிறது. எல்.எல்.எம்கள் நிகழ்நேரத்தில் விழிப்பூட்டல்களின் அடுக்கை எரித்துவிடலாம், கடுமையானதாக இருக்கக்கூடியவற்றைக் கொடியிடலாம். வலுவூட்டல் கற்றல் மூலம், பகுப்பாய்வு காலப்போக்கில் மேம்படுத்தப்பட வேண்டும். 
  • ஆட்டோமேஷன்: பொதுவாக முன்னும் பின்னுமாக உரையாடல் தேவைப்படும் பாதுகாப்புக் குழுப் பணிகளை LLMகள் தானியங்குபடுத்த முடியும். எடுத்துக்காட்டாக, ஒரு பாதுகாப்புக் குழு IoCஐப் பெற்று, ஒரு சாதனத்தில் உண்மையில் உள்நுழைந்துள்ளதா அல்லது அவர்களின் இயல்பான பணிப் பகுதிகளுக்கு வெளியே எங்காவது அமைந்திருந்தால், இறுதிப் புள்ளியின் உரிமையாளரிடம் கேட்க வேண்டியிருக்கும் போது, ​​LLM இந்த எளிய செயல்பாடுகளைச் செய்து பின் தொடரலாம். தேவையான கேள்விகள் மற்றும் இணைப்புகள் அல்லது வழிமுறைகளுடன். இது ஒரு தகவல் தொழில்நுட்பம் அல்லது பாதுகாப்பு குழு உறுப்பினர் தங்களைத் தாங்களே நடத்த வேண்டிய ஒரு தொடர்பு. LLMகள் மேலும் மேம்பட்ட செயல்பாட்டை வழங்க முடியும். எடுத்துக்காட்டாக, பாதுகாப்புக்கான மைக்ரோசாஃப்ட் கோபிலட் சம்பவ பகுப்பாய்வு அறிக்கைகளை உருவாக்கலாம் மற்றும் சிக்கலான தீம்பொருள் குறியீட்டை இயல்பான மொழி விளக்கங்களாக மொழிபெயர்க்கலாம். 
  • தொடர்ச்சியான கற்றல் மற்றும் ட்யூனிங்: பாதுகாப்புக் கொள்கைகள் மற்றும் புரிதலுக்கான முந்தைய இயந்திரக் கற்றல் அமைப்புகளைப் போலல்லாமல், LLMகள் அதன் பதிலின் மனித மதிப்பீடுகளை உட்கொள்வதன் மூலமும், உள் பதிவுக் கோப்புகளில் இல்லாத புதிய தரவுக் குளங்களை மீண்டும் பெறுவதன் மூலமும் பறக்கும்போது கற்றுக்கொள்ள முடியும். உண்மையில், அதே அடிப்படையான அடிப்படை மாதிரியைப் பயன்படுத்தி, சைபர் செக்யூரிட்டி எல்எல்எம்களை வெவ்வேறு அணிகள் மற்றும் அவற்றின் தேவைகள், பணிப்பாய்வுகள் அல்லது பிராந்திய அல்லது செங்குத்து-குறிப்பிட்ட பணிகளுக்கு டியூன் செய்யலாம். எல்லா இடைமுகங்களிலும் மாற்றங்கள் விரைவாகப் பரவுவதால், முழு அமைப்பும் மாடலைப் போலவே உடனடியாக ஸ்மார்ட்டாக இருக்க முடியும் என்பதையும் இது குறிக்கிறது. 

சைபர் பாதுகாப்பிற்கான LLMகளின் ஆபத்து

ஒரு குறுகிய பதிவுடன் கூடிய புதிய தொழில்நுட்பமாக, எல்.எல்.எம்.கள் கடுமையான அபாயங்களைக் கொண்டுள்ளன. மோசமான விஷயம் என்னவென்றால், அந்த அபாயங்களின் முழு அளவைப் புரிந்துகொள்வது சவாலானது, ஏனெனில் எல்எல்எம் வெளியீடுகள் 100% கணிக்கக்கூடியவை அல்லது நிரலாக்கமாக இல்லை. எடுத்துக்காட்டாக, LLMகள் கற்பனையான தரவுகளின் அடிப்படையில் "மாயத்தோற்றம்" மற்றும் பதில்களை உருவாக்கலாம் அல்லது கேள்விகளுக்கு தவறாக பதிலளிக்கலாம். இணைய பாதுகாப்பு பயன்பாட்டு நிகழ்வுகளுக்கு எல்எல்எம்களை ஏற்றுக்கொள்வதற்கு முன், ஒருவர் சாத்தியமான அபாயங்களைக் கருத்தில் கொள்ள வேண்டும்: 

  • உடனடி ஊசி:  தவறாக வழிநடத்தும் அல்லது தீங்கு விளைவிக்கும் வெளியீடுகளை உருவாக்க குறிப்பாக தீங்கிழைக்கும் தூண்டுதல்களை தாக்குபவர்கள் உருவாக்கலாம். இந்த வகையான தாக்குதல், அது பெறும் தூண்டுதல்களின் அடிப்படையில் உள்ளடக்கத்தை உருவாக்கும் LLM இன் போக்கைப் பயன்படுத்திக் கொள்ளலாம். சைபர் பாதுகாப்பு பயன்பாட்டு சந்தர்ப்பங்களில், உடனடி ஊசி என்பது ஒரு வகையான உள் தாக்குதல் அல்லது அங்கீகரிக்கப்படாத பயனரின் தாக்குதலின் வடிவமாக மிகவும் ஆபத்தானதாக இருக்கலாம், அவர் மாதிரி நடத்தையை வளைப்பதன் மூலம் கணினி வெளியீடுகளை நிரந்தரமாக மாற்றுவதற்கான தூண்டுதல்களைப் பயன்படுத்துகிறார். இது கணினியின் பிற பயனர்களுக்கு தவறான அல்லது தவறான வெளியீடுகளை உருவாக்கலாம். 
  • தரவு நச்சு:  LLMகள் நம்பியிருக்கும் பயிற்சி தரவு வேண்டுமென்றே சிதைக்கப்படலாம், அவர்களின் முடிவெடுப்பதில் சமரசம் செய்யலாம். சைபர் செக்யூரிட்டி அமைப்புகளில், நிறுவனங்கள் கருவி வழங்குநர்களால் பயிற்சியளிக்கப்பட்ட மாதிரிகளைப் பயன்படுத்தக்கூடும், குறிப்பிட்ட வாடிக்கையாளர் மற்றும் பயன்பாட்டு வழக்குக்கான மாதிரியை டியூனிங் செய்யும் போது தரவு நச்சுத்தன்மை ஏற்படலாம். இங்கே ஆபத்து ஒரு அங்கீகரிக்கப்படாத பயனர் மோசமான தரவைச் சேர்ப்பதாக இருக்கலாம் - எடுத்துக்காட்டாக, சிதைந்த பதிவுக் கோப்புகள் - பயிற்சி செயல்முறையைத் தகர்க்க. அங்கீகரிக்கப்பட்ட பயனர் கவனக்குறைவாகவும் இதைச் செய்யலாம். இதன் விளைவாக மோசமான தரவுகளின் அடிப்படையில் LLM வெளியீடுகள் இருக்கும்.
  • மாயத்தோற்றம்: முன்பு குறிப்பிட்டது போல், எல்எல்எம்கள் தவறான, நியாயமற்ற அல்லது தீங்கிழைக்கும் பதில்களை தூண்டுதல்களின் தவறான புரிதல்கள் அல்லது அடிப்படை தரவு குறைபாடுகள் காரணமாக உருவாக்கலாம். சைபர் பாதுகாப்பு பயன்பாட்டு நிகழ்வுகளில், மாயத்தோற்றங்கள் முக்கியமான பிழைகளை ஏற்படுத்தலாம், அவை அச்சுறுத்தல் நுண்ணறிவு, பாதிப்பு சோதனை மற்றும் சரிசெய்தல் மற்றும் பலவற்றை முடக்குகின்றன. சைபர் செக்யூரிட்டி என்பது ஒரு முக்கியமான செயலாக இருப்பதால், இந்த சூழல்களில் மாயத்தோற்றங்களை நிர்வகிப்பதற்கும் தடுப்பதற்கும் LLMகள் உயர் தரத்தில் இருக்க வேண்டும். 

AI அமைப்புகள் அதிக திறன் கொண்டதாக இருப்பதால், அவற்றின் தகவல் பாதுகாப்பு வரிசைப்படுத்தல்கள் வேகமாக விரிவடைகின்றன. தெளிவாகச் சொல்வதென்றால், பல இணையப் பாதுகாப்பு நிறுவனங்கள் டைனமிக் ஃபில்டரிங்க்காக பேட்டர்ன் மேட்சிங் மற்றும் மெஷின் லேர்னிங்கை நீண்ட காலமாகப் பயன்படுத்தி வருகின்றன. உருவாக்கப்படும் AI சகாப்தத்தில் புதியது என்னவெனில், தற்போதுள்ள பணிப்பாய்வுகள் மற்றும் தரவுத் தொகுப்பின் மேல் நுண்ணறிவு அடுக்கை வழங்கும் ஊடாடும் LLMகள், சிறந்த முறையில் செயல்திறனை மேம்படுத்தி இணைய பாதுகாப்பு குழுக்களின் திறன்களை மேம்படுத்துகின்றன. வேறு வார்த்தைகளில் கூறுவதானால், GenAI ஆனது பாதுகாப்பு பொறியாளர்களுக்கு குறைந்த முயற்சி மற்றும் அதே ஆதாரங்களுடன், சிறந்த செயல்திறன் மற்றும் துரிதப்படுத்தப்பட்ட செயல்முறைகளை வழங்கும். 

அக்ஸா டெய்லர், ஆசிரியர் "செயல்முறை சுரங்க: பாதுகாப்பு கோணம்"ebook, தயாரிப்பு மேலாண்மை இயக்குனர் குட்ஸி, பாதுகாப்பு நடவடிக்கைகளுக்கான செயல்முறை சுரங்கத்தில் நிபுணத்துவம் பெற்ற ஒரு சைபர் செக்யூரிட்டி ஸ்டார்ட்அப். கிளவுட் பாதுகாப்பில் நிபுணரான அக்சா, Twistlock இல் முதல் தீர்வுகள் பொறியாளர் மற்றும் எஸ்கலேஷன் பொறியாளர் ஆவார், இது 410 ஆம் ஆண்டில் $2019M க்கு பாலோ ஆல்டோ நெட்வொர்க்கால் வாங்கப்பட்ட முன்னோடி கொள்கலன் பாதுகாப்பு விற்பனையாளராகும். பணிச்சுமை பாதுகாப்பு மற்றும் பொதுவாக ப்ரிஸ்மா கிளவுட், பாலோ ஆல்டோ நெட்வொர்க்கின் கிளவுட் நேட்டிவ் அப்ளிகேஷன் பாதுகாப்பு தளத்துடன் பணிச்சுமை பாதுகாப்பை ஒருங்கிணைக்கிறது. ஃபார்ச்சூன் 45 நிறுவனங்களில் 100% உட்பட, பல்வேறு தொழில் துறைகளைச் சேர்ந்த பல நிறுவன நிறுவனங்களுக்கு, அவர்களின் கிளவுட் பாதுகாப்புக் கண்ணோட்டத்தை மேம்படுத்த அக்சா உதவினார்.