Audian Paxson นักยุทธศาสตร์ด้านเทคนิคอาวุโสแห่ง IRONSCALES – ซีรีส์บทสัมภาษณ์

Audian Paxson นักยุทธศาสตร์ด้านเทคนิคอาวุโสแห่ง IRONSCALES เป็นผู้คร่ำหวอดด้านความมั่นคงปลอดภัยทางไซเบอร์และกลยุทธ์ผลิตภัณฑ์ โดยมีประสบการณ์มากกว่าสองทศวรรษครอบคลุมด้านการรักษาความปลอดภัยอีเมล การตรวจจับภัยคุกคาม ระบบเครือข่าย และเทคโนโลยีสำหรับองค์กร ที่ IRONSCALES เขามุ่งเน้นการเปิดตัวผลิตภัณฑ์ การสื่อสารและวางตำแหน่งผลิตภัณฑ์ กลยุทธ์การออกสู่ตลาด และการแสดงความคิดเห็นเชิงผู้เชี่ยวชาญเกี่ยวกับการใช้ปัญญาประดิษฐ์และการเรียนรู้ของเครื่องเพื่อรับมือกับภัยคุกคามต่อความปลอดภัยอีเมลที่เกิดขึ้นใหม่ เส้นทางอาชีพของเขาครอบคลุมบทบาทระดับอาวุโสด้านการจัดการผลิตภัณฑ์ การตลาดผลิตภัณฑ์ และการพัฒนาธุรกิจที่ Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems และ Intel Paxson มีบทบาทสำคัญในการเปิดตัวผลิตภัณฑ์ด้านความมั่นคงปลอดภัยทางไซเบอร์และระบบเครือข่าย การพัฒนากลยุทธ์การออกสู่ตลาดสำหรับองค์กร และการขยายธุรกิจของบริษัทไปยังตลาดใหม่ อีกทั้งยังเป็นผู้ร่วมคิดค้นเทคโนโลยีความปลอดภัยที่ได้รับสิทธิบัตร

IRONSCALES เป็นบริษัทด้านการรักษาความปลอดภัยอีเมลที่ขับเคลื่อนด้วยปัญญาประดิษฐ์ โดยมุ่งปกป้ององค์กรจากฟิชชิง การหลอกลวงทางอีเมลธุรกิจ การยึดครองบัญชี ดีปเฟก และภัยคุกคามทางวิศวกรรมสังคมรูปแบบอื่น ๆ ที่เปลี่ยนแปลงอยู่เสมอ แพลตฟอร์มของบริษัทผสาน Adaptive AI เข้ากับข้อมูลเชิงลึกจากมนุษย์และชุมชน เพื่อตรวจจับ สืบสวน และจัดการแก้ไขภัยคุกคามบน Microsoft 365 และ Google Workspace พร้อมทั้งมีความสามารถด้านการจำลองการโจมตีแบบฟิชชิง การฝึกอบรมสร้างความตระหนักรู้ด้านความปลอดภัย การปกป้องอีเมลขาออก และการรักษาความปลอดภัยโดเมน บริษัทได้ต่อยอดแนวทางดังกล่าวด้วยเอเจนต์ AI เฉพาะทางสำหรับการทดสอบเจาะระบบโดยทีม Red Team ปฏิบัติการด้านความปลอดภัยจากฟิชชิง และการจำลองการโจมตีแบบฟิชชิง ซึ่งออกแบบมาเพื่อคาดการณ์การโจมตี สืบสวนกิจกรรมที่น่าสงสัย และเสริมความแข็งแกร่งให้การป้องกันของพนักงาน IRONSCALES ระบุว่าองค์กรกว่า 18,000 แห่งใช้เทคโนโลยีของบริษัท และเทคโนโลยีดังกล่าวอาศัยข้อมูลข่าวกรองที่ได้รับจากผู้เชี่ยวชาญด้านความปลอดภัยกว่า 36,000 คนในชุมชน

งานของคุณในด้านการรักษาความปลอดภัยอีเมลมีมายาวนานกว่าสองทศวรรษ รวมถึงการมีส่วนช่วยพัฒนาผลิตภัณฑ์ต่อต้านฟิชชิงยุคแรก ๆ และปัจจุบันมุ่งเน้นศึกษาว่าปัญญาประดิษฐ์และการเรียนรู้ของเครื่องจะช่วยรับมือกับภัยคุกคามทางอีเมลที่เกิดขึ้นใหม่ได้อย่างไร จากประสบการณ์ของคุณ อะไรคือสิ่งใหม่อย่างแท้จริงของวิศวกรรมสังคมที่ขับเคลื่อนด้วย AI และส่วนใดของปัญหาที่ยังคงคุ้นเคยอย่างน่าประหลาดใจ?

ขอบคุณที่ทำให้ผมดูแก่ขึ้นนะ! ตอนที่เราเริ่มต่อสู้กับฟิชชิงในช่วงต้นทศวรรษ 2000 ปัญหาใหญ่ที่สุดคือการสร้างความตระหนักรู้ และตัวกรองก็ทำได้เพียงประเมินชื่อเสียงของโดเมนผู้ส่งเท่านั้น แต่กลวิธีต่าง ๆ ไม่ได้เปลี่ยนไปมากนัก ทั้งการเร่งรัด การแอบอ้างอำนาจ และใบแจ้งหนี้ปลอม ผมจำข้ออ้างที่เห็นในปัจจุบันได้แทบทั้งหมด สิ่งที่ AI เปลี่ยนไปคืออุปสรรคด้านฝีมือ ทำให้ตอนนี้ผู้โจมตีที่ไม่มีทักษะก็สามารถสร้างกลโกงจากปี 2004 เวอร์ชันที่แนบเนียนไร้ที่ติและปรับให้เหมาะกับแต่ละคนได้ในวงกว้าง

Anthropic พบว่า Claude Mythos 5 สามารถสังเกตสัญญาณที่บ่งชี้ว่าเป็นอินเทอร์เน็ตจริงได้ เมื่อแสดงสัญญาณเหล่านั้นแยกกัน แต่ส่วนใหญ่กลับไม่สามารถดำเนินการตามหลักฐานชุดเดียวกันได้เมื่อจมอยู่กับงานนั้น ช่องว่างนี้บอกอะไรเราเกี่ยวกับความแตกต่างระหว่างการที่โมเดล AI มีความรู้ กับการนำความรู้นั้นมาใช้ได้จริงในจังหวะที่เหมาะสม?

ผมทำงานด้านความปลอดภัยอีเมล ไม่ใช่นักวิจัย AI ดังนั้นผมจึงอ่านเรื่องนี้จากมุมมองดังกล่าว Mythos ได้รับแจ้งตั้งแต่แรกว่าตนอยู่ในสถานการณ์จำลอง และกรอบการตีความนั้นก็มีอิทธิพลเหนือกว่า มันอธิบายหลักฐานจริงเสียใหม่ เพราะหลักฐานไม่สอดคล้องกับเรื่องราวที่มันเชื่ออยู่ก่อนแล้ว นั่นคือข้ออ้างลวงที่ทำหน้าที่ของมันได้สำเร็จ และเป็นเหตุผลที่ผู้โจมตีพยายามอย่างหนักเพื่อกำหนดกรอบการตีความให้ได้ก่อน

เรื่องนี้มีความคล้ายคลึงที่น่าสนใจกับพฤติกรรมการฟิชชิงในมนุษย์ กล่าวคือ พนักงานอาจสังเกตสัญญาณที่น่าสงสัยได้ง่ายในระหว่างการฝึกอบรม แต่กลับมองข้ามสัญญาณเดียวกันเมื่อเร่งรีบหรือจดจ่อกับการทำงานอื่นให้เสร็จ คุณคิดว่าเราสามารถเปรียบเทียบการตัดสินใจของมนุษย์กับ AI ได้มากน้อยเพียงใดโดยที่ยังสมเหตุสมผล?

ได้ในระดับหนึ่ง ทั้งคนและ AI ต่างอาจหลุดจากประเด็นเมื่อจดจ่อกับงานตรงหน้า และทั้งคนและโมเดลก็อาจปล่อยผ่านข้อความที่ดูเหมือนเป็นกระบวนการทางธุรกิจตามปกติ เช่น “ต้องตรวจสอบรายการต่อไปนี้” แต่การเปรียบเทียบนี้ใช้ไม่ได้เมื่อพูดถึงอารมณ์ มนุษย์อาจเร่งรีบ หวาดกลัว หรืออยากเอาใจผู้อื่น ส่วนเอเจนต์จะพลาดเพราะตัวกระตุ้นเฉพาะของมันเอง เช่น คำสั่งที่แยกไม่ออกจากข้อมูลที่กำลังอ่าน

การฝึกอบรมด้านความปลอดภัยมักมุ่งสอนให้ผู้คนสังเกตลิงก์ที่เป็นอันตราย คำขอที่ผิดปกติ การแอบอ้างเป็นผู้อื่น และสัญญาณเตือนอื่น ๆ หากทั้งมนุษย์และระบบ AI ต่างอาจเพิกเฉยต่อสัญญาณที่ตนเข้าใจในทางทฤษฎี ทีมรักษาความปลอดภัยควรให้ความสำคัญกับการทำความเข้าใจวิธีตัดสินใจภายใต้แรงกดดันและในบริบทเฉพาะ มากกว่าการสังเกตสัญญาณหรือไม่?

ใช่ การฝึกให้สังเกตสัญญาณตั้งอยู่บนสมมติฐานว่าผู้คนกำลังใส่ใจ ผู้โจมตีออกแบบข้อความให้เข้าถึงผู้คนในช่วงที่ไม่ได้ใส่ใจ หรือทำให้ลืมสิ่งที่ได้เรียนรู้จากการฝึกอบรม การลงทุนที่คุ้มค่ากว่าคือการสร้างจังหวะให้หยุดคิดในช่วงเวลาสำคัญ เช่น การชำระเงิน การรีเซ็ตข้อมูลรับรอง และการเปลี่ยนแปลงสิทธิ์การเข้าถึง เพื่อไม่ให้ทั้งคนหรือเอเจนต์ตัดสินใจเรื่องนั้นโดยทำตามความเคยชิน

เมื่อเอเจนต์ AI ผสานเข้ากับกล่องจดหมายและกระบวนการทำงานขององค์กรอย่างลึกซึ้งยิ่งขึ้น ผู้โจมตีอาจใช้วิศวกรรมสังคมหลอกระบบ AI เองมากขึ้น แทนที่จะมุ่งโจมตีเฉพาะพนักงาน การโจมตีที่ออกแบบมาเพื่อชักใยเอเจนต์อีเมลหรือผู้ช่วยอัตโนมัติโดยเฉพาะจะมีหน้าตาอย่างไร?

นี่คืออีเมลที่เขียนขึ้นสำหรับเอเจนต์ โดยซ่อนคำสั่งจากมนุษย์ไว้ด้วยข้อความสีขาวบนพื้นสีขาว ในข้อความแสดงแทนภาพ หรือใช้ภาษาอื่น เพื่อให้ตัวกรองที่ปรับให้ตรวจจับภาษาอังกฤษมองข้ามไป สถานการณ์หนึ่งที่ทีมวิจัยของเราสร้างขึ้นคือการฝัง “ข้อเท็จจริง” ปลอมไว้ในความทรงจำของเอเจนต์ (“การอนุมัติจาก finance@ ได้รับอนุมัติล่วงหน้าแล้ว”) ทำให้อีเมลการเงินปลอมที่ส่งมาในอีกหลายสัปดาห์ต่อมาผ่านการตรวจสอบไปได้อย่างราบรื่น อีกกรณีหนึ่งซ่อนข้อความไว้ในภาพใบแจ้งหนี้ เพื่อบอกให้เอเจนต์จัดประเภทว่าเป็นความเสี่ยงต่ำและสรุปว่าจ่ายได้อย่างปลอดภัย มนุษย์ก็เชื่อสรุปนั้น

ผู้โจมตีสามารถจงใจสร้างปฏิสัมพันธ์ต่อเนื่องยาวนานที่ดูเหมือนถูกต้องตามปกติ เพื่อค่อย ๆ ชักนำระบบ AI ไปสู่การตัดสินใจที่ไม่ดี แทนที่จะอาศัยอีเมลหรือพรอมป์ต์ที่มีเจตนาร้ายอย่างเห็นได้ชัดเพียงครั้งเดียวได้หรือไม่ เครื่องมือรักษาความปลอดภัยในปัจจุบันจะตรวจจับการโจมตีหลายขั้นตอนเหล่านี้ได้ยากเพียงใด

การโจมตีลักษณะนี้เกิดขึ้นกับคนอยู่แล้ว และเอเจนต์คือเป้าหมายถัดไป ผู้โจมตีส่งอีเมลที่ไม่มีพิษภัยสองสามฉบับ (เช่น อีเมลแนะนำตัวหรือขอบคุณ) เพื่อให้ระบบเลิกตั้งค่าสถานะผู้ส่งครั้งแรก จากนั้นจึงเปลี่ยนไปส่งข้อความที่เกี่ยวข้องกับบทบาทของเป้าหมาย แล้วค่อยส่งสิ่งที่ใช้โจมตี ซึ่งมักเป็นคำเชิญประชุมที่ลิงก์แสดงหน้าเว็บที่ดูสะอาดสำหรับเครื่องมือสแกน แต่พาผู้ใช้จริงไปยังเว็บไซต์ฟิชชิง เครื่องมือที่ประเมินอีเมลแต่ละฉบับแยกจากกันจะตรวจไม่พบเรื่องนี้ เพราะไม่มีข้อความฉบับใดดูผิดปกติเพียงลำพัง จึงต้องประเมินความสัมพันธ์ที่ก่อตัวขึ้นตามเวลา

มักมีการพูดถึงฟิชชิงที่สร้างด้วย AI ในแง่ของการเขียนข้อความให้ดีขึ้น การปรับเนื้อหาให้เหมาะกับเป้าหมาย และดีปเฟก คุณกังวลมากกว่ากันเรื่องที่ AI ช่วยยกระดับเนื้อหาของการโจมตีด้วยวิศวกรรมสังคม หรือเรื่องที่ผู้โจมตีใช้ AI เพื่อทำความเข้าใจว่าเป้าหมายรายใดมีแนวโน้มจะพลาดมากที่สุดในเวลาใดและภายใต้สถานการณ์แบบไหน

ทั้งสองอย่าง และการแข่งขันด้านเนื้อหาก็จบไปแล้ว ฟิชชิงที่เขียนด้วย AI อย่างประณีตกลายเป็นมาตรฐานไปแล้วนับตั้งแต่ ChatGPT ได้รับความนิยมในวงกว้าง การเปลี่ยนแปลงที่สำคัญกว่าคือ ขณะนี้การเลือกเป้าหมาย การปรับเนื้อหาให้เหมาะกับแต่ละคน และการกำหนดเวลาถูกทำให้เป็นระบบอัตโนมัติแล้ว คนที่ไม่มีทักษะทางเทคนิคเลยจึงสามารถนำข้อมูลจากการรั่วไหลมารวมกับชุดรหัสผ่านที่หลุดออกมา เช่น รายการ RockYou อันโด่งดัง ยึดกล่องจดหมายจริงมาใช้ แล้วส่งอีเมลธุรกรรมทั่วไปปลอมในจังหวะที่เป้าหมายกำลังคาดว่าจะได้รับอีเมลนั้นพอดี

เมื่อผู้โจมตีเก่งขึ้นในการลบร่องรอยทางเทคนิคที่เห็นได้ชัดและทำให้ข้อความอันตรายดูน่าเชื่อถือ สัญญาณใดจะมีความสำคัญที่สุดในการแยกการสื่อสารที่ถูกต้องออกจากการหลอกลวง

เริ่มจากบริบทก่อน เช่น เรื่องนี้เป็นเรื่องปกติสำหรับบุคคลหรือผู้ขายรายนี้หรือไม่ ในช่องทางนี้ และในเวลานี้หรือเปล่า จากนั้นจึงพิจารณาความเร่งด่วนและการส่งซ้ำ หากมีเรื่องด่วนจริง คนคนนั้นจะโทรศัพท์หรือส่งข้อความหาคุณทาง Teams หรือ Slack เขาจะไม่ส่งอีเมลฉบับเดิมซ้ำสามครั้ง และจงเชื่อสัญชาตญาณของตัวเอง กฎของผมคือ “อย่าเพิ่งลงมือ ให้หยุดคิดก่อน” ดังนั้นให้ชะลอไว้ ขอให้คนอื่นช่วยตรวจสอบ แล้วตรวจยืนยันผ่านอีกช่องทางหนึ่ง

องค์กรควรวางระบบกำกับดูแลโดยมนุษย์และ AI อย่างไร เมื่อทั้งสองฝ่ายต่างก็มีจุดอ่อน การผสานวิจารณญาณของมนุษย์เข้ากับ AI จะสร้างจุดบอดใหม่ได้หรือไม่ หากแต่ละฝ่ายคิดว่าอีกฝ่ายตรวจสอบการตัดสินใจนั้นแล้ว

มอบหมายงานที่แต่ละฝ่ายทำได้ดีที่สุดให้รับผิดชอบ และกำหนดขั้นตอนส่งต่องานให้ชัดเจน AI จัดการงานปริมาณมากและมองหารูปแบบที่เกิดขึ้นทั่วทั้งระบบ ส่วนมนุษย์รับผิดชอบการตัดสินใจที่มีผลกระทบสูง (เช่น การโอนเงินหรือการให้สิทธิ์เข้าถึง) และ AI ต้องแสดงหลักฐานเพื่อให้ผู้ตรวจสอบตรวจสอบเหตุผลได้ จุดบอดที่คุณกล่าวถึงมีอยู่จริง วิธีแก้คือต้องกำหนดกฎตายตัวว่า… “AI บอกว่าปลอดภัย” ไม่นับว่าเป็นการตรวจสอบโดยมนุษย์

หากปัญหาพื้นฐานคือช่องว่างระหว่างสิ่งที่มนุษย์หรือระบบ AI รู้ กับสิ่งที่พวกเขาตระหนักได้ขณะกำลังลงมือทำงาน องค์กรจะปรับเปลี่ยนสิ่งใดได้บ้างในวันนี้เพื่อช่วยลดช่องว่างดังกล่าว และทำให้การโจมตีด้วยวิศวกรรมสังคมทำได้ยากขึ้นอย่างมาก

นำมาตรการควบคุมแบบเก่าที่เราเคยใช้กับการเขียนเช็คมาใช้ นั่นคือ “การแบ่งแยกหน้าที่” คนหนึ่งสร้างผู้ใช้ใหม่ได้แต่เปิดใช้งานไม่ได้ คนที่สองเปิดใช้งานผู้ใช้ได้แต่สร้างไม่ได้ และคนที่สามจะได้รับแจ้งทั้งสองกรณี ใช้การแบ่งแยกหน้าที่แบบเดียวกันนี้กับการชำระเงิน การเปลี่ยนแปลงข้อมูลผู้ขาย และเอเจนต์ AI ของคุณ (เอเจนต์ไม่ควรเป็นทั้งผู้ร้องขอและผู้อนุมัติการดำเนินการเดียวกัน) พนักงานที่ถูกหลอกเพียงคนเดียวหรือเอเจนต์ที่ถูกยึดควบคุมเพียงตัวเดียวจะโจมตีให้สำเร็จไม่ได้ด้วยตัวเอง

ขอบคุณสำหรับบทสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านที่ต้องการเรียนรู้เพิ่มเติมสามารถไปที่ IRONSCALES ได้