Audian Paxson, Chiến lược gia kỹ thuật cấp cao tại IRONSCALES – Loạt bài phỏng vấn

Audian Paxson, Chiến lược gia kỹ thuật cấp cao tại IRONSCALES, là chuyên gia dày dạn kinh nghiệm trong lĩnh vực an ninh mạng và chiến lược sản phẩm, với hơn hai thập kỷ hoạt động trong các lĩnh vực bảo mật email, phát hiện mối đe dọa, mạng máy tính và công nghệ doanh nghiệp. Tại IRONSCALES, ông tập trung vào việc ra mắt sản phẩm, xây dựng thông điệp và định vị, chiến lược tiếp cận thị trường, cũng như định hướng tư tưởng về cách ứng dụng trí tuệ nhân tạo và học máy để xử lý các mối đe dọa mới nổi đối với bảo mật email. Trong sự nghiệp, ông từng đảm nhiệm các vị trí cấp cao về quản lý sản phẩm, tiếp thị sản phẩm và phát triển kinh doanh tại Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems và Intel. Paxson đã giữ vai trò chủ chốt trong việc ra mắt các sản phẩm an ninh mạng và mạng máy tính, xây dựng chiến lược tiếp cận thị trường doanh nghiệp, mở rộng hoạt động của các công ty sang những thị trường mới; ông cũng là đồng tác giả sáng chế về công nghệ bảo mật.

IRONSCALES là công ty bảo mật email ứng dụng trí tuệ nhân tạo, tập trung bảo vệ các tổ chức trước hành vi lừa đảo qua email, xâm phạm email doanh nghiệp, chiếm đoạt tài khoản, nội dung giả mạo bằng công nghệ deepfake và các mối đe dọa kỹ nghệ xã hội khác không ngừng biến đổi. Nền tảng của công ty kết hợp Adaptive AI với trí tuệ con người và cộng đồng để phát hiện, điều tra và khắc phục các mối đe dọa trên Microsoft 365 và Google Workspace, đồng thời cung cấp các chức năng mô phỏng tấn công lừa đảo, đào tạo nâng cao nhận thức bảo mật, bảo vệ email gửi đi và bảo mật tên miền. Công ty đã mở rộng phương pháp tiếp cận này bằng các tác tử AI chuyên biệt cho hoạt động kiểm thử mô phỏng đối kháng, vận hành bảo mật chống lừa đảo và mô phỏng tấn công lừa đảo; các tác tử này được thiết kế để dự đoán cuộc tấn công, điều tra hoạt động đáng ngờ và củng cố khả năng phòng vệ của nhân viên. IRONSCALES cho biết công nghệ của họ được hơn 18.000 tổ chức sử dụng và tích hợp thông tin tình báo do cộng đồng hơn 36.000 chuyên gia bảo mật đóng góp.

Công việc của ông trong lĩnh vực bảo mật email đã kéo dài hơn hai thập kỷ, bao gồm cả việc góp phần phát triển những sản phẩm chống lừa đảo qua email đầu tiên và hiện nay tập trung vào cách AI và học máy có thể xử lý các mối đe dọa email mới nổi. Từ góc nhìn đó, điều gì thực sự mới mẻ trong kỹ nghệ xã hội dựa trên AI, và khía cạnh nào của vấn đề vẫn quen thuộc đến bất ngờ?

Cảm ơn vì đã nhắc tôi già thế! Khi chúng tôi bắt đầu chống lừa đảo qua email vào đầu những năm 2000, vấn đề lớn nhất là nhận thức, còn các bộ lọc chỉ có thể đánh giá uy tín tên miền của người gửi. Nhưng các thủ đoạn hầu như chẳng thay đổi. Tạo cảm giác khẩn cấp, viện dẫn thẩm quyền, gửi hóa đơn giả. Hầu như mọi cái cớ mà tôi gặp ngày nay đều đã quá quen thuộc. Điều AI thay đổi là rào cản về kỹ năng thực hiện: giờ đây, ngay cả kẻ tấn công thiếu kỹ năng cũng có thể tạo ra hàng loạt phiên bản hoàn hảo, được cá nhân hóa của một vụ lừa đảo từ năm 2004.

Anthropic phát hiện rằng Claude Mythos 5 có thể nhận ra các dấu hiệu cho thấy môi trường internet là có thật khi những tín hiệu đó được trình bày riêng rẽ, nhưng phần lớn lại không hành động dựa trên cùng những bằng chứng ấy khi đang tập trung thực hiện một nhiệm vụ. Khoảng cách đó cho chúng ta biết điều gì về sự khác biệt giữa việc một mô hình AI sở hữu kiến thức và việc thực sự vận dụng kiến thức đúng lúc?

Tôi làm về bảo mật email chứ không phải nghiên cứu AI, nên tôi nhìn nhận vấn đề qua lăng kính đó. Ngay từ đầu, Mythos đã được thông báo rằng nó đang ở trong một môi trường mô phỏng, và cách đóng khung tình huống ấy đã chi phối phản ứng của nó. Nó gạt bỏ bằng chứng có thật vì bằng chứng đó không phù hợp với câu chuyện mà nó vốn đã tin là mình đang trải qua. Đó là cái cớ đã phát huy tác dụng, và cũng là lý do kẻ tấn công nỗ lực đến vậy để định hình bối cảnh ngay từ đầu.

Ở đây có một điểm tương đồng thú vị với hành vi lừa đảo qua email ở con người: nhân viên có thể dễ dàng nhận ra các dấu hiệu đáng ngờ trong lúc được đào tạo, nhưng lại bỏ sót chính những dấu hiệu ấy khi đang vội hoặc tập trung hoàn thành một nhiệm vụ khác. Theo ông, có thể so sánh mức độ phán đoán của con người và AI đến đâu một cách hợp lý?

Ở một mức độ nhất định. Cả hai đều dễ mất tập trung khi chúi đầu vào một nhiệm vụ, và những thông điệp trông như một quy trình công việc thường lệ (“cần xem xét các yêu cầu sau đây”) đều có thể được cả con người lẫn mô hình dễ dàng cho qua. Sự tương đồng không còn đúng khi xét đến cảm xúc. Con người có thể bị thúc ép, sợ hãi hoặc muốn làm vừa lòng người khác. Tác tử lại thất bại trước những yếu tố kích hoạt riêng của nó, chẳng hạn như những chỉ dẫn mà nó không thể phân biệt với dữ liệu đang đọc.

Đào tạo bảo mật theo truyền thống tập trung dạy mọi người nhận biết liên kết độc hại, yêu cầu bất thường, hành vi mạo danh và những dấu hiệu cảnh báo khác. Nếu cả con người lẫn hệ thống AI đều có thể phớt lờ những tín hiệu mà trên lý thuyết họ hiểu rõ, các nhóm bảo mật có nên ít chú trọng hơn đến việc nhận biết và tập trung nhiều hơn vào cách đưa ra quyết định khi chịu áp lực và trong một bối cảnh cụ thể không?

Có. Đào tạo nhận biết mặc định rằng mọi người đang chú ý. Kẻ tấn công thiết kế thông điệp sao cho chúng xuất hiện đúng lúc mọi người không chú ý, hoặc khiến họ quên những gì đã được đào tạo. Đầu tư hiệu quả hơn là tạo ra một khoảng dừng ở những thời điểm quan trọng (như thanh toán, đặt lại thông tin đăng nhập, thay đổi quyền truy cập), để cả con người lẫn tác tử đều không đưa ra quyết định theo quán tính.

Khi các tác tử AI ngày càng được tích hợp sâu vào hộp thư đến và quy trình làm việc của doanh nghiệp, kẻ tấn công có thể ngày càng tìm cách dùng kỹ nghệ xã hội để thao túng chính hệ thống AI thay vì chỉ nhắm vào nhân viên. Một cuộc tấn công được thiết kế riêng để thao túng tác tử email hoặc trợ lý tự động có thể diễn ra như thế nào?

Đây là email được soạn cho tác nhân, trong đó chỉ dẫn bị che giấu khỏi con người bằng chữ trắng trên nền trắng, văn bản thay thế của hình ảnh hoặc một ngôn ngữ khác, khiến các bộ lọc được tinh chỉnh cho tiếng Anh bỏ qua. Một tình huống do nhóm nghiên cứu của chúng tôi xây dựng cài vào bộ nhớ của tác nhân một “sự thật” giả (“các phê duyệt từ finance@ đã được cấp phép trước”), để rồi vài tuần sau, một email giả mạo từ bộ phận tài chính dễ dàng vượt qua hệ thống. Một tình huống khác giấu văn bản trong ảnh hóa đơn, yêu cầu tác nhân đánh dấu hóa đơn là rủi ro thấp và tóm tắt rằng khoản thanh toán an toàn. Con người tin vào bản tóm tắt đó.

Kẻ tấn công có thể cố ý tạo ra những chuỗi dài tương tác có vẻ hợp pháp, từng bước đẩy một hệ thống AI đến quyết định sai lầm, thay vì dựa vào một email hay lời nhắc rõ ràng là độc hại hay không? Các công cụ bảo mật ngày nay khó phát hiện những cuộc tấn công nhiều bước như vậy đến mức nào?

Những việc này đã xảy ra với con người, và tác nhân sẽ là mục tiêu tiếp theo. Kẻ tấn công gửi vài email vô hại (lời chào làm quen, lời cảm ơn) để xóa cảnh báo người gửi lần đầu, chuyển sang những tin nhắn liên quan đến vai trò của mục tiêu, rồi mới đưa mã độc vào, thường là qua lời mời họp có liên kết hiển thị một trang sạch với công cụ quét nhưng đưa người dùng thật đến trang lừa đảo. Các công cụ đánh giá từng email riêng lẻ sẽ bỏ sót kiểu tấn công này. Không có tin nhắn nào trông đáng ngờ, vì vậy cần đánh giá mối quan hệ theo thời gian.

Lừa đảo qua mạng do AI tạo ra thường được bàn đến ở khía cạnh câu chữ hay hơn, cá nhân hóa và nội dung giả mạo sâu. Ông lo ngại hơn về việc AI cải thiện nội dung của các cuộc tấn công thao túng tâm lý, hay về việc kẻ tấn công dùng AI để xác định chính xác thời điểm và cách thức một mục tiêu cụ thể dễ mắc sai lầm nhất?

Cả hai, và cuộc chiến về nội dung đã ngã ngũ. Những email lừa đảo được viết trau chuốt bằng AI đã trở thành tiêu chuẩn kể từ khi ChatGPT trở nên phổ biến rộng rãi. Thay đổi lớn hơn là việc nhắm mục tiêu, cá nhân hóa và lựa chọn thời điểm giờ đây đã được tự động hóa, nên ngay cả người hoàn toàn không có kỹ năng kỹ thuật cũng có thể kết hợp dữ liệu từ các vụ rò rỉ với những tập hợp mật khẩu bị lộ như danh sách RockYou khét tiếng, chiếm quyền kiểm soát một hộp thư thật và gửi email giả mạo một thông báo giao dịch thường lệ đúng lúc mục tiêu đang chờ nhận email đó.

Khi kẻ tấn công ngày càng giỏi loại bỏ những dấu hiệu cảnh báo kỹ thuật rõ ràng và khiến tin nhắn độc hại trông có vẻ hợp pháp, những tín hiệu nào trở nên quan trọng nhất để phân biệt giao tiếp chính đáng với hành vi thao túng?

Trước hết là bối cảnh. Chẳng hạn, việc này có bình thường đối với người hoặc nhà cung cấp này, trên kênh này, vào thời điểm này không? Tiếp theo là tính cấp bách và sự lặp lại. Người thực sự có việc khẩn cấp sẽ gọi điện hoặc nhắn cho bạn trên Teams hay Slack. Họ sẽ không gửi cùng một email ba lần. Và hãy tin vào trực giác của mình. Nguyên tắc của tôi là “Đừng vội làm gì cả, hãy dừng lại”, vì vậy hãy chậm lại, nhờ thêm một người xem xét và xác minh qua một kênh khác.

Các tổ chức nên tổ chức hoạt động giám sát của con người và AI như thế nào khi cả hai bên đều có thể có điểm yếu? Việc kết hợp phán đoán của con người với AI có thể tạo ra những điểm mù mới nếu mỗi bên cho rằng bên kia đã xác thực quyết định hay không?

Hãy giao cho mỗi bên công việc phù hợp nhất với mình và quy định rõ cách bàn giao. AI xử lý khối lượng lớn và phát hiện các mẫu hình trên toàn bộ môi trường; con người chịu trách nhiệm về những quyết định có hậu quả nghiêm trọng (chuyển tiền, cấp quyền truy cập), còn AI phải trình bày bằng chứng để người xét duyệt kiểm tra lập luận. Điểm mù ông mô tả là có thật. Giải pháp là đặt ra một quy tắc nghiêm ngặt… “AI nói là an toàn” không bao giờ được xem là con người đã xét duyệt.

Nếu vấn đề cốt lõi là khoảng cách giữa những gì con người hoặc hệ thống AI biết và những gì họ nhận ra khi đang thực hiện một nhiệm vụ, thì các tổ chức có thể thực hiện những thay đổi thiết thực nào ngay hôm nay để thu hẹp khoảng cách đó và khiến các cuộc tấn công thao túng tâm lý khó thành công hơn đáng kể?

Hãy áp dụng lại một biện pháp kiểm soát cũ từng được dùng khi viết séc: “phân tách nhiệm vụ”. Một người có thể tạo người dùng mới nhưng không thể kích hoạt tài khoản đó; người thứ hai có thể kích hoạt tài khoản nhưng không thể tạo tài khoản; người thứ ba được thông báo về cả hai việc. Hãy áp dụng cách phân tách tương tự cho các khoản thanh toán, thay đổi nhà cung cấp và tác nhân AI của bạn (không tác nhân nào được vừa yêu cầu vừa phê duyệt một hành động). Một nhân viên bị lừa hoặc một tác nhân bị chiếm quyền không thể tự mình hoàn tất cuộc tấn công.

Cảm ơn ông về cuộc phỏng vấn tuyệt vời. Độc giả muốn tìm hiểu thêm có thể truy cập IRONSCALES.