Tác tử tương tác với máy tính là gì? AI nhìn, nhấp, nhập liệu và điều hướng phần mềm như thế nào

Tác tử tương tác với máy tính là các hệ thống AI có thể nhận biết giao diện phần mềm và thao tác trên đó bằng cách nhấp, nhập liệu, cuộn, kéo thả và sử dụng phím tắt. Thay vì cần một API riêng cho từng ứng dụng, chúng hoạt động thông qua nhiều giao diện trực quan giống như những giao diện con người sử dụng.

Khả năng này giúp tác tử hoạt động trên nhiều phần mềm cũ, trang web và ứng dụng máy tính để bàn. Tuy nhiên, nó cũng tạo ra những rủi ro khác thường. Chỉ một hiểu nhầm nhỏ về mặt hiển thị cũng có thể khiến một tác vụ dài chệch hướng, và quyền truy cập vào giao diện có thể để lộ mọi thứ mà người dùng đã đăng nhập có thể xem hoặc thay đổi.

Vì sao khả năng tương tác với máy tính quan trọng

Phần lớn phần mềm quan trọng trên thế giới được thiết kế cho con người, chứ không phải cho tác tử. Một ứng dụng có thể không có API công khai, chỉ cho phép truy cập một phần chức năng theo cách lập trình hoặc đòi hỏi phải thao tác trên nhiều giao diện.

Tự động hóa quy trình bằng robot truyền thống có thể thao tác trên giao diện người dùng, nhưng thường phụ thuộc vào các bộ chọn và quy trình được xác định trước. Tác tử tương tác với máy tính bổ sung một mô hình có khả năng diễn giải những màn hình chưa từng gặp, xác định bước cần thực hiện và thích ứng khi giao diện thay đổi hoặc xuất hiện hộp thoại bất ngờ.

Nhờ đó, khả năng tương tác với máy tính trở thành một công cụ đa năng. Về tiềm năng, cùng một vòng lặp nhận biết và hành động có thể giúp tác tử điều hướng bảng tính, hệ thống quản lý quan hệ khách hàng, ứng dụng thiết kế, trình duyệt hoặc cổng thông tin nội bộ.

Tác tử tương tác với máy tính hoạt động như thế nào

Bước khó ở giữa là xác định đúng mục tiêu trên giao diện. Tác tử phải nối một chỉ dẫn mang tính khái quát như “mở hóa đơn mới nhất” với một hàng hoặc nút cụ thể đang hiển thị. Nhãn văn bản và siêu dữ liệu trợ năng có thể hữu ích, nhưng bố cục thay đổi linh hoạt, giao diện dựa trên vùng vẽ, các thành phần chồng lấp và biểu tượng khó phân biệt có thể buộc mô hình phải suy luận dựa trên các điểm ảnh.

Vòng lặp cơ bản này tương tự cách con người tương tác với phần mềm.

1. Quan sát: chụp ảnh màn hình, cây trợ năng, cấu trúc tài liệu, vị trí con trỏ và các trạng thái khác của môi trường.
2. Diễn giải: xác định các nút điều khiển, nội dung và cảnh báo đang hiển thị, cũng như mối liên hệ giữa màn hình hiện tại với tác vụ.
3. Chọn thao tác: quyết định nhấp, nhập liệu, cuộn, nhấn phím, chờ hoặc yêu cầu trợ giúp.
4. Thực thi: môi trường chạy thực hiện thao tác thông qua giao diện của hệ điều hành, trình duyệt hoặc máy ảo.
5. Kiểm tra: chụp lại màn hình đã thay đổi và xác định xem thao tác có đạt được hiệu quả mong muốn hay không.
6. Lặp lại hoặc dừng: tiếp tục hướng tới mục tiêu, khắc phục lỗi hoặc tạm dừng tại ranh giới được bảo vệ.

Mô tả của OpenAI về một tác tử tương tác với máy tính xem khả năng này là sự kết hợp giữa nhận thức thị giác, suy luận và thao tác bằng chuột, bàn phím. Điểm mấu chốt không nằm ở việc dự đoán một cú nhấp đơn lẻ, mà ở vòng lặp khép kín giữa nhận thức, hành động và trạng thái mới được quan sát.

Tác tử có thể “nhìn thấy” gì

Các hệ thống tương tác với máy tính có thể tiếp nhận giao diện dưới nhiều dạng biểu diễn khác nhau.

Ảnh chụp màn hình cung cấp góc nhìn tổng quát ở cấp độ điểm ảnh và vẫn hoạt động ngay cả khi không có siêu dữ liệu giao diện dạng cấu trúc. Chúng có thể ghi lại biểu đồ, hình ảnh, ứng dụng vùng vẽ và bố cục trực quan. Tuy nhiên, các mục tiêu nhỏ, trạng thái ẩn và biểu tượng khó phân biệt có thể gây khó khăn khi diễn giải.

Cây trợ năng hoặc cấu trúc tài liệu hiển thị các nút điều khiển và văn bản theo dạng có cấu trúc hơn. Chúng có thể giúp chọn phần tử chính xác hơn, nhưng đôi khi bỏ sót thông tin trực quan hoặc hoạt động thiếu nhất quán giữa các ứng dụng.

Hệ thống kết hợp phối hợp điểm ảnh, các phần tử có cấu trúc, trạng thái ứng dụng và đôi khi cả API trực tiếp. Cách tiếp cận này thường hiệu quả hơn việc xem mọi vấn đề đơn thuần là bài toán bắt chước hình ảnh.

Tương tác với máy tính và tự động hóa trình duyệt

Tự động hóa trình duyệt theo cách thông thường sử dụng mã và bộ chọn ổn định để thực hiện một chuỗi thao tác đã biết. Cách này nhanh và dễ dự đoán khi cấu trúc trang được kiểm soát. Tác tử tương tác với máy tính diễn giải giao diện theo thời gian thực và có thể quyết định nên thực hiện chuỗi thao tác nào.

Hai phương pháp này bổ trợ cho nhau. Một hệ thống mạnh có thể để tác tử quyết định việc cần làm, rồi thực thi các thao tác đã biết thông qua tự động hóa tất định hoặc API. Tương tác ở cấp độ điểm ảnh hữu ích nhất khi không có giao diện dạng cấu trúc hoặc khi chưa thể xác định trước lộ trình thao tác.

Sử dụng máy tính so với API và gọi công cụ

Cách tiếp cận kết hợp này giúp giảm cả lỗi lẫn chi phí. Tác nhân có thể truy xuất dữ liệu qua API, chỉ mở ứng dụng máy tính để bàn để hoàn tất biểu mẫu của hệ thống cũ, rồi xác minh bản ghi cuối cùng bằng một truy vấn có cấu trúc khác. Xem thao tác điều khiển bằng hình ảnh như một trong nhiều công cụ giúp tránh việc buộc mọi bước phải đi qua giao diện kém tin cậy nhất.

API cung cấp giao diện hướng đến máy móc, với các thao tác và kiểu dữ liệu được xác định rõ. API thường nhanh hơn, chính xác hơn và dễ xác thực hơn so với việc nhấp qua từng màn hình. Sử dụng máy tính mang lại khả năng tương thích rộng hơn, nhưng phải đánh đổi bằng mức độ mơ hồ cao hơn.

Ví dụ, tác nhân có thể truy vấn hàng tồn kho qua API nhưng sử dụng cổng thông tin web của nhà cung cấp để xử lý trường hợp ngoại lệ mà API không hỗ trợ. Gọi công cụ có thể cung cấp cả hai khả năng cho mô hình, trong khi môi trường thực thi ưu tiên phương thức đáng tin cậy nhất.

Các trường hợp sử dụng phổ biến

• Vận hành nội bộ: chuyển dữ liệu giữa các cổng thông tin, xử lý biểu mẫu thường lệ và chuẩn bị hồ sơ để phê duyệt.
• Nghiên cứu: truy cập trang web, lọc kết quả, thu thập bằng chứng và cập nhật tài liệu đang soạn thảo.
• Kiểm thử phần mềm: thực hiện các hành trình người dùng, ghi lại lỗi và kiểm tra những thay đổi về hình thức.
• Hỗ trợ CNTT: kiểm tra cài đặt, thu thập thông tin chẩn đoán và hướng dẫn hoặc thực hiện các biện pháp khắc phục đã được phê duyệt.
• Năng suất cá nhân: phối hợp tệp, ứng dụng web, lịch và tài liệu.
• Trợ năng: hỗ trợ người dùng thao tác trên những giao diện vốn khó điều hướng, với điều kiện áp dụng các biện pháp kiểm soát quyền riêng tư nghiêm ngặt.

Vì sao các tác vụ sử dụng máy tính vẫn khó thực hiện

Giao diện người dùng có các menu động, nội dung tải chậm, cửa sổ bật lên, vùng có thể cuộn, mục tiêu nhỏ và những trạng thái trông giống nhau nhưng dẫn đến hậu quả khác nhau. Một tác vụ có thể cần hàng chục bước chính xác, vì vậy ngay cả tỷ lệ lỗi khiêm tốn ở mỗi bước cũng sẽ tích lũy.

Các bộ kiểm chuẩn như OSWorld đánh giá tác nhân trong những môi trường máy tính thực tế, thay vì chỉ kiểm tra các thao tác nhấp riêng lẻ. OSWorld 2.0 mở rộng cách tiếp cận đó sang các quy trình dài hơn, có thay đổi trạng thái và mức độ đa dạng cao hơn. Chương về hiệu năng kỹ thuật trong AI Index 2026 của Stanford ghi nhận tốc độ cải thiện nhanh chóng, nhưng cũng cho thấy hiệu năng trên OSWorld vẫn còn khoảng cách so với con người, qua đó nhấn mạnh rằng các bản trình diễn ấn tượng không đồng nghĩa với độ tin cậy trong mọi tình huống.

Các dạng lỗi chính

• Lỗi định vị bằng hình ảnh: nhấp vào một thành phần điều khiển ở gần đó hoặc trông tương tự.
• Nhầm lẫn trạng thái: cho rằng trang đã tải, thao tác lưu đã thành công hoặc cửa sổ đang hoạt động đã thay đổi, trong khi thực tế không phải vậy.
• Lệch hướng trong quy trình dài: mất mục tiêu của tác vụ sau nhiều thao tác nhỏ.
• Tác dụng phụ khó nhận biết: gửi biểu mẫu hoặc đặt hàng trong khi tác nhân chỉ định xem trước.
• Tiêm lệnh: làm theo chỉ dẫn độc hại được nhúng trong trang web, tài liệu hoặc tin nhắn.
• Lộ thông tin xác thực: tiết lộ hoặc sử dụng sai thông tin có thể truy cập trong phiên đã đăng nhập.
• Sai sót không thể đảo ngược: xóa, đăng, gửi hoặc mua hàng mà chưa xem xét đầy đủ.

Nguyên tắc bảo mật và kiểm soát

Nội dung trên giao diện không đáng tin cậy. Trang web, email hoặc tài liệu có thể chứa chỉ dẫn nhằm đánh lạc hướng tác nhân, còn hộp thoại độc hại có thể giả dạng một yêu cầu xác nhận quen thuộc. Hệ thống cần tách biệt nội dung trang với chính sách, hạn chế các đích đến và thông tin xác thực, đồng thời tạm dừng khi xuất hiện yêu cầu cấp quyền bất ngờ hoặc yêu cầu xác nhận có hệ quả đáng kể.

Việc sử dụng máy tính nên diễn ra trong môi trường giới hạn nhất có thể mà vẫn hoàn thành được tác vụ. Hồ sơ trình duyệt riêng, máy ảo hoặc môi trường biệt lập giúp hạn chế quyền truy cập vào các tài khoản và tệp không liên quan. Các phiên làm việc nên sử dụng thông tin xác thực dành riêng cho từng tác vụ và quyền hạn tối thiểu cần thiết, thay vì thừa hưởng toàn bộ quyền truy cập trên máy tính của người dùng.

Các hành động có tác động lớn cần có bước xác nhận rõ ràng. Hệ thống nên tạm dừng ngay trước khi gửi, gửi đi, mua hàng, xóa, đăng tải hoặc thay đổi cài đặt nhạy cảm, đồng thời cho người dùng thấy chính xác đối tượng và tác động của hành động đó.

Tác nhân cũng nên xem nội dung trên màn hình là dữ liệu không đáng tin cậy. Chỉ dẫn xuất hiện bên trong trang web không được phép ghi đè chính sách hệ thống hoặc tác vụ của người dùng. Các nội dung tải xuống, lệnh được sao chép và thông tin liên lạc bên ngoài cần được xác thực riêng.

Cách đánh giá tác nhân sử dụng máy tính

Hoàn thành tác vụ là điều kiện cần nhưng chưa đủ. Các nhóm nên đo lường độ chính xác của từng bước, khả năng khôi phục khi gặp trạng thái bất ngờ, số hành động không cần thiết, thời gian, chi phí, mức độ lộ dữ liệu nhạy cảm, mức độ tuân thủ yêu cầu phê duyệt và tính nhất quán qua các lần chạy lặp lại.

Môi trường đánh giá nên thay đổi độ phân giải màn hình, bố cục, dữ liệu, thời điểm và trạng thái ứng dụng. Nếu không, tác nhân có thể bị khớp quá mức với một bài kiểm thử được lập trình sẵn, nhưng lại thất bại trước những biến thể thường gặp trong phần mềm hằng ngày.

Cách đọc sơ đồ về việc sử dụng máy tính

Đọc sơ đồ về việc sử dụng máy tính theo hướng từ đầu vào được đánh số đến kết quả có thể quan sát. Phần so sánh làm rõ ranh giới phân biệt việc sử dụng máy tính với lối tắt gần giống nhất, còn luồng điều khiển cho biết cần kiểm tra quyền hạn hoặc mức độ bất định ở đâu trước khi xảy ra hệ quả trong thế giới thực. Các nhãn vẫn là văn bản thông thường trên trang có bố cục thích ứng, để có thể được dịch, xuống dòng và sắp xếp lại trên điện thoại.

Với bài viết “Tác nhân sử dụng máy tính là gì? Cách AI quan sát, nhấp chuột, nhập liệu và điều hướng phần mềm”, hình minh họa là một bản đồ chứ không phải lời bảo đảm. Một hệ thống triển khai thực tế có thể gộp các giai đoạn, lặp lại một bước hoặc bổ sung điểm cần con người phê duyệt. Điều quan trọng là nhóm có thể xác định những chức năng tương ứng trong hệ thống đã triển khai, chỉ định người chịu trách nhiệm cho từng ranh giới và kiểm thử quá trình chuyển tiếp giữa chúng hay không. Nếu không thể quan sát hoặc đo lường một giai đoạn, sẽ khó chẩn đoán các lỗi xảy ra ở đó.

Những điều cần nhớ về tác nhân sử dụng máy tính

Tác nhân sử dụng máy tính biến giao diện phần mềm dành cho con người thành một công cụ có thể dùng cho nhiều mục đích. Chúng có thể truy cập các hệ thống không có API phù hợp và thích ứng với những tác vụ mà tự động hóa cố định khó dự đoán trước.

Khả năng sử dụng cho nhiều mục đích đó đi kèm sự mơ hồ và tiềm năng gây tác động rộng. Các thiết kế tốt nhất ưu tiên API có cấu trúc khi có sẵn, cô lập môi trường máy tính, xác minh mọi thay đổi trạng thái và để con người kiểm soát các hành động có hệ quả đáng kể.