เอเจนต์ที่ใช้คอมพิวเตอร์คืออะไร? AI มองเห็น คลิก พิมพ์ และใช้งานซอฟต์แวร์ได้อย่างไร

เอเจนต์ที่ใช้คอมพิวเตอร์คือระบบ AI ที่รับรู้ส่วนติดต่อซอฟต์แวร์และควบคุมการทำงานผ่านการคลิก พิมพ์ เลื่อน ลาก และใช้แป้นพิมพ์ลัด แทนที่จะต้องมี API เฉพาะสำหรับแต่ละแอปพลิเคชัน เอเจนต์เหล่านี้ทำงานผ่านส่วนติดต่อแบบภาพหลายรูปแบบเดียวกับที่ผู้คนใช้

ความสามารถนี้ช่วยให้เอเจนต์ใช้งานซอฟต์แวร์รุ่นเก่า เว็บไซต์ และแอปพลิเคชันบนเดสก์ท็อปได้อย่างกว้างขวาง แต่ก็มาพร้อมความเสี่ยงที่ไม่ปกติ ความเข้าใจผิดเกี่ยวกับภาพเพียงเล็กน้อยอาจทำให้งานที่มีหลายขั้นตอนเบี่ยงเบนไป และการเข้าถึงส่วนติดต่ออาจเปิดเผยทุกสิ่งที่ผู้ใช้ซึ่งลงชื่อเข้าใช้มองเห็นหรือเปลี่ยนแปลงได้

เหตุใดการใช้คอมพิวเตอร์จึงสำคัญ

ซอฟต์แวร์สำคัญจำนวนมากของโลกได้รับการออกแบบมาสำหรับคน ไม่ใช่เอเจนต์ แอปพลิเคชันอาจไม่มี API สาธารณะ เปิดให้เรียกใช้ฟังก์ชันได้เพียงบางส่วนผ่านโปรแกรม หรือจำเป็นต้องทำงานผ่านส่วนติดต่อหลายรูปแบบ

ระบบอัตโนมัติสำหรับกระบวนการด้วยหุ่นยนต์แบบดั้งเดิมสามารถควบคุมส่วนติดต่อผู้ใช้ได้ แต่โดยทั่วไปต้องอาศัยตัวเลือกองค์ประกอบและเวิร์กโฟลว์ที่กำหนดไว้ล่วงหน้า เอเจนต์ที่ใช้คอมพิวเตอร์เพิ่มโมเดลที่สามารถตีความหน้าจอที่ไม่คุ้นเคย ตัดสินใจว่าต้องทำขั้นตอนใด และปรับตัวเมื่อส่วนติดต่อเปลี่ยนแปลงหรือมีหน้าต่างโต้ตอบที่ไม่คาดคิดปรากฏขึ้น

จึงทำให้การใช้คอมพิวเตอร์เป็นเครื่องมืออเนกประสงค์ วงจรการรับรู้และลงมือทำแบบเดียวกันอาจใช้ไปกับการนำทางในสเปรดชีต ระบบจัดการความสัมพันธ์ลูกค้า แอปพลิเคชันออกแบบ เบราว์เซอร์ หรือพอร์ทัลภายในองค์กรได้

เอเจนต์ที่ใช้คอมพิวเตอร์ทำงานอย่างไร

การเชื่อมโยงคำสั่งกับองค์ประกอบจริงบนหน้าจอเป็นขั้นตอนตรงกลางที่ยากที่สุด เอเจนต์ต้องเชื่อมโยงคำสั่งเชิงแนวคิด เช่น “เปิดใบแจ้งหนี้ฉบับล่าสุด” เข้ากับแถวหรือส่วนควบคุมที่มองเห็นได้รายการหนึ่ง ป้ายข้อความและข้อมูลเมตาด้านการช่วยการเข้าถึงอาจช่วยได้ แต่เลย์เอาต์ที่เปลี่ยนแปลงตลอดเวลา ส่วนติดต่อที่ใช้แคนวาส องค์ประกอบที่ซ้อนทับกัน และไอคอนที่ตีความได้หลายแบบ อาจทำให้โมเดลต้องใช้เหตุผลจากพิกเซลบนหน้าจอ

วงจรพื้นฐานนี้คล้ายกับวิธีที่คนใช้โต้ตอบกับซอฟต์แวร์

1. สังเกต: จับภาพหน้าจอ โครงสร้างต้นไม้การช่วยการเข้าถึง โครงสร้างเอกสาร ตำแหน่งเคอร์เซอร์ และสถานะอื่น ๆ ของสภาพแวดล้อม
2. ตีความ: ระบุส่วนควบคุม เนื้อหา คำเตือนที่มองเห็น และความสัมพันธ์ระหว่างหน้าจอปัจจุบันกับงาน
3. เลือกการดำเนินการ: ตัดสินใจว่าจะคลิก พิมพ์ เลื่อน กดปุ่ม รอ หรือขอความช่วยเหลือ
4. ดำเนินการ: รันไทม์ดำเนินการผ่านส่วนติดต่อของระบบปฏิบัติการ เบราว์เซอร์ หรือเครื่องเสมือน
5. ตรวจสอบ: จับภาพหน้าจอที่เปลี่ยนไป แล้วพิจารณาว่าการดำเนินการให้ผลตามที่ต้องการหรือไม่
6. ทำซ้ำหรือหยุด: ทำต่อเพื่อให้บรรลุเป้าหมาย แก้ไขข้อผิดพลาด หรือหยุดพักเมื่อถึงจุดที่มีการป้องกันไว้

คำอธิบายของ OpenAI เกี่ยวกับเอเจนต์ที่ใช้คอมพิวเตอร์นำเสนอความสามารถนี้ว่าเป็นการผสานการรับรู้ภาพเข้ากับการใช้เหตุผลและการสั่งงานเมาส์กับแป้นพิมพ์ หัวใจสำคัญไม่ใช่การคาดเดาการคลิกเพียงครั้งเดียว แต่คือวงจรปิดที่เชื่อมโยงการรับรู้ การลงมือทำ และสถานะใหม่ที่สังเกตได้

เอเจนต์ “มองเห็น” อะไรได้บ้าง

ระบบที่ใช้คอมพิวเตอร์สามารถรับข้อมูลส่วนติดต่อได้หลายรูปแบบ

ภาพหน้าจอให้มุมมองทั่วไปในระดับพิกเซล และใช้งานได้แม้ไม่มีข้อมูลเมตาของส่วนติดต่อแบบมีโครงสร้าง ภาพเหล่านี้จับภาพแผนภูมิ รูปภาพ แอปพลิเคชันแคนวาส และเลย์เอาต์ภาพได้ อย่างไรก็ตาม จุดเป้าหมายขนาดเล็ก สถานะที่ซ่อนอยู่ และไอคอนที่ตีความได้หลายแบบอาจเข้าใจได้ยาก

โครงสร้างต้นไม้การช่วยการเข้าถึงหรือโครงสร้างเอกสารเปิดเผยส่วนควบคุมและข้อความในรูปแบบที่มีโครงสร้างมากขึ้น จึงช่วยให้เลือกองค์ประกอบได้แม่นยำกว่าเดิม แต่อาจขาดข้อมูลด้านภาพหรือทำงานไม่สม่ำเสมอในแอปพลิเคชันต่าง ๆ

ระบบแบบผสมผสานข้อมูลพิกเซล องค์ประกอบที่มีโครงสร้าง สถานะของแอปพลิเคชัน และบางครั้งรวมถึง API โดยตรง วิธีนี้มักมีประสิทธิภาพกว่าการมองทุกปัญหาเป็นเพียงการเลียนแบบภาพ

การใช้คอมพิวเตอร์กับระบบอัตโนมัติในเบราว์เซอร์

ระบบอัตโนมัติในเบราว์เซอร์แบบดั้งเดิมใช้โค้ดและตัวเลือกองค์ประกอบที่เสถียรเพื่อดำเนินการตามลำดับขั้นตอนที่ทราบอยู่แล้ว วิธีนี้รวดเร็วและคาดการณ์ได้เมื่อมีการควบคุมโครงสร้างหน้าเว็บ ส่วนเอเจนต์ที่ใช้คอมพิวเตอร์จะตีความส่วนติดต่อแบบไดนามิกและตัดสินใจได้ว่าจะทำตามลำดับขั้นตอนใด

แนวทางทั้งสองเสริมกันได้ ระบบที่มีประสิทธิภาพอาจให้เอเจนต์ตัดสินใจก่อนว่าต้องทำอะไร แล้วจึงดำเนินการที่ทราบแน่ชัดผ่านระบบอัตโนมัติแบบกำหนดตายตัวหรือ API การโต้ตอบในระดับพิกเซลมีประโยชน์มากที่สุดเมื่อไม่มีส่วนติดต่อแบบมีโครงสร้าง หรือไม่สามารถระบุเส้นทางล่วงหน้าได้

การใช้งานคอมพิวเตอร์เทียบกับ API และการเรียกใช้เครื่องมือ

แนวทางแบบผสมผสานนี้ช่วยลดทั้งข้อผิดพลาดและค่าใช้จ่าย เอเจนต์อาจดึงข้อมูลผ่าน API เปิดแอปพลิเคชันบนเดสก์ท็อปเฉพาะเมื่อต้องกรอกแบบฟอร์มระบบเก่า จากนั้นตรวจสอบระเบียนสุดท้ายด้วยคำสั่งค้นหาแบบมีโครงสร้างอีกครั้ง การมองการควบคุมด้วยภาพเป็นเครื่องมือหนึ่งในหลายเครื่องมือช่วยหลีกเลี่ยงการบังคับให้ทุกขั้นตอนต้องผ่านอินเทอร์เฟซที่เชื่อถือได้น้อยที่สุด

API มีอินเทอร์เฟซที่ออกแบบมาสำหรับเครื่องจักร พร้อมการดำเนินการและชนิดข้อมูลที่ระบุชัดเจน โดยทั่วไปแล้ว API ทำงานได้เร็วกว่า แม่นยำกว่า และตรวจสอบความถูกต้องได้ง่ายกว่าการคลิกผ่านหน้าจอ ส่วนการใช้งานคอมพิวเตอร์รองรับการทำงานร่วมกับระบบได้หลากหลายกว่า แต่ต้องแลกกับความกำกวมที่มากขึ้น

ตัวอย่างเช่น เอเจนต์อาจใช้ API ค้นหาสินค้าคงคลัง แต่ใช้พอร์ทัลเว็บของผู้จำหน่ายเพื่อจัดการกรณียกเว้นที่ API ไม่รองรับ การเรียกใช้เครื่องมือช่วยให้โมเดลเข้าถึงความสามารถทั้งสองแบบได้ ขณะที่ระบบขณะทำงานเลือกใช้แนวทางที่เชื่อถือได้มากที่สุด

กรณีการใช้งานทั่วไป

• งานปฏิบัติการหลังบ้าน: ถ่ายโอนข้อมูลระหว่างพอร์ทัลต่าง ๆ จัดการแบบฟอร์มทั่วไป และเตรียมระเบียนเพื่อขออนุมัติ
• การวิจัย: เรียกดูเว็บไซต์ กรองผลลัพธ์ รวบรวมหลักฐาน และอัปเดตเอกสารที่กำลังจัดทำ
• การทดสอบซอฟต์แวร์: ทำตามขั้นตอนการใช้งานของผู้ใช้ บันทึกข้อผิดพลาด และตรวจสอบการเปลี่ยนแปลงที่แสดงบนหน้าจอ
• การสนับสนุนด้านไอที: ตรวจสอบการตั้งค่า รวบรวมข้อมูลเพื่อวินิจฉัยปัญหา และแนะนำหรือดำเนินการแก้ไขที่ได้รับอนุมัติ
• การเพิ่มประสิทธิภาพการทำงานส่วนบุคคล: ประสานจัดการไฟล์ เว็บแอปพลิเคชัน ปฏิทิน และเอกสาร
• การช่วยการเข้าถึง: ช่วยให้ผู้ใช้ใช้งานอินเทอร์เฟซที่นำทางได้ยาก หากมีมาตรการควบคุมความเป็นส่วนตัวที่เข้มงวด

เหตุใดงานที่ใช้คอมพิวเตอร์จึงยังทำได้ยาก

อินเทอร์เฟซผู้ใช้ประกอบด้วยเมนูที่เปลี่ยนแปลงได้ การโหลดที่ล่าช้า หน้าต่างป๊อปอัป พื้นที่เลื่อนดู เป้าหมายขนาดเล็ก และสถานะที่ดูคล้ายกันแต่ส่งผลต่างกัน งานหนึ่ง ๆ อาจต้องทำขั้นตอนให้ถูกต้องหลายสิบขั้น ดังนั้นแม้อัตราข้อผิดพลาดต่อขั้นจะไม่สูงมาก ก็สะสมจนกลายเป็นปัญหาได้

เกณฑ์มาตรฐานอย่าง OSWorld ประเมินเอเจนต์ในสภาพแวดล้อมคอมพิวเตอร์จริง แทนที่จะทดสอบเฉพาะการคลิกที่แยกจากกัน OSWorld 2.0 ต่อยอดแนวคิดนี้ด้วยการทดสอบเวิร์กโฟลว์ที่ยาวขึ้น ซึ่งมีการเปลี่ยนแปลงสถานะและความหลากหลายมากกว่า บทด้านประสิทธิภาพทางเทคนิคใน AI Index ปี 2026 ของ Stanford รายงานว่าความสามารถพัฒนาขึ้นอย่างรวดเร็ว แต่ยังแสดงให้เห็นช่องว่างระหว่างประสิทธิภาพของเอเจนต์กับมนุษย์บน OSWorld ซึ่งตอกย้ำว่าการสาธิตที่น่าประทับใจไม่ได้หมายความว่าจะเชื่อถือได้ในทุกกรณี

รูปแบบความล้มเหลวที่สำคัญ

• การระบุเป้าหมายด้วยภาพผิดพลาด: คลิกส่วนควบคุมที่อยู่ใกล้เคียงหรือมีลักษณะคล้ายกัน
• สับสนเกี่ยวกับสถานะ: คิดว่าหน้าเว็บโหลดแล้ว บันทึกสำเร็จแล้ว หรือเปลี่ยนหน้าต่างที่ใช้งานอยู่แล้ว ทั้งที่ยังไม่เกิดขึ้น
• เป้าหมายคลาดเคลื่อนเมื่อทำงานต่อเนื่องยาวนาน: สูญเสียเป้าหมายของงานหลังจากทำการกระทำย่อย ๆ หลายครั้ง
• ผลข้างเคียงที่ซ่อนอยู่: ส่งแบบฟอร์มหรือสั่งซื้อ ทั้งที่เอเจนต์ตั้งใจเพียงดูตัวอย่าง
• การโจมตีด้วยพรอมป์ต์อินเจกชัน: ทำตามคำสั่งที่เป็นอันตรายซึ่งฝังอยู่ในเว็บเพจ เอกสาร หรือข้อความ
• ข้อมูลรับรองถูกเปิดเผย: เปิดเผยหรือนำข้อมูลที่เข้าถึงได้ในเซสชันที่ลงชื่อเข้าใช้ไปใช้ในทางที่ผิด
• ข้อผิดพลาดที่แก้ไขกลับคืนไม่ได้: ลบ เผยแพร่ ส่ง หรือซื้อโดยไม่ได้ตรวจสอบอย่างเพียงพอ

หลักการด้านความปลอดภัยและการควบคุม

เนื้อหาบนอินเทอร์เฟซไม่น่าเชื่อถือ เว็บเพจ อีเมล หรือเอกสารอาจมีคำสั่งที่มุ่งเบี่ยงเบนการทำงานของเอเจนต์ และกล่องโต้ตอบที่เป็นอันตรายอาจเลียนแบบข้อความยืนยันที่คุ้นเคย ระบบควรแยกเนื้อหาบนหน้าเว็บออกจากนโยบาย จำกัดปลายทางและข้อมูลรับรอง และหยุดชั่วคราวเมื่อพบคำขอสิทธิ์ที่ไม่คาดคิดหรือข้อความยืนยันที่อาจก่อให้เกิดผลกระทบสำคัญ

การใช้งานคอมพิวเตอร์ควรทำงานในสภาพแวดล้อมที่จำกัดสิทธิ์มากที่สุดเท่าที่จะยังทำงานให้สำเร็จได้ โปรไฟล์เบราว์เซอร์เฉพาะ เครื่องเสมือน หรือแซนด์บ็อกซ์ จะช่วยจำกัดการเข้าถึงบัญชีและไฟล์ที่ไม่เกี่ยวข้อง เซสชันควรใช้ข้อมูลรับรองเฉพาะงานและสิทธิ์เท่าที่จำเป็น แทนที่จะได้รับสิทธิ์ทั้งหมดที่ผู้ใช้มีบนเดสก์ท็อป

การดำเนินการที่มีผลกระทบสูงต้องมีขั้นตอนยืนยันที่ชัดเจน ระบบควรหยุดชั่วคราวทันทีก่อนส่งข้อมูล ส่งข้อความ ซื้อ ลบ เผยแพร่ หรือเปลี่ยนการตั้งค่าที่ละเอียดอ่อน พร้อมแสดงเป้าหมายและผลที่จะเกิดขึ้นให้ผู้ใช้เห็นอย่างชัดเจน

เอเจนต์ควรมองเนื้อหาบนหน้าจอเป็นข้อมูลที่ไม่น่าเชื่อถือเช่นกัน คำสั่งที่พบในเว็บเพจต้องไม่มีอำนาจเหนือกว่านโยบายของระบบหรืองานที่ผู้ใช้มอบหมาย การดาวน์โหลด คำสั่งที่คัดลอกมา และการสื่อสารภายนอกต้องผ่านการตรวจสอบแยกต่างหาก

วิธีประเมินเอเจนต์ที่ใช้คอมพิวเตอร์

การทำงานสำเร็จเป็นสิ่งจำเป็น แต่ยังไม่เพียงพอ ทีมควรวัดความแม่นยำในแต่ละขั้นตอน ความสามารถในการกู้คืนจากสถานการณ์ที่ไม่คาดคิด การดำเนินการที่ไม่จำเป็น เวลา ต้นทุน การเปิดเผยข้อมูลที่ละเอียดอ่อน การปฏิบัติตามข้อกำหนดในการอนุมัติ และความสม่ำเสมอเมื่อทำงานซ้ำหลายครั้ง

สภาพแวดล้อมที่ใช้ประเมินควรมีความละเอียดหน้าจอ รูปแบบการจัดวาง ข้อมูล จังหวะเวลา และสถานะของแอปพลิเคชันที่หลากหลาย มิฉะนั้นเอเจนต์อาจปรับตัวเข้ากับเกณฑ์ทดสอบที่กำหนดสคริปต์ไว้มากเกินไป จนทำงานล้มเหลวเมื่อพบความแตกต่างที่เกิดขึ้นในซอฟต์แวร์ที่ใช้ในชีวิตประจำวัน

วิธีอ่านแผนภาพการใช้งานคอมพิวเตอร์

อ่านแผนภาพการใช้งานคอมพิวเตอร์จากข้อมูลนำเข้าที่มีหมายเลขไปยังผลลัพธ์ที่สังเกตได้ การเปรียบเทียบนี้แยกให้เห็นขอบเขตที่ทำให้การใช้งานคอมพิวเตอร์แตกต่างจากทางลัดที่ใกล้เคียงที่สุด ส่วนเส้นทางการควบคุมจะแสดงจุดที่ต้องตรวจสอบอำนาจหรือความไม่แน่นอนก่อนเกิดผลกระทบในโลกจริง ป้ายกำกับเป็นข้อความทั่วไปบนหน้าเว็บที่ปรับตามหน้าจอได้ จึงแปล ตัดขึ้นบรรทัดใหม่ และจัดเรียงใหม่ได้บนโทรศัพท์

สำหรับบทความเรื่อง «เอเจนต์ที่ใช้คอมพิวเตอร์คืออะไร? AI มองเห็น คลิก พิมพ์ และนำทางซอฟต์แวร์อย่างไร» ภาพนี้เป็นแผนที่ ไม่ใช่การรับประกัน การนำไปใช้จริงอาจรวมหลายขั้นตอนเข้าด้วยกัน ทำขั้นตอนเดิมซ้ำ หรือเพิ่มจุดให้มนุษย์อนุมัติ สิ่งสำคัญคือทีมสามารถระบุหน้าที่เดียวกันนี้ในระบบที่ใช้งานจริง มอบหมายผู้รับผิดชอบให้แต่ละขอบเขต และทดสอบการเปลี่ยนผ่านระหว่างขอบเขตเหล่านั้นได้หรือไม่ หากไม่สามารถสังเกตหรือวัดขั้นตอนใดได้ ก็จะวินิจฉัยข้อผิดพลาดในขั้นตอนนั้นได้ยาก

สิ่งที่ควรจดจำเกี่ยวกับเอเจนต์ที่ใช้คอมพิวเตอร์

เอเจนต์ที่ใช้คอมพิวเตอร์ทำให้อินเทอร์เฟซซอฟต์แวร์ที่มนุษย์ใช้กลายเป็นเครื่องมืออเนกประสงค์ เอเจนต์เหล่านี้เข้าถึงระบบที่ไม่มี API ที่เหมาะสม และปรับการทำงานให้เข้ากับงานต่าง ๆ ที่ระบบอัตโนมัติแบบตายตัวคาดการณ์ได้ยาก

ความอเนกประสงค์นี้มาพร้อมกับความกำกวมและโอกาสที่จะก่อให้เกิดผลกระทบในวงกว้าง การออกแบบที่ดีที่สุดจะเลือกใช้ API แบบมีโครงสร้างเมื่อมีให้ใช้งาน แยกสภาพแวดล้อมการทำงานของคอมพิวเตอร์ ตรวจสอบการเปลี่ยนแปลงสถานะทุกครั้ง และให้มนุษย์ควบคุมการดำเนินการที่มีผลกระทบสำคัญ