จากความตั้งใจสู่การดำเนินการ: วิธีการของ Microsoft ในการเปลี่ยนแปลงโมเดลภาษาขนาดใหญ่ให้เป็น AI ที่เน้นการดำเนินการ

โมเดลภาษาขนาดใหญ่ (LLMs) ได้เปลี่ยนแปลงวิธีการที่เราจัดการกับการประมวลผลภาษาธรรมชาติ พวกเขาสามารถตอบคำถาม เขียนโค้ด และสนทนาได้ แต่พวกเขาก็ยังขาดความสามารถในการทำงานในโลกแห่งความเป็นจริง ตัวอย่างเช่น LLM สามารถช่วยคุณซื้อเสื้อ แต่ไม่สามารถสั่งซื้อเสื้อแทนคุณได้ ช่องว่างระหว่างการคิดและการดำเนินการเป็นข้อจำกัดที่สำคัญ ผู้คนไม่เพียงต้องการข้อมูลเท่านั้น แต่ยังต้องการผลลัพธ์ด้วย

เพื่อแก้ไขช่องว่างนี้ Microsoft (MSFT ) กำลังเปลี่ยนแปลง LLMs ให้เป็นเอเจนต์ AI ที่เน้นการดำเนินการ โดยการทำให้พวกเขาสามารถวางแผน แยกย่อยงาน และมีส่วนร่วมในการโต้ตอบในโลกแห่งความเป็นจริง พวกเขาจึงสามารถจัดการงานในโลกแห่งความเป็นจริงได้อย่างมีประสิทธิภาพ การเปลี่ยนแปลงนี้มีศักยภาพที่จะเปลี่ยนแปลงสิ่งที่ LLMs สามารถทำได้ โดยเปลี่ยนพวกเขาให้เป็นเครื่องมือที่สามารถจัดการงานที่ซับซ้อนและทำให้งานประจำวันง่ายขึ้น มาทำความเข้าใจกันว่าอะไรที่จำเป็นต้องเกิดขึ้นและวิธีการที่ Microsoft กำลังเข้าใกล้ปัญหานี้

สิ่งที่ LLMs ต้องการเพื่อดำเนินการ

สำหรับ LLMs ที่จะดำเนินการในโลกแห่งความเป็นจริง พวกเขาต้องไปไกลกว่าการเข้าใจข้อความ พวกเขาต้องโต้ตอบกับสภาพแวดล้อมดิจิทัลและกายภาพ และปรับตัวให้เข้ากับสภาพแวดล้อมที่เปลี่ยนแปลงไป นี่คือความสามารถที่พวกเขา cần:

1. การเข้าใจความตั้งใจของผู้ใช้

เพื่อดำเนินการได้อย่างมีประสิทธิภาพ LLMs ต้องเข้าใจคำขอของผู้ใช้ ข้อมูลเข้าเช่นข้อความหรือคำสั่งเสียงมักจะไม่ชัดเจนหรือไม่สมบูรณ์ ระบบต้องเติมช่องว่างโดยใช้ความรู้และบริบทของคำขอ การสนทนาที่มีหลายขั้นตอนสามารถช่วยให้ความตั้งใจของผู้ใช้แน่ชัดขึ้น โดยให้แน่ใจว่า AI เข้าใจก่อนที่จะดำเนินการ

2. การเปลี่ยนความตั้งใจเป็นการดำเนินการ

หลังจากที่เข้าใจงานแล้ว LLMs ต้องเปลี่ยนงานนั้นเป็นขั้นตอนที่สามารถดำเนินการได้ ซึ่งอาจเกี่ยวข้องกับการคลิกปุ่ม การเรียก API หรือการควบคุมอุปกรณ์กายภาพ LLMs ต้องปรับเปลี่ยนการดำเนินการให้เหมาะสมกับงานและปรับตัวให้เข้ากับสภาพแวดล้อมและแก้ไขปัญหาเมื่อเกิดขึ้น

3. การปรับตัวให้เข้ากับการเปลี่ยนแปลง

งานในโลกแห่งความเป็นจริงไม่จำเป็นต้องเป็นไปตามแผน LLMs ต้องคาดการณ์ปัญหา ปรับเปลี่ยนขั้นตอน และหาทางเลือกเมื่อเกิดปัญหา ตัวอย่างเช่น หากทรัพยากรที่จำเป็นไม่มีอยู่ ระบบควรหาวิธีอื่นในการทำงานให้เสร็จสิ้น ความยืดหยุ่นนี้ทำให้กระบวนการไม่หยุดชะงักเมื่อสิ่งต่าง ๆ เปลี่ยนแปลง

4. การเชี่ยวชาญในงานเฉพาะ

แม้ว่า LLMs ได้รับการออกแบบมาเพื่อใช้งานทั่วไป การเชี่ยวชาญในงานเฉพาะทำให้พวกเขาได้รับผลลัพธ์ที่ดีกว่า โดยการเน้นไปที่งานเฉพาะเหล่านี้ ระบบสามารถให้ผลลัพธ์ที่ดีกว่าโดยใช้ทรัพยากรน้อยลง ซึ่งสำคัญอย่างยิ่งสำหรับอุปกรณ์ที่มีพลังการประมวลผลที่จำกัด เช่น สมาร์ทโฟนหรือระบบฝังตัว

ด้วยการเพิ่มทักษะเหล่านี้ LLMs สามารถไปไกลกว่าการประมวลผลข้อมูล พวกเขาสามารถดำเนินการได้อย่างมีประสิทธิภาพ และเปิดทางให้ AI รวมเข้ากับกระบวนการทำงานประจำวันอย่างราบรื่น

วิธีการของ Microsoft ในการเปลี่ยนแปลง LLMs

วิธีการของ Microsoft ในการเปลี่ยนแปลง LLMs เป็น AI ที่เน้นการดำเนินการตามกระบวนการที่มีโครงสร้างเป็นหลัก วัตถุประสงค์หลักคือการทำให้ LLMs เข้าใจคำสั่ง วางแผนอย่างมีประสิทธิภาพ และดำเนินการได้ นี่คือวิธีการที่พวกเขากำลังทำ:

ขั้นตอนที่ 1: การรวบรวมและเตรียมข้อมูล

ในขั้นตอนแรก พวกเขารวบรวมข้อมูลที่เกี่ยวข้องกับกรณีการใช้งานเฉพาะของตน: เอเจนต์ UFO (อธิบายด้านล่าง) ข้อมูลรวมถึงคำถามของผู้ใช้ รายละเอียดสภาพแวดล้อม และการดำเนินการที่เกี่ยวข้องกับงาน มีสองประเภทของข้อมูลที่รวบรวมในขั้นตอนนี้: ข้อมูลการวางแผนงานที่ช่วยให้ LLMs วางแผนขั้นตอนสูงสำหรับการทำงาน และข้อมูลการดำเนินการที่ช่วยให้ LLMs แปลขั้นตอนเหล่านั้นเป็นคำสั่งเฉพาะ เช่น การคลิกปุ่มหรือการใช้แป้นพิมพ์

การผสมผสานนี้ทำให้โมเดลมีทั้งภาพรวมและคำสั่งเฉพาะที่จำเป็นในการทำงานได้อย่างมีประสิทธิภาพ

ขั้นตอนที่ 2: การฝึกอบรมโมเดล

หลังจากที่รวบรวมข้อมูลแล้ว LLMs จะถูกปรับปรุงผ่านการฝึกอบรมหลายครั้ง ในขั้นตอนแรก LLMs จะถูกฝึกอบรมสำหรับการวางแผนงานโดยการเรียนรู้วิธีการแบ่งคำขอของผู้ใช้ออกเป็นขั้นตอนที่สามารถดำเนินการได้ จากนั้นข้อมูลที่ได้รับการระบุโดยผู้เชี่ยวชาญจะถูกใช้เพื่อสอนพวกเขาให้แปลแผนเหล่านั้นเป็นการดำเนินการที่เฉพาะเจาะจง เพื่อเพิ่มความสามารถในการแก้ปัญหา LLMs จะมีส่วนร่วมในการสำรวจตนเอง ซึ่งช่วยให้พวกเขาแก้ไขปัญหาที่ไม่ได้รับการแก้ไขและสร้างตัวอย่างใหม่สำหรับการเรียนรู้อย่างต่อเนื่อง สุดท้าย การเรียนรู้แบบเสริมกำลังจะถูกนำมาใช้ โดยใช้ข้อเสนอแนะจากความสำเร็จและความล้มเหลวเพื่อปรับปรุงการตัดสินใจ

ขั้นตอนที่ 3: การทดสอบแบบออฟไลน์

หลังจากการฝึกอบรม โมเดลจะถูกทดสอบใน môi trườngที่ควบคุมเพื่อให้แน่ใจว่ามีความน่าเชื่อถือ มาตรการเช่น อัตราความสำเร็จของงาน (TSR) และอัตราความสำเร็จของขั้นตอน (SSR) จะถูกใช้เพื่อวัดประสิทธิภาพ ตัวอย่างเช่น การทดสอบตัวแทนการจัดการปฏิทินอาจเกี่ยวข้องกับการยืนยันความสามารถในการจัดตารางการประชุมและส่งคำเชิญโดยไม่มีข้อผิดพลาด

ขั้นตอนที่ 4: การรวมเข้ากับระบบจริง

หลังจากที่ได้รับการตรวจสอบแล้ว โมเดลจะถูกนำเข้ากับเฟรมเวิร์กของเอเจนต์ ซึ่งช่วยให้พวกเขาโต้ตอบกับสภาพแวดล้อมจริง เช่น การคลิกปุ่มหรือการนำทางเมนู เครื่องมือเช่น API การอัตโนมัติของ UI ช่วยให้ระบบสามารถระบุและจัดการองค์ประกอบของอินเทอร์เฟซผู้ใช้ได้อย่างไดนามิก

ตัวอย่างเช่น หากได้รับมอบหมายให้เน้นข้อความใน Word เอเจนต์จะระบุปุ่มเน้นข้อความ เลือกข้อความ และใช้รูปแบบการเน้นข้อความได้

ขั้นตอนที่ 5: การทดสอบในโลกแห่งความเป็นจริง

ขั้นตอนสุดท้ายคือการประเมินออนไลน์ ในที่นี้ ระบบจะถูกทดสอบในสถานการณ์จริงเพื่อให้แน่ใจว่าสามารถจัดการกับการเปลี่ยนแปลงและข้อผิดพลาดที่ไม่คาดคิดได้ ตัวอย่างเช่น โรบอตสนับสนุนลูกค้าอาจช่วยให้ผู้ใช้ดำเนินการรีเซ็ตรหัสผ่านโดยปรับตัวให้เข้ากับการป้อนข้อมูลที่ไม่ถูกต้องหรือข้อมูลที่หายไป การทดสอบนี้ทำให้แน่ใจว่า AI มีความแข็งแกร่งและพร้อมสำหรับการใช้งานในชีวิตประจำวัน

ตัวอย่างเชิงปฏิบัติ: เอเจนต์ UFO

เพื่อแสดงให้เห็นว่า AI ที่เน้นการดำเนินการทำงานอย่างไร Microsoft ได้พัฒนา เอเจนต์ UFO ระบบนี้ได้รับการออกแบบมาเพื่อดำเนินการงานจริงใน môi trường Windows โดยเปลี่ยนคำขอของผู้ใช้ให้เป็นการดำเนินการ

ในแก่นกลาง เอเจนต์ UFO ใช้ LLM เพื่อแปลคำขอและวางแผนการดำเนินการ ตัวอย่างเช่น หากผู้ใช้พูดว่า “เน้นคำว่า ‘สำคัญ’ ในเอกสารนี้” เอเจนต์จะโต้ตอบกับ Word เพื่อดำเนินการให้เสร็จสิ้น มันรวบรวมข้อมูลบริบท เช่น ตำแหน่งขององค์ประกอบ UI และใช้ข้อมูลนั้นเพื่อวางแผนและดำเนินการ

เอเจนต์ UFO พึ่งพาเครื่องมือเช่น Windows UI Automation (UIA) API นี้สแกนแอปพลิเคชันสำหรับองค์ประกอบควบคุม เช่น ปุ่มหรือเมนู สำหรับการทำงานเช่น “บันทึกเอกสารเป็น PDF” เอเจนต์ใช้ UIA เพื่อระบุปุ่ม “ไฟล์” หา опตัวเลือก “บันทึกเป็น” และดำเนินการตามขั้นตอนที่จำเป็น โดยการกำหนดรูปแบบข้อมูลที่สอดคล้องกัน ระบบจะรับประกันการดำเนินการที่ราบรื่นจากขั้นตอนการฝึกอบรมไปจนถึงการประยุกต์ใช้ในโลกแห่งความเป็นจริง

การเอาชนะความท้าทาย

แม้ว่านี่จะเป็นการพัฒนาที่น่าตื่นเต้น การสร้าง AI ที่เน้นการดำเนินการมาพร้อมกับความท้าทาย การปรับขนาดเป็นปัญหาที่สำคัญ การฝึกอบรมและปรับใช้โมเดลเหล่านี้สำหรับงานที่หลากหลายต้องการทรัพยากรที่สำคัญ การรับประกันความปลอดภัยและความน่าเชื่อถือมีความสำคัญเช่นกัน โมเดลเหล่านี้ต้องดำเนินการโดยไม่มีผลกระทบที่ไม่ได้ตั้งใจ โดยเฉพาะใน môi trườngที่ละเอียดอ่อน และเมื่อระบบเหล่านี้โต้ตอบกับข้อมูลส่วนบุคคล การรักษามาตรฐานทางจริยธรรมเกี่ยวกับความเป็นส่วนตัวและความปลอดภัยจึงมีความสำคัญเช่นกัน

แผนการของ Microsoft มุ่งเน้นไปที่การปรับปรุงประสิทธิภาพ การขยายกรณีการใช้งาน และการรักษามาตรฐานทางจริยธรรม ด้วยความก้าวหน้าเหล่านี้ LLMs อาจเปลี่ยนแปลงวิธีการที่ AI โต้ตอบกับโลก โดยทำให้พวกเขาเป็นระบบที่ใช้งานได้จริง มีความสามารถมากขึ้น และเน้นการดำเนินการ

อนาคตของ AI

การเปลี่ยนแปลง LLMs ให้เป็นเอเจนต์ที่เน้นการดำเนินการอาจเป็นเครื่องหมายของการเปลี่ยนแปลงที่สำคัญ ระบบเหล่านี้สามารถจัดการงานโดยอัตโนมัติ ทำให้กระบวนการทำงานง่ายขึ้น และทำให้เทคโนโลยีเข้าถึงได้ง่ายขึ้น การทำงานของ Microsoft ในด้าน AI ที่เน้นการดำเนินการและเครื่องมือเช่นเอเจนต์ UFO เป็นเพียงจุดเริ่มต้นเท่านั้น เมื่อ AI tiếp tụcพัฒนา เราสามารถคาดหวังระบบที่ฉลาดขึ้น มีความสามารถมากขึ้น ซึ่งไม่เพียงแต่โต้ตอบกับเราเท่านั้น แต่ยังดำเนินการให้เสร็จสิ้นด้วย