ดิว การ์ก, ซีอีโอและผู้ร่วมก่อตั้ง AGI, Inc – ซีรีส์สัมภาษณ์

ดิว การ์ก, ซีอีโอและผู้ร่วมก่อตั้ง AGI, Inc, เป็นนักวิจัยและนักธุรกิจด้านปัญญาประดิษฐ์ที่มุ่งเน้นไปที่ตัวแทนอัตโนมัติ, ความฉลาดที่ขอบ, การมองเห็นคอมพิวเตอร์ และหุ่นยนต์ ก่อนที่จะก่อตั้ง AGI, Inc, เขาได้ร่วมก่อตั้งและนำทีม MultiOn ซึ่งเป็นผู้บุกเบิกในด้านตัวแทนการใช้คอมพิวเตอร์ และต่อมาได้รับตำแหน่งประธานคณะกรรมการของบริษัทนั้น การ์กยังใช้เวลาเกือบสี่ปีในการเป็นอาจารย์ภาคกิตติมศักดิ์ที่มหาวิทยาลัยสแตนฟอร์ด โดยที่เขาได้สร้างคอร์ส CS 25: Transformers United ซึ่งเป็นคอร์สแรกของมหาวิทยาลัยที่อุทิศให้กับโครงสร้างทรานส์ฟอร์เมอร์ ประสบการณ์ก่อนหน้านี้ของเขารวมถึงการเป็นผู้นำในการพัฒนาปัญญาประดิษฐ์ที่ Collaborative Robotics, การทำวิจัยที่ NVIDIA (NVDA ) และ Apple (AAPL ), และการทำงานเกี่ยวกับเทคโนโลยีการมองเห็นคอมพิวเตอร์และการขับขี่อัตโนมัติที่ Google, Uber และมหาวิทยาลัยคอร์เนล โดยที่การวิจัยของเขาได้รวมถึงแนวทาง Pseudo-LiDAR ที่มีอิทธิพลต่อการรับรู้ 3 มิติจากกล้อง

AGI, Inc เป็นบริษัทวิจัยด้านปัญญาประดิษฐ์ที่กำลังพัฒนาเทคโนโลยีปัญญาประดิษฐ์ส่วนบุคคลที่ปลอดภัยและสามารถเข้าถึงได้โดยตรงบนอุปกรณ์ขอบ เทคโนโลยีหลักของ AGI-0 เป็นระบบปัญญาประดิษฐ์ที่มุ่งเน้นการกระทำซึ่งออกแบบมาเพื่อทำความเข้าใจความชอบของผู้ใช้และทำงานต่างๆ ทั่วแอปพลิเคชันบนโทรศัพท์มือถือ คอมพิวเตอร์ อุปกรณ์สวมใส่ และอุปกรณ์เชื่อมต่ออื่นๆ รวมถึงการทำงานที่เกี่ยวข้องกับการช้อปปิ้ง การขนส่ง การนัดหมาย การส่งข้อความ และความบันเทิง บริษัทยังเสนอแพลตฟอร์มที่ช่วยให้ผู้ผลิตฮาร์ดแวร์และนักพัฒนาสามารถเพิ่มตัวแทนบนหน้าจอได้ ซึ่งสามารถให้เหตุผลและดำเนินการบนแอปพลิเคชันที่มีอยู่โดยไม่ต้องสร้างการรวมระบบสำหรับแต่ละแอป AGI, Inc ได้แสดงให้เห็นถึงเทคโนโลยีของตนพร้อมกับ Lenovo และกำลังปรับแต่งสแต็คเอเจนต์ของตนสำหรับอุปกรณ์ที่ใช้ Qualcomm (QCOM ) Snapdragon

คุณได้ทำงานที่ Apple, Google, Nvidia และช่วยบุกเบิกระบบตัวแทนใน MultiOn ก่อนที่จะหยุดการเรียนปริญญาเอกที่ Stanford เพื่อก่อตั้ง AGI, Inc สิ่งใดหรือช่วงเวลาใดที่ทำให้คุณเชื่อว่าแนวทางปัญญาประดิษฐ์ที่มีอยู่ไม่เพียงพอ และการสร้างตัวแทนบนอุปกรณ์เป็นทางออกที่ถูกต้อง?

การเปลี่ยนแปลงนี้เกิดขึ้นระหว่างปี 2023 ถึง 2024 ในขณะที่ฉันทำงานเกี่ยวกับตัวแทนบนเว็บ เราสามารถสร้างตัวแทนเพื่อทำงานบนเบราว์เซอร์ได้ แต่เฉพาะในกรณีที่เว็บไซต์มีโครงสร้างที่เหมาะสมเท่านั้น แต่เมื่อใดก็ตามที่มีบางสิ่งผิดปกติและไม่ทำงานตามที่คาดหวัง เช่น วินโดว์โมดอลหรือเอฟเฟกต์แอนิเมชั่น ตัวแทนจะหยุดทำงาน ในทางกลับกัน ทุกสิ่งที่สำคัญเมื่อคนต้องการโต้ตอบกับสมาร์ทโฟนของตนเกิดขึ้นภายในแอปพลิเคชัน แอปพลิเคชันไม่ให้ API ใดๆ แต่จะแสดงหน้าจอแทน

ความแตกต่างนี้นำเราไปสู่ข้อสรุป วิธีแก้ปัญหานี้ไม่ใช่การมี API ที่ซับซ้อนมากขึ้นหรือโมเดลที่ใหญ่ขึ้น แต่เป็นตัวแทนการที่จะดำเนินการบนอุปกรณ์จากมุมมองของผู้ใช้ ซึ่งหมายความว่าดูแลสมาร์ทโฟนเหมือนกับที่คนจะทำ – การโต้ตอบกับหน้าจอ

ผู้ช่วยปัญญาประดิษฐ์หลายตัวในปัจจุบันยังคงพึ่งพา API, การรวมระบบ และการดูแลระบบบนคลาวด์ สิ่งใดที่พังทลายในแบบจำลองนี้ และทำไมคุณเชื่อว่าการดำเนินการบนอุปกรณ์เป็นชั้นที่หายไป?

มีปัญหา 3 ประการ คือ การครอบคลุม, ความเป็นส่วนตัว และต้นทุน การใช้ API ต้องมีการเชื่อมต่อระหว่างผู้พัฒนา ซึ่งจำกัดความสามารถของตัวแทนให้เท่ากับพันธมิตรที่ช้า nhất ตัวอย่างเช่น App Intents ของ Apple เป็นเทคโนโลยีที่เริ่มพัฒนาเมื่อ WWDC 2024 จากนั้นยังมีปัญหาเรื่องความเป็นส่วนตัว การดูแลระบบบนคลาวด์ทำให้เนื้อหาบนหน้าจอ, ข้อความ และกิจกรรมของคุณถูกส่งไปยังเซิร์ฟเวอร์ของบุคคลที่สาม สุดท้ายคือปัญหาเรื่องต้นทุนและความล่าช้า การประมวลผลแบบไป-กลับผ่านคลาวด์ทำให้การทำงานช้าและแพง

การดำเนินการบนอุปกรณ์แก้ปัญหาเหล่านี้ ตัวแทนไม่พึ่งพาบุคคลอื่นและโต้ตอบกับระบบโดยการโต้ตอบกับ UI โดยตรง

แนวทางของคุณเปลี่ยนปัญญาประดิษฐ์จากการตอบคำถามไปสู่การทำงานที่แท้จริงทั่วแอปพลิเคชัน อุปสรรคทางเทคนิคที่ยากที่สุดในการทำให้ตัวแทนสามารถควบคุมโทรศัพท์แบบมนุษย์ได้อย่างน่าเชื่อถือคืออะไร?

การควบคุมโทรศัพท์อย่างน่าเชื่อถือเป็นเรื่องที่ยากกว่าที่คิด ตัวแทนจะต้องรับรู้หน้าจอโทรศัพท์เหมือนมนุษย์, ทำความเข้าใจสิ่งที่เกิดขึ้นต่อไป และเลือกการกระทำที่เหมาะสม การรับรู้ทำได้โดยโมเดลวิชั่น-ภาษาที่สามารถรู้จักปุ่ม, ช่องข้อความ, เมนู, 佈局 ฯลฯ การเลือกการกระทำจำเป็นต้องจัดการกับความคลุมเครือ, หน้าที่โหลดไม่สมบูรณ์, วินโดว์โมดอล และข้อผิดพลาด สุดท้าย การกระทำจะต้องแม่นยำพอที่จะสัมผัสที่ตำแหน่งที่ถูกต้อง

ปัญหาที่สำคัญที่สุดอยู่ที่ความสามารถในการโต้ตอบกับแอปพลิเคชันที่ซับซ้อนเป็นเวลานาน การจอง Uber เป็นเรื่องหนึ่ง แต่การทำงานหลายขั้นตอนภายในแอปพลิเคชันที่แต่ละขั้นตอนพึ่งพาการโต้ตอบก่อนหน้านี้เป็นเรื่องอื่น ซึ่งเป็นเหตุผลที่การฝึกโมเดลแบบ end-to-end เป็นสิ่งจำเป็นในการพัฒนาสินค้า

คุณอธิบายสิ่งนี้ว่าเป็นการเปลี่ยนแปลงจากผู้ช่วยไปสู่ตัวแทน ในทางปฏิบัติสำหรับผู้ใช้ทั่วไป การเปลี่ยนแปลงนี้หมายถึงอะไร และคุณคาดหวังว่าการเปลี่ยนแปลงพฤติกรรมจะเกิดขึ้นเร็วเพียงใด?

การเปลี่ยนแปลงในทางปฏิบัติเกิดขึ้นจากอินเทอร์เฟซเอง ที่ทุกวันนี้เรามีแอปและเรียนรู้วิธีใช้แอป ในอนาคตเราจะมีตัวแทนและแอปจะกลายเป็นความสามารถที่ตัวแทนสร้างขึ้นแทนเรา เราหยุดคิดเกี่ยวกับแอปและเริ่มคิดเกี่ยวกับเจตนา: “จองรถให้ฉัน”, “ส่งรูปจากสุดสัปดาห์ให้แม่”, “แสดงโรงแรมในลิสบอนที่ฉันสามารถพักผ่อนได้” ตัวแทนรู้ว่าควรใช้แอปไหน

การเปลี่ยนแปลงพฤติกรรมเริ่มต้นช้าๆ และเร็วขึ้นเมื่อเวลาผ่านไป ในตอนแรก คนจะลองใช้วิธีนี้สำหรับงานง่ายๆ ที่พวกเขาสามารถไว้วางใจได้ และจะขยายออกไปเมื่อพวกเขาสามารถทำได้ สิ่งกระตุ้นที่จะทำให้เกิดการยอมรับอย่างเต็มที่คือเมื่อตัวแทนสามารถทำงานประจำบนโทรศัพท์ของพวกเขาได้อย่างถูกต้องทุกครั้ง

ด้วยความร่วมมือกับ Qualcomm และ Lenovo ความสำคัญของการบูรณาการฮาร์ดแวร์และซอฟต์แวร์ที่แน่นหนาในการทำให้ AI ที่มีตัวแทนสามารถใช้งานได้ขนาดใหญ่คืออะไร?

สิ่งนี้เป็นความแตกต่างระหว่างตัวแทนสำหรับการวิจัยและตัวแทนสำหรับการใช้งานจริง อุปกรณ์ที่ใช้ Snapdragon มีหน่วยประมวลผลประสาท ซึ่งจะทำให้แน่ใจว่าแอลกอริทึมของตัวแทนสามารถทำงานบนอุปกรณ์ได้โดยมีความล่าช้าและใช้พลังงานน้อยที่สุด การบูรณาการกับ Qualcomm มีเป้าหมายเพื่อการปรับแต่งนี้

อีกด้านหนึ่งคือ Lenovo Lenovo สามารถเข้าถึงผู้ใช้หลายร้อยล้านคนผ่านโทรศัพท์มือถือ แท็บเล็ต และคอมพิวเตอร์ โดยมองหาวิธีในการแยกความแตกต่างด้วย AI การผ่านพันธมิตรที่มีผลิตภัณฑ์ฮาร์ดแวร์ที่มีอยู่แล้วและเข้าถึงได้อย่างรวดเร็วและโปร่งใสเป็นทางเลือกที่ดีกว่าการเดินตามเส้นทางอื่น

ความไว้วางใจดูเหมือนจะเป็นอุปสรรคสำคัญ คุณออกแบบระบบที่ผู้ใช้รู้สึกสบายใจที่จะให้ AI ดำเนินการแทนพวกเขา โดยเฉพาะอย่างยิ่งเมื่อการกระทำเหล่านั้นข้ามแอปพลิเคชันและข้อมูลที่ละเอียดอ่อน?

ความไว้วางใจถูกสร้างขึ้นจากความโปร่งใสเกี่ยวกับสิ่งที่ตัวแทนสามารถและไม่สามารถทำได้ การกระทำใดๆ ที่เกี่ยวข้องกับการซื้อจริง, ส่งข้อความ หรือการเปลี่ยนแปลงการตั้งค่าบัญชีจะต้องได้รับการอนุมัติจากผู้ใช้ ตัวแทนสามารถดำเนินการไปจนถึงหน้าเช็คเอาท์ได้ แต่ไม่สามารถดำเนินการต่อได้จนกว่าคุณจะอนุมัติ

สิ่งนี้ทำได้ตามสองหลักการง่ายๆ คือ “มนุษย์ในวงจรสำหรับสิ่งสำคัญ” และ “การย้อนกลับได้ทุกที่ที่เป็นไปได้” นอกจากนี้ ตัวแทนจะเห็นเฉพาะสิ่งที่ปรากฏบนหน้าจอและเคารพสิทธิ์การใช้งานของระบบที่ตั้งค่าไว้

มีเรื่องเล่าที่เพิ่มขึ้นเกี่ยวกับการที่เศรษฐกิจแอปอาจถูกทำลาย คุณเห็นตัวแทนแทนที่แอปทั้งหมดหรือเปลี่ยนแปลงวิธีการเข้าถึงและสร้างรายได้จากแอป?

แอปไม่เคยหายไป ในทางกลับกัน ความสัมพันธ์เปลี่ยนไป ในปัจจุบัน แอปเป็นวิธีที่แบรนด์สื่อสารกับผู้บริโภค ในอนาคต ตัวแทนจะเป็น และแอปจะเป็นเครื่องมือที่ตัวแทนใช้ นักพัฒนาแอปยังคงอยู่เพราะจะมีความต้องการแอปพลิเคชันเสมอสำหรับการบริการ, ข้อความ, การทำธุรกรรม และอื่นๆ ความแตกต่างคืออินเทอร์เฟซที่เลือกตัวเลือกเหล่านั้น

สิ่งนี้แสดงถึงขอบเขตใหม่สำหรับแอปและแบรนด์ที่ใช้แอป ไม่ใช่ภัยคุกคาม แต่เป็นโอกาสที่น่าตื่นเต้นในการสำรวจและพัฒนาไปพร้อมกับพันธมิตรในการพัฒนาและแพลตฟอร์ม

ระบบของคุณหลีกเลี่ยงการใช้ API สิ่งนี้สร้างความตึงเครียดกับนักพัฒนาและแพลตฟอร์มหรือไม่ หรือสิ่งนี้ปลดปล่อยระบบที่เปิดกว้างมากขึ้น?

ไม่มีการแข่งขันระหว่างนักพัฒนากับเรา วิธีการทำงานของอินเทอร์เฟซคือกระบวนการเดียวกับที่บุคคลจะใช้แอปพลิเคชัน ตัวแทนจึงใช้อินเทอร์เฟซเดียวกันกับที่คนอื่นใช้ นักพัฒนาสามารถใช้เทคนิคทั่วไปเพื่อขัดขวางการเข้าถึงได้ และเราก็เข้าใจเหตุผลของพวกเขา

ผลลัพธ์ที่น่าสนใจกว่าคือการไม่มีการต่อต้าน ระบบที่เปิดกว้างพร้อมการทำงานร่วมกันที่เป_universal_ ช่วยให้ทุกคนได้รับประโยชน์ รวมถึงผู้ใช้และแอปที่มีคุณค่าจริง

AI บนอุปกรณ์ thườngถูกมองว่าเป็นข้อได้เปรียบด้านความเป็นส่วนตัว คุณสร้างสมดุลระหว่างการประมวลผลท้องถิ่นกับความต้องการของโมเดลที่มีประสิทธิภาพซึ่งต้องใช้การประมวลผลขนาดใหญ่?

เป็นระบบไฮบริดที่จะพัฒนาไปสู่ระบบที่ทำงานบนอุปกรณ์โดยสมบูรณ์ ทั้งการกระทำและการให้เหตุผลเบื้องต้นเกิดขึ้นบนโทรศัพท์ ในขณะที่การให้เหตุผลที่หนักเกิดขึ้นบนคลาวด์ ด้วยการปรับแต่งสแต็คผ่านการทำงานร่วมกับ Qualcomm และความสามารถของ NPU บนโทรศัพท์ที่มีการปรับปรุงอย่างต่อเนื่อง มีการเปลี่ยนแปลงไปสู่โมเดลที่มีการกระจายมากขึ้น โทรศัพท์แฟลกชิปส่วนใหญ่ที่มีจำหน่ายในตลาดสามารถจัดการกับงานที่ต้องการได้

ความคิดที่ว่าต้องเลือกระหว่างประสิทธิภาพที่ดีและความเป็นส่วนตัวนั้นเป็นความคิดที่ล้าสมัย โมเดลมีการปรับปรุงให้มีประสิทธิภาพมากขึ้น และฮาร์ดแวร์บนโทรศัพท์ก็มีความสามารถมากขึ้น เมื่อปรับแต่งสแต็คอย่างเหมาะสม ทุกสิ่งสามารถทำได้

เมื่อมองไปข้างหน้า 3-5 ปี อุปกรณ์ AI ที่สมบูรณ์แบบจะดูเหมือนอะไร และอะไรที่ต้องเกิดขึ้นทั้งด้านเทคนิคและวัฒนธรรมเพื่อให้ความเป็นจริงนี้กลายเป็นกระแสหลัก?

การนำไปใช้จริงจะเป็นตัวแทนเดียวที่ติดตามคุณไปทั่วอุปกรณ์ คุณบอกคอมพิวเตอร์ของคุณให้ค้นหาข้อมูลเกี่ยวกับของขวัญ, เปลี่ยนไปที่โทรศัพท์มือถือเพื่อทำการซื้อ และบอกรถของคุณให้เริ่มทำงาน อินเทนต์เป็นไปตามความตั้งใจเดียวกัน แต่บริบทยังคงเท่าเดิม ในขณะที่พื้นผิวเปลี่ยนแปลง โทรศัพท์เป็นจุดแทรกซึ่งเป็นที่ที่ส่วนใหญ่ของคอมพิวติ้งเกิดขึ้นในปัจจุบัน หลังจากนั้นจะขยายไปสู่คอมพิวเตอร์, ทีวี, รถยนต์ และในที่สุดคือแว่นตาอัจฉริยะ การร่วมมือกับ Qualcomm มีผลกระทบอย่างมากในด้านนี้

จากมุมมองทางเทคนิค คือการดำเนินการต่อการให้เหตุผลบนอุปกรณ์และเพิ่มความน่าเชื่อถือในระยะยาว เช่นเดียวกับการเปลี่ยนแปลงระหว่างอุปกรณ์ที่เหมาะสม จากมุมมองทางวัฒนธรรม การเปลี่ยนแปลงคือการเพิ่มความไว้วางใจต่อตัวแทนในการทำงานที่ซับซ้อนมากขึ้น ซึ่งอาศัยตัวแทนในการบอกคุณทุกสิ่งที่ไม่สามารถทำได้โดยไม่ลังเล และไม่ทำลายคำสัญญาใดๆ ที่ให้ไว้กับคุณ

ขอขอบคุณสำหรับสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม AGI, Inc เพื่อเรียนรู้เพิ่มเติม