การปฏิวัติ AI ด้วย ReALM ของ Apple: อนาคตของผู้ช่วยอัจฉริยะ

ในดินแดนของปัญญาประดิษฐ์ที่เปลี่ยนแปลงอยู่เสมอ Apple (AAPL ) ได้พัฒนาแนวทางใหม่ที่อาจเปลี่ยนแปลงวิธีการโต้ตอบกับ iPhone ของคุณ ReALM หรือ Reference Resolution as Language Modeling เป็นโมเดล AI ที่สัญญาว่าจะนำความตระหนักรู้ตามบริบทและความช่วยเหลือที่ไร้รอยต่อมาให้กับคุณ

เมื่อโลกเทคโนโลยีกำลังตื่นเต้นกับ OpenAI’s GPT-4 และโมเดลภาษาขนาดใหญ่อื่นๆ (LLMs) ReALM ของ Apple แสดงถึงการเปลี่ยนความคิด – การย้ายจากความพึ่งพา AI บนคลาวด์ไปสู่การเข้าถึงอุปกรณ์บนอุปกรณ์เป็นหลัก เป้าหมายคือการสร้างผู้ช่วยอัจฉริยะที่เข้าใจคุณ โลกของคุณ และพื้นผิวที่ซับซ้อนของการโต้ตอบดิจิทัลในชีวิตประจำวันของคุณ

ที่ใจกลางของ ReALM คือความสามารถในการแก้ไขอ้างอิง – คำสรรพนามที่คลุมเครือ เช่น “มัน” “พวกเขา” หรือ “สิ่งนั้น” ที่มนุษย์สามารถนำทางได้ด้วยความช่วยเหลือของบริบท สำหรับผู้ช่วย AI อย่างไรก็ตาม สิ่งนี้มักเป็นอุปสรรคที่นำไปสู่ความเข้าใจผิดที่น่าหงุดหงิดและประสบการณ์ของผู้ใช้ที่ไม่สอดคล้องกัน

ลองนึกถึงสถานการณ์ที่คุณถาม Siri ให้ “หาสูตรอาหารที่มีส่วนผสมจากตู้เย็นของฉัน แต่ไม่รวมเห็ด – ฉันไม่ชอบสิ่งนั้น” ด้วย ReALM iPhone ของคุณจะไม่เพียงแต่เข้าใจอ้างอิงถึงข้อมูลบนหน้าจอ (สิ่งที่อยู่ในตู้เย็น) แต่ยังจดจำความชอบส่วนบุคคลของคุณ (ไม่ชอบเห็ด) และบริบทที่กว้างขึ้นในการค้นหาสูตรอาหารที่เหมาะสม

ระดับความตระหนักรู้ตามบริบทนี้เป็นกระโดดคุณภาพจากแนวทางการค้นหาคำที่ส่วนใหญ่ของผู้ช่วย AI ในปัจจุบัน โดยการฝึกโมเดลภาษาขนาดใหญ่ให้สามารถแก้ไขอ้างอิงได้อย่างราบรื่นข้ามสามโดเมนหลัก – การสนทนา บนหน้าจอ และพื้นหลัง – ReALM มุ่งหวังที่จะสร้างผู้ช่วยดิจิทัลที่แท้จริงที่รู้สึกน้อยกว่าเสียงหุ่นยนต์และมากขึ้นเหมือนการขยายความคิดของคุณเอง

โดเมนการสนทนา: การจดจำสิ่งที่ผ่านมา

AI การสนทนา ReALM ตอบสนองต่อความท้าทายที่ยืนยาว: การรักษาความสอดคล้องและความจำข้ามหลายรอบของการสนทนา ด้วยความสามารถในการแก้ไขอ้างอิงภายในการสนทนา ReALM อาจส่งมอบตามสัญญาของการโต้ตอบที่เป็นธรรมชาติและไปกลับกับดิจิทัลอาสินของคุณ

ลองนึกถึงการถาม Siri ให้ “เตือนฉันให้ซื้อตั๋วสำหรับวันหยุดเมื่อฉันได้รับเงินในวันศุกร์” ด้วย ReALM Siri จะไม่เพียงแต่เข้าใจบริบทของการวางแผนการเดินทาง (อาจมาจากการสนทนาหรือข้อมูลบนหน้าจอก่อนหน้า) แต่ยังมีความตระหนักรู้ในการเชื่อมต่อ “ได้รับเงิน” กับวันจ่ายเงินปกติของคุณ

ระดับความฉลาดในการสนทนานี้รู้สึกเหมือนก้าวหน้าจริงๆ ที่ทำให้การโต้ตอบหลายรอบไม่มีการหยุดชะงักโดยไม่ต้องอธิบายบริบทซ้ำหรือพูดซ้ำ

โดเมนบนหน้าจอ: การให้ความช่วยเหลือแก่อาสินของคุณ

ด้านที่น่าประทับใจที่สุดของ ReALM อย่างไรก็ตาม คือความสามารถในการแก้ไขอ้างอิงถึงหน่วยบนหน้าจอ – ก้าวสำคัญในการสร้างประสบการณ์ผู้ใช้ที่ไม่ต้องใช้มือและขับเคลื่อนด้วยเสียง

การวิจัยของ Apple พูดถึงเทคนิคใหม่ในการเข้ารหัสข้อมูลภาพจากหน้าจอของคุณให้เป็นรูปแบบที่โมเดลภาษาขนาดใหญ่สามารถประมวลผลได้ โดยการสร้างการแสดงภาพของหน้าจอของคุณในรูปแบบข้อความ ReALM สามารถ “เห็น” และเข้าใจความสัมพันธ์เชิงพื้นที่ระหว่างองค์ประกอบต่างๆ บนหน้าจอ

ลองนึกถึงสถานการณ์ที่คุณกำลังมองรายชื่อร้านอาหารและขอให้ Siri “ให้คำแนะนำในการเดินทางไปยังร้านที่อยู่ถนน Main” ด้วย ReALM iPhone ของคุณจะไม่เพียงแต่เข้าใจอ้างอิงถึงที่ตั้งเฉพาะ แต่ยังเชื่อมโยงมันกับหน่วยบนหน้าจอที่เกี่ยวข้อง – รายการร้านอาหารที่ตรงกับการอธิบาย

ระดับความเข้าใจภาพนี้เปิดโลกของความเป็นไปได้ ตั้งแต่การดำเนินการอ้างอิงภายในแอปและเว็บไซต์ไปจนถึงการบูรณาการกับอินเทอร์เฟซ AR ในอนาคต และแม้กระทั่งการรับรู้และตอบสนองต่อวัตถุและสภาพแวดล้อมจริงผ่านกล้องของอุปกรณ์

การวิจัยเกี่ยวกับ ReALM ของ Apple พูดถึงรายละเอียดที่ซับซ้อนเกี่ยวกับวิธีการเข้ารหัสหน่วยบนหน้าจอและแก้ไขอ้างอิงข้ามบริบทต่างๆ มาดูคำอธิบายที่เรียบง่ายเกี่ยวกับอัลกอริทึมและตัวอย่างที่ให้ไว้ในเอกสาร:

1. การเข้ารหัสหน่วยบนหน้าจอ: เอกสารนี้สำรวจกลยุทธ์ต่างๆ ในการเข้ารหัสองค์ประกอบบนหน้าจอในรูปแบบข้อความที่โมเดลภาษาขนาดใหญ่สามารถประมวลผลได้ วิธีการหนึ่งคือการรวมกลุ่มวัตถุโดยรอบตามความใกล้ชิดเชิงพื้นที่และสร้างคำสั่งซื้อที่รวมวัตถุเหล่านั้น อย่างไรก็ตาม วิธีการนี้อาจนำไปสู่คำสั่งซื้อที่ยาวเกินไปเมื่อจำนวนหน่วยเพิ่มขึ้น

แนวทางสุดท้ายที่นักวิจัยใช้คือการวิเคราะห์หน้าจอจากบนลงล่างและซ้ายไปขวา โดยแสดงการวางผังในลักษณะข้อความ นี่ทำได้โดยใช้อัลกอริทึม 2 ซึ่งจัดเรียงวัตถุบนหน้าจอตามพิกัดศูนย์กลาง กำหนดระดับแนวตั้งโดยการรวมวัตถุภายในระยะที่กำหนด และสร้างการวิเคราะห์หน้าจอโดยการเชื่อมต่อระดับเหล่านี้ด้วยแท็บที่แยกวัตถุในบรรทัดเดียวกัน

โดยการฉีดวัตถุที่เกี่ยวข้อง (หมายเลขโทรศัพท์ในกรณีนี้) เข้าไปในรูปแบบข้อความ โมเดลภาษาขนาดใหญ่สามารถเข้าใจบริบทบนหน้าจอและแก้ไขอ้างอิงได้ตามนั้น

2. ตัวอย่างการแก้ไขอ้างอิง: เอกสารนี้ให้ตัวอย่างหลายตัวอย่างเพื่อแสดงความสามารถของ ReALM ในการแก้ไขอ้างอิงข้ามบริบทต่างๆ:

a. อ้างอิงการสนทนา: สำหรับการร้องขอ เช่น “Siri, หาสูตรอาหารที่มีส่วนผสมจากตู้เย็นของฉัน แต่ไม่รวมเห็ด – ฉันไม่ชอบสิ่งนั้น” ReALM สามารถเข้าใจบริบทบนหน้าจอ (สิ่งที่อยู่ในตู้เย็น) บริบทการสนทนา (การค้นหาสูตรอาหาร) และความชอบส่วนบุคคลของคุณ (ไม่ชอบเห็ด)

b. อ้างอิงพื้นหลัง: ในตัวอย่าง “Siri, เล่นเพลงที่เล่นที่ซุปเปอร์มาร์เก็ตเมื่อกี้” ReALM สามารถจับและระบุชิ้นส่วนเสียงแอมเบียนต์ได้เพื่อแก้ไขอ้างอิงถึงเพลงนั้น

c. อ้างอิงบนหน้าจอ: สำหรับการร้องขอ เช่น “Siri, เตือนฉันให้ซื้อตั๋วสำหรับวันหยุดเมื่อฉันได้รับเงินในวันศุกร์” ReALM สามารถรวมข้อมูลจากนิสัยการทำงานของคุณ (วันจ่ายเงิน) การสนทนาหรือเว็บไซต์บนหน้าจอ (การวางแผนการเดินทาง) และปฏิทินเพื่อเข้าใจและดำเนินการตามคำขอ

ตัวอย่างเหล่านี้แสดงให้เห็นถึงความสามารถของ ReALM ในการแก้ไขอ้างอิงข้ามบริบทการสนทนา บนหน้าจอ และพื้นหลัง ทำให้เกิดการโต้ตอบที่เป็นธรรมชาติและไร้รอยต่อมากขึ้น

โดเมนพื้นหลัง

การขยายออกไปนอกเหนือจากบริบทการสนทนาและบนหน้าจอ ReALM ยังสำรวจความสามารถในการแก้ไขอ้างอิงถึงหน่วยพื้นหลัง – เหตุการณ์และกระบวนการที่มักไม่ถูกสังเกตโดยผู้ช่วย AI ปัจจุบัน

ลองนึกถึงสถานการณ์ที่คุณถาม Siri ให้ “เล่นเพลงที่เล่นที่ซุปเปอร์มาร์เก็ตเมื่อกี้” ด้วย ReALM iPhone ของคุณอาจจับและระบุชิ้นส่วนเสียงแอมเบียนต์ได้ ทำให้ Siri สามารถดึงและเล่นเพลงที่คุณต้องการได้อย่างไม่มีปัญหา

ระดับความตระหนักรู้พื้นหลังนี้รู้สึกเหมือนก้าวแรกสู่การช่วยเหลือ AI ที่แท้จริงและตระหนักรู้บริบท – ผู้ช่วยดิจิทัลที่ไม่เพียงแต่เข้าใจคำพูดของคุณ แต่ยังเข้าใจพื้นผิวที่ซับซ้อนของประสบการณ์ในชีวิตประจำวันของคุณ

สัญญาของ AI บนอุปกรณ์: ความเป็นส่วนตัวและความเป็นส่วนตัว

ในขณะที่ความสามารถของ ReALM นั้นน่าประทับใจอย่างไม่ต้องสงสัย สิ่งที่สำคัญที่สุดอาจอยู่ที่ความมุ่งมั่นของ Apple ต่อ AI บนอุปกรณ์และความเป็นส่วนตัวของผู้ใช้

ไม่เหมือนกับโมเดล AI บนคลาวด์ที่ต้องส่งข้อมูลผู้ใช้ไปยังเซิร์ฟเวอร์ระยะไกลเพื่อประมวลผล ReALM ได้รับการออกแบบให้ทำงานทั้งหมดบน iPhone หรืออุปกรณ์ Apple ของคุณ สิ่งนี้ไม่เพียงแต่ตอบสนองความกังวลเกี่ยวกับความเป็นส่วนตัว แต่ยังเปิดโอกาสใหม่ๆ สำหรับการช่วยเหลือ AI ที่เข้าใจและปรับให้เหมาะกับคุณเป็นรายบุคคล

โดยการเรียนรู้โดยตรงจากข้อมูลบนอุปกรณ์ของคุณ – การสนทนา รูปแบบการใช้แอป และแม้กระทั่งอินพุตสิ่งแวดล้อม – ReALM อาจสร้างผู้ช่วยดิจิทัลที่ปรับให้เหมาะกับความต้องการ ความชอบ และนิสัยการทำงานประจำวันของคุณเป็นรายบุคคล

ระดับความเป็นส่วนตัวนี้รู้สึกเหมือนการเปลี่ยนแปลงจากแนวทางแบบหนึ่งขนาดที่เหมาะกับทุกคนของผู้ช่วย AI ปัจจุบัน ซึ่งมักต้องดิ้นรนเพื่อปรับให้เข้ากับความพิเศษเฉพาะบุคคลและบริบทของผู้ใช้

ReALM-250M model ได้รับผลลัพธ์ที่น่าประทับใจ:

• • ความเข้าใจการสนทนา: 97.8
  • ความเข้าใจงานสังเคราะห์: 99.8
  • การทำงานบนหน้าจอ: 90.6
  • การรับมือกับโดเมนที่ไม่เคยเห็น: 97.2

การพิจารณาทางจริยธรรม

แน่นอนว่าด้วยระดับความเป็นส่วนตัวและความตระหนักรู้ตามบริบทที่สูงเช่นนี้ มาเป็นชุดของการพิจารณาทางจริยธรรมเกี่ยวกับความเป็นส่วนตัว ความโปร่งใส และความเสี่ยงในการใช้ระบบ AI เพื่อ影响หรือแม้กระทั่งบงการพฤติกรรมของผู้ใช้

เมื่อ ReALM เข้าใจชีวิตประจำวันของคุณ – ตั้งแต่นิสัยการกินและการบริโภคสื่อไปจนถึงการโต้ตอบทางสังคมและความชอบส่วนบุคคล – มีความเสี่ยงในการใช้เทคโนโลยีนี้ในทางที่ละเมิดความไว้วางใจของผู้ใช้หรือล้ำเส้นจริยธรรม

นักวิจัยของ Apple ตระหนักถึงความตึงเครียด nàyอย่างชัดเจน โดยยอมรับในเอกสารว่าจำเป็นต้องสร้างสมดุลระหว่างการนำเสนอประสบการณ์ AI ที่เป็นส่วนตัวและช่วยเหลืออย่างแท้จริงกับการเคารพความเป็นส่วนตัวและความเป็นอิสระของผู้ใช้

ความท้าทายนี้ไม่เฉพาะเจาะจงกับ Apple หรือ ReALM แต่เป็นการสนทนาที่อุตสาหกรรมเทคโนโลยีทั้งหมดต้องเผชิญเมื่อระบบ AI มีความซับซ้อนและรวมเข้ากับชีวิตประจำวันมากขึ้น

สู่ประสบการณ์ AI ที่ฉลาดและเป็นธรรมชาติมากขึ้น

เมื่อ Apple ยังคงผลักดันขอบเขตของ AI บนอุปกรณ์ด้วยโมเดลอย่าง ReALM สัญญาของผู้ช่วยดิจิทัลที่แท้จริงและตระหนักรู้ตามบริบทรู้สึกใกล้กว่าที่เคย

ลองนึกถึงโลกที่ Siri (หรือผู้ช่วย AI ที่อาจถูกเรียกในอนาคต) รู้สึกน้อยกว่าเสียงหุ่นยนต์จากคลาวด์และมากขึ้นเหมือนการขยายความคิดของคุณเอง – พันธมิตรที่ไม่เพียงแต่เข้าใจคำพูดของคุณ แต่ยังเข้าใจพื้นผิวที่ซับซ้อนของชีวิตดิจิทัลของคุณ นิสัยการทำงานประจำวัน และความชอบส่วนบุคคลของคุณ

ตั้งแต่การดำเนินการอ้างอิงภายในแอปและเว็บไซต์ไปจนถึงการคาดการณ์ความต้องการของคุณตามที่ตั้ง กิจกรรม และอินพุตสิ่งแวดล้อม ReALM แสดงถึงก้าวสำคัญสู่ประสบการณ์ AI ที่เป็นธรรมชาติและไร้รอยต่อมากขึ้น ซึ่งทำให้เส้นแบ่งระหว่างโลกดิจิทัลและโลกแห่งความเป็นจริงพร่ามัว

แน่นอนว่าการทำให้ความฝันนี้เป็นจริงต้องใช้มากกว่าความก้าวหน้าทางเทคนิค – จะต้องใช้แนวทางที่มีจริยธรรมและคำนึงถึงความเป็นส่วนตัว ความโปร่งใส และความเป็นอิสระของผู้ใช้

เมื่อ Apple ยังคงปรับปรุงและขยายความสามารถของ ReALM โลกเทคโนโลยีกำลังจับตามองด้วยความตื่นเต้นเพื่อดูว่าโมเดล AI นี้จะกำหนดอนาคตของผู้ช่วยอัจฉริยะและนำไปสู่ยุคใหม่ของการประมวลผลที่ปรับให้เหมาะกับผู้ใช้เป็นรายบุคคล

ไม่ว่า ReALM จะบรรลุตามสัญญาของการเอาชนะ GPT-4 ที่ทรงพลังหรือไม่นั้นยังคงต้องดู แต่สิ่งหนึ่งที่แน่นอนคือยุคของผู้ช่วย AI ที่เข้าใจคุณ – คำพูดของคุณ โลกของคุณ และพื้นผิวที่ซับซ้อนของชีวิตประจำวันของคุณ – กำลังเริ่มต้นขึ้น และนวัตกรรมล่าสุดของ Apple อาจเป็นผู้นำในความเปลี่ยนแปลงนี้