Cách mạng hóa Trí tuệ nhân tạo với ReALM của Apple: Tương lai của Trợ lý thông minh

Trong phong cảnh不断 thay đổi của trí tuệ nhân tạo, Apple (AAPL ) đã im lặng tiên phong một cách tiếp cận đột phá có thể định nghĩa lại cách chúng ta tương tác với iPhone của mình. ReALM, hoặc Reference Resolution as Language Modeling, là một mô hình AI hứa hẹn mang lại một mức độ nhận thức ngữ cảnh và hỗ trợ liền mạch mới.

Khi thế giới công nghệ xôn xao với sự phấn khích về OpenAI’s GPT-4 và các mô hình ngôn ngữ lớn khác (LLM), ReALM của Apple đại diện cho một sự thay đổi trong tư duy – một bước chuyển từ việc dựa hoàn toàn vào AI dựa trên đám mây sang một cách tiếp cận trên thiết bị và cá nhân hóa hơn. Mục tiêu? Tạo ra một trợ lý thông minh thực sự hiểu bạn, thế giới của bạn và bức tranh phong phú của các tương tác kỹ thuật số hàng ngày của bạn.

Tại trung tâm của ReALM nằm khả năng giải quyết các tham chiếu – những đại từ mơ hồ như “nó,” “<strong"họ,” hoặc “đó” mà con người điều hướng với dễ dàng nhờ vào các tín hiệu ngữ cảnh. Đối với các trợ lý AI, tuy nhiên, điều này đã lâu là một chướng ngại vật, dẫn đến sự hiểu lầm khó chịu và trải nghiệm người dùng không liền mạch.

Hãy tưởng tượng một kịch bản nơi bạn yêu cầu Siri “tìm cho tôi một công thức nấu ăn lành mạnh dựa trên những gì trong tủ lạnh của tôi, nhưng giữ nấm – tôi ghét những thứ đó.” Với ReALM, iPhone của bạn không chỉ hiểu các tham chiếu đến thông tin trên màn hình (nội dung của tủ lạnh) mà còn nhớ sở thích cá nhân của bạn (không thích nấm) và ngữ cảnh rộng hơn của việc tìm một công thức nấu ăn phù hợp với các tham số đó.

Mức độ nhận thức ngữ cảnh này là một bước nhảy vọt từ cách tiếp cận khớp từ khóa của hầu hết các trợ lý AI hiện tại. Bằng cách đào tạo LLM để giải quyết các tham chiếu một cách liền mạch trên ba lĩnh vực chính – đối话, trên màn hình và nền – ReALM nhằm tạo ra một người bạn đồng hành kỹ thuật số thông minh thực sự cảm thấy ít như một trợ lý giọng nói robot và nhiều hơn như một phần mở rộng của quá trình suy nghĩ của chính bạn.

Lĩnh vực Đối thoại: Nhớ lại Điều gì Đã Xảy ra Trước đó

Trí tuệ nhân tạo đối thoại, ReALM giải quyết một thách thức lâu dài: duy trì sự mạch lạc và bộ nhớ trên nhiều lượt đối thoại. Với khả năng giải quyết các tham chiếu trong một cuộc trò chuyện đang diễn ra, ReALM có thể cuối cùng thực hiện lời hứa của một tương tác tự nhiên, qua lại với trợ lý kỹ thuật số của bạn.

Hãy tưởng tượng yêu cầu Siri “nhắc tôi đặt vé cho kỳ nghỉ khi tôi được trả lương vào thứ Sáu.” Với ReALM, Siri không chỉ hiểu ngữ cảnh của kế hoạch kỳ nghỉ của bạn (có thể được lấy từ một cuộc trò chuyện trước hoặc thông tin trên màn hình) mà còn có nhận thức để kết nối “được trả lương” với thói quen trả lương thường xuyên của bạn.

Mức độ thông minh đối thoại này cảm thấy như một bước nhảy vọt thực sự, cho phép các cuộc đối thoại đa lượt liền mạch mà không có sự khó chịu của việc giải thích lại ngữ cảnh hoặc lặp lại bản thân.

Lĩnh vực Trên màn hình: Cho Trợ lý của Bạn Mắt

Có lẽ khía cạnh đột phá nhất của ReALM, tuy nhiên, nằm ở khả năng giải quyết các tham chiếu đến các thực thể trên màn hình – một bước quan trọng hướng tới tạo ra một trải nghiệm người dùng hoàn toàn không cần tay, điều khiển bằng giọng nói.

Bài báo nghiên cứu của Apple thảo luận về một kỹ thuật mới để mã hóa thông tin hình ảnh từ màn hình thiết bị của bạn vào một định dạng mà LLM có thể xử lý. Bằng cách cơ bản tái tạo bố cục của màn hình trong một biểu diễn dựa trên văn bản, ReALM có thể “nhìn thấy” và hiểu các mối quan hệ không gian giữa các yếu tố trên màn hình khác nhau.

Hãy xem xét một kịch bản nơi bạn đang xem một danh sách nhà hàng và yêu cầu Siri “hướng dẫn tôi đến nhà hàng trên phố Main.” Với ReALM, iPhone của bạn không chỉ hiểu tham chiếu đến một vị trí cụ thể mà còn gắn nó với thực thể trên màn hình相关 – danh sách nhà hàng phù hợp với mô tả đó.

Mức độ hiểu biết trực quan này mở ra một thế giới các khả năng, từ việc hoạt động liền mạch trên các tham chiếu trong ứng dụng và trang web đến tích hợp với các giao diện AR trong tương lai và thậm chí nhận thức và phản hồi các đối tượng và môi trường thực tế thông qua camera của thiết bị.

Bài báo nghiên cứu về mô hình ReALM của Apple nói về các chi tiết tinh tế về cách hệ thống mã hóa các thực thể trên màn hình và giải quyết các tham chiếu trên các ngữ cảnh khác nhau. Dưới đây là một giải thích đơn giản về các thuật toán và ví dụ được cung cấp trong bài báo:

1. Mã hóa Thực thể Trên màn hình: Bài báo khám phá một số chiến lược để mã hóa các yếu tố trên màn hình trong một định dạng văn bản có thể được xử lý bởi một Mô hình Ngôn ngữ Lớn (LLM). Một cách tiếp cận liên quan đến việc nhóm các đối tượng xung quanh dựa trên sự gần gũi không gian của chúng và tạo các lời nhắc bao gồm các đối tượng nhóm này. Tuy nhiên, phương pháp này có thể dẫn đến các lời nhắc quá dài khi số lượng thực thể tăng lên.

Cách tiếp cận cuối cùng được các nhà nghiên cứu áp dụng là phân tích màn hình theo thứ tự từ trên xuống dưới, từ trái sang phải, đại diện cho bố cục trong một định dạng văn bản. Điều này được thực hiện thông qua Thuật toán 2, которое sắp xếp các đối tượng trên màn hình dựa trên tọa độ trung tâm của chúng, xác định các mức độ dọc bằng cách nhóm các đối tượng trong một khoảng cách nhất định và xây dựng phân tích trên màn hình bằng cách nối các mức độ này với các tab phân cách các đối tượng trên cùng một dòng.

Bằng cách tiêm các thực thể liên quan (số điện thoại trong trường hợp này) vào biểu diễn văn bản, LLM có thể hiểu ngữ cảnh trên màn hình và giải quyết các tham chiếu một cách phù hợp.

2. Ví dụ về Giải quyết Tham chiếu: Bài báo cung cấp một số ví dụ để minh họa khả năng của mô hình ReALM trong việc giải quyết các tham chiếu trên các ngữ cảnh khác nhau:

a. Tham chiếu Đối thoại: Đối với một yêu cầu như “Siri, tìm cho tôi một công thức nấu ăn lành mạnh dựa trên những gì trong tủ lạnh của tôi, nhưng giữ nấm – tôi ghét những thứ đó,” ReALM có thể hiểu ngữ cảnh trên màn hình (nội dung của tủ lạnh), ngữ cảnh đối thoại (tìm một công thức nấu ăn) và sở thích của người dùng (không thích nấm).

b. Tham chiếu Nền: Trong ví dụ “Siri, phát bài hát đó đang phát tại siêu thị trước đó,” ReALM có thể bắt và xác định các đoạn âm thanh xung quanh để giải quyết tham chiếu đến bài hát cụ thể.

c. Tham chiếu Trên màn hình: Đối với một yêu cầu như “Siri, nhắc tôi đặt vé cho kỳ nghỉ khi tôi nhận được lương vào thứ Sáu,” ReALM có thể kết hợp thông tin từ thói quen của người dùng (ngày trả lương), cuộc trò chuyện trên màn hình hoặc trang web (kế hoạch kỳ nghỉ) và lịch để hiểu và thực hiện yêu cầu.

Những ví dụ này thể hiện khả năng của ReALM trong việc giải quyết các tham chiếu trên các ngữ cảnh đối thoại, trên màn hình và nền, cho phép một tương tác tự nhiên và liền mạch hơn với các trợ lý thông minh.

Lĩnh vực Nền

Di chuyển vượt ra ngoài các ngữ cảnh đối thoại và trên màn hình, ReALM cũng khám phá khả năng giải quyết các tham chiếu đến các thực thể nền – những sự kiện và quá trình ngoại vi thường không được các trợ lý AI hiện tại chú ý.

Hãy tưởng tượng một kịch bản nơi bạn yêu cầu Siri “phát bài hát đó đang phát tại siêu thị trước đó.” Với ReALM, iPhone của bạn có thể bắt và xác định các đoạn âm thanh xung quanh, cho phép Siri kéo lên và phát bài hát bạn có ý định.

Mức độ nhận thức nền này cảm thấy như bước đầu tiên hướng tới một trợ lý AI thực sự phổ biến, nhận thức ngữ cảnh – một người bạn đồng hành kỹ thuật số không chỉ hiểu lời nói của bạn mà còn hiểu丰富 bức tranh của các trải nghiệm hàng ngày của bạn.

Lời hứa của Trí tuệ nhân tạo Trên thiết bị: Quyền riêng tư và Cá nhân hóa

Mặc dù khả năng của ReALM là ấn tượng không thể phủ nhận, có lẽ lợi thế quan trọng nhất của nó nằm ở cam kết lâu dài của Apple đối với trí tuệ nhân tạo trên thiết bị và quyền riêng tư của người dùng.

Không giống như các mô hình AI dựa trên đám mây yêu cầu gửi dữ liệu người dùng đến máy chủ từ xa để xử lý, ReALM được thiết kế để hoạt động hoàn toàn trên iPhone hoặc thiết bị Apple của bạn. Điều này không chỉ giải quyết các mối quan ngại xung quanh quyền riêng tư dữ liệu mà còn mở ra các khả năng mới cho hỗ trợ AI thực sự hiểu và thích nghi với bạn như một cá nhân.

Bằng cách học trực tiếp từ dữ liệu trên thiết bị của bạn – các cuộc trò chuyện, mẫu sử dụng ứng dụng, và thậm chí cả các đầu vào cảm biến xung quanh – ReALM có thể tạo ra một trợ lý kỹ thuật số siêu cá nhân hóa phù hợp với nhu cầu, sở thích và ngữ cảnh hàng ngày độc đáo của bạn.

Mức độ cá nhân hóa này cảm thấy như một sự thay đổi mô hình từ cách tiếp cận “một kích cỡ phù hợp với tất cả” của các trợ lý AI hiện tại, thường phải vật lộn để thích nghi với các tính cách và ngữ cảnh riêng biệt của người dùng.

Mô hình ReALM-250M đạt được kết quả ấn tượng:

• • Hiểu biết Đối thoại: 97.8
  • Hiểu biết Nhiệm vụ Tổng hợp: 99.8
  • Hiệu suất Nhiệm vụ Trên màn hình: 90.6
  • Xử lý Miền không nhìn thấy: 97.2

Các Xem xét Đạo đức

Tất nhiên, với mức độ cá nhân hóa và nhận thức ngữ cảnh cao như vậy, có một loạt các xem xét đạo đức xung quanh quyền riêng tư, minh bạch và khả năng các hệ thống AI ảnh hưởng hoặc thậm chí thao túng hành vi của người dùng.

Khi ReALM đạt được hiểu biết sâu sắc hơn về cuộc sống hàng ngày của chúng ta – từ thói quen ăn uống và mẫu tiêu thụ phương tiện truyền thông đến các tương tác xã hội và sở thích cá nhân – có một rủi ro rằng công nghệ này có thể được sử dụng theo những cách vi phạm niềm tin của người dùng hoặc vượt qua ranh giới đạo đức.

Các nhà nghiên cứu của Apple rất ý thức về sự căng thẳng này, thừa nhận trong bài báo của họ về nhu cầu tìm kiếm một sự cân bằng cẩn thận giữa việc cung cấp một trải nghiệm AI cá nhân hóa thực sự hữu ích và tôn trọng quyền riêng tư và quyền tự chủ của người dùng.

Thách thức này không độc nhất với Apple hoặc ReALM,当然 – nó là một cuộc trò chuyện mà toàn bộ ngành công nghệ phải đối mặt khi các hệ thống AI trở nên tinh vi và tích hợp sâu vào cuộc sống hàng ngày của chúng ta.

Hướng tới một Trải nghiệm AI Thông minh và Tự nhiên hơn

Khi Apple tiếp tục đẩy ranh giới của trí tuệ nhân tạo trên thiết bị với các mô hình như ReALM, lời hứa hẹn về một trợ lý thông minh thực sự, nhận thức ngữ cảnh cảm thấy gần hơn bao giờ hết.

Hãy tưởng tượng một thế giới nơi Siri (hoặc bất kỳ trợ lý AI nào có thể được gọi trong tương lai) cảm thấy ít như một giọng nói vô hình từ đám mây và nhiều hơn như một phần mở rộng của chính quá trình suy nghĩ của bạn – một đối tác không chỉ hiểu lời nói của bạn mà còn hiểu丰富 bức tranh của cuộc sống kỹ thuật số của bạn, các thói quen hàng ngày và sở thích, ngữ cảnh độc đáo của bạn.

Từ việc hoạt động liền mạch trên các tham chiếu trong ứng dụng và trang web đến dự đoán nhu cầu của bạn dựa trên vị trí, hoạt động và đầu vào cảm biến xung quanh, ReALM đại diện cho một bước quan trọng hướng tới một trải nghiệm AI tự nhiên và liền mạch hơn, làm mờ ranh giới giữa thế giới kỹ thuật số và vật lý của chúng ta.

Tất nhiên, việc hiện thực hóa tầm nhìn này sẽ đòi hỏi hơn là chỉ đổi mới kỹ thuật – nó cũng sẽ đòi hỏi một cách tiếp cận đạo đức và sâu sắc đối với sự phát triển của AI, ưu tiên quyền riêng tư, minh bạch và quyền tự chủ của người dùng.

Khi Apple tiếp tục tinh chỉnh và mở rộng khả năng của ReALM, thế giới công nghệ chắc chắn sẽ theo dõi với sự quan tâm lớn, mong muốn xem mô hình AI đột phá này định hình lại tương lai của các trợ lý thông minh và mở ra một kỷ nguyên mới của tính toán cá nhân hóa và nhận thức ngữ cảnh thực sự.

Liệu ReALM có thực hiện lời hứa của mình về việc vượt trội thậm chí cả GPT-4 mạnh mẽ vẫn còn phải xem. Nhưng một điều chắc chắn: kỷ nguyên của các trợ lý AI thực sự hiểu chúng ta – lời nói của chúng ta, thế giới của chúng ta và bức tranh phong phú của cuộc sống hàng ngày của chúng ta – đã bắt đầu, và đổi mới mới nhất của Apple có thể nằm ở tiền phong của cuộc cách mạng này.