Революционизация ИИ с помощью ReALM от Apple: Будущее Интеллектуальных Помощников

В постоянно развивающемся ландшафте искусственного интеллекта Apple (AAPL ) тихо революционизирует подход, который может переопределить то, как мы взаимодействуем с нашими iPhone. ReALM, или Reference Resolution as Language Modeling, – это модель ИИ, которая обещает принести новый уровень контекстного понимания и бесшовной помощи.

Поскольку мир технологий обсуждает OpenAI’s GPT-4 и другие крупные языковые модели (LLM), ReALM от Apple представляет собой сдвиг в мышлении – переход от полного доверия облачному ИИ к более персонализированному, на-устройстве подходу. Цель? Создать интеллектуального помощника, который действительно понимает вас, ваш мир и сложную ткань ваших ежедневных цифровых взаимодействий.

В сердце ReALM лежит способность решать ссылки – те неоднозначные местоимения, такие как “это“, “они” или “то“, которые люди легко ориентируются благодаря контекстным подсказкам. Для ИИ-помощников это долгое время было препятствием, приводящим к разочаровывающим недоразумениям и разрозненной пользовательской experiencia.

Представьте себе сценарий, в котором вы просите Siri “найти мне здоровый рецепт на основе того, что в моем холодильнике, но без грибов – я их ненавижу”. С ReALM ваш iPhone не только понимал бы ссылки на информацию на экране (содержимое холодильника), но и запомнил бы ваши личные предпочтения (нелюбовь к грибам) и более широкий контекст поиска рецепта, соответствующего этим параметрам.

Этот уровень контекстного понимания является квантовым скачком от подхода поиска ключевых слов, используемого в большинстве текущих ИИ-помощников. Обучая LLM разрешать ссылки в трех ключевых доменах – разговорном, на-экране и фоновом – ReALM стремится создать действительно интеллектуального цифрового компаньона, который чувствуется менее как роботизированный голосовой помощник и более как продолжение ваших собственных мыслительных процессов.

Разговорный Домен: Помнить, Что Было Ранее

ReALM решает давнюю проблему – поддержание связности и памяти на протяжении нескольких оборотов диалога. С его способностью разрешать ссылки в рамках продолжающегося разговора ReALM наконец может выполнить обещание естественного, обратного взаимодействия с вашим цифровым помощником.

Представьте себе, что вы просите Siri “напомнить мне забронировать билеты на мой отпуск, когда я получу зарплату в пятницу”. С ReALM Siri не только понимал бы контекст ваших планов отпуска (потенциально полученный из предыдущего разговора или информации на экране), но и имел бы осведомленность, чтобы связать “получение зарплаты” с вашей регулярной зарплатой.

Этот уровень разговорного интеллекта чувствуется как真正щий скачок вперед, позволяющий бесшовные многооборотные диалоги без разочаровывающей необходимости постоянно переэксплицировать контекст или повторять себя.

Домен На Экране: Давая Вашему Помощнику Глаза

Возможно, наиболее революционным аспектом ReALM является его способность разрешать ссылки на сущности на экране – решающий шаг к созданию действительно бесшовного, голосового пользовательского опыта.

Исследовательская работа Apple обсуждает новую технику кодирования визуальной информации с экрана вашего устройства в формат, который могут обработать LLM. Построив текстовое представление макета вашего экрана, ReALM может “видеть” и понимать пространственные отношения между различными элементами на экране.

Представьте себе сценарий, в котором вы смотрите на список ресторанов и просите Siri “направления к тому, что на Мейн-стрит”. С ReALM ваш iPhone не только понимал бы ссылку на конкретное местоположение, но и связал бы его с соответствующей сущностью на экране – рестораном, соответствующим этому описанию.

Этот уровень визуального понимания открывает мир возможностей, от бесшовных действий по ссылкам в приложениях и на веб-сайтах до интеграции с будущими AR-интерфейсами и даже восприятия и реагирования на реальные объекты и среды через камеру вашего устройства.

Исследовательская работа Apple по модели ReALM обсуждает сложные детали того, как система кодирует сущности на экране и разрешает ссылки в различных контекстах. Вот упрощенное объяснение алгоритмов и примеров, предоставленных в работе:

1. Кодирование Сущностей На Экране: Работа исследователей изучает несколько стратегий кодирования элементов на экране в текстовый формат, который может быть обработан LLM. Один из подходов включает в себя кластеризацию окружающих объектов на основе их пространственной близости и генерацию подсказок, включающих эти кластеризованные объекты. Однако этот метод может привести к чрезвычайно длинным подсказкам по мере увеличения количества сущностей.

Окончательный подход, принятый исследователями, заключается в парсинге экрана в порядке сверху вниз, слева направо, представляя макет в текстовом формате. Это достигается с помощью Алгоритма 2, который сортирует объекты на экране на основе их центральных координат, определяет вертикальные уровни, группируя объекты в определенной марже, и строит парсинг экрана, конкатенируя эти уровни с табуляциями, разделяющими объекты на одной строке.

Внедряя соответствующие сущности (номера телефонов в этом случае) в текстовое представление, LLM может понять контекст на экране и разрешить ссылки соответственно.

2. Примеры Разрешения Ссылок: Работа предоставляет несколько примеров, чтобы проиллюстрировать возможности модели ReALM в разрешении ссылок в различных контекстах:

a. Разговорные Ссылки: Для запроса типа “Siri, найдите мне здоровый рецепт на основе того, что в моем холодильнике, но без грибов – я их ненавижу” ReALM может понять контекст на экране (содержимое холодильника), разговорный контекст (поиск рецепта) и ваши предпочтения (нелюбовь к грибам).

b. Фоновые Ссылки: В примере “Siri, проиграйте ту песню, которая играла в супермаркете ранее” ReALM может потенциально захватить и идентифицировать аудиофрагменты, чтобы разрешить ссылку на конкретную песню.

c. Ссылки На Экране: Для запроса типа “Siri, напомните мне забронировать билеты на отпуск, когда я получу зарплату в пятницу” ReALM может объединить информацию из ваших распорядков (зарплата), разговоров или веб-сайтов на экране (планы отпуска) и календаря, чтобы понять и выполнить запрос.

Эти примеры демонстрируют способность ReALM разрешать ссылки в разговорных, на-экране и фоновых контекстах, позволяя более естественному и бесшовному взаимодействию с интеллектуальными помощниками.

Фоновый Домен

Переходя за пределы только разговорных и на-экране контекстов, ReALM также исследует способность разрешать ссылки на фоновые сущности – те периферийные события и процессы, которые часто остаются незамеченными нашими текущими ИИ-помощниками.

Представьте себе сценарий, в котором вы просите Siri “проиграйте ту песню, которая играла в супермаркете ранее”. С ReALM ваш iPhone мог бы потенциально захватить и идентифицировать аудиофрагменты, позволяя Siri бесшовно проиграть трек, который у вас на уме.

Этот уровень фоновых знаний чувствуется как первый шаг к真正 ubiquитарному, контекстно-осведомленному ИИ-сопровождению – цифровому компаньону, который понимает не только ваши слова, но и богатую ткань ваших ежедневных переживаний.

Обещание На-Устройстве ИИ: Конфиденциальность и Персонализация

Хотя возможности ReALM, безусловно, впечатляют, его наиболее значительное преимущество, возможно, заключается в долгосрочной приверженности Apple на-устройству ИИ и конфиденциальности пользователей.

В отличие от облачных моделей ИИ, которые полагаются на отправку пользовательских данных на удаленные серверы для обработки, ReALM предназначен для работы полностью на вашем iPhone или других устройствах Apple. Это не только решает проблемы вокруг конфиденциальности данных, но и открывает новые возможности для ИИ-помощи, которая действительно понимает и адаптируется к вам как индивиду.

Обучаясь напрямую из ваших на-устройстве данных – ваших разговоров, шаблонов использования приложений и даже фоновых сенсорных входов – ReALM потенциально может создать гиперперсонализированного цифрового помощника, адаптированного к вашим уникальным потребностям, предпочтениям и ежедневным распорядкам.

Этот уровень персонализации чувствуется как парадигмальный сдвиг от подхода “один размер для всех” текущих ИИ-помощников, которые часто борются с адаптацией к индивидуальным пользователям.

Модель ReALM-250M достигает впечатляющих результатов:

• • Понимание Разговоров: 97.8
  • Синтетическое Понимание Задач: 99.8
  • Выполнение Задач На Экране: 90.6
  • Обработка Невидимых Доменов: 97.2

Этические Рассмотрения

Конечно, с таким высоким уровнем персонализации и контекстного понимания возникает ряд этических рассмотрений вокруг конфиденциальности, прозрачности и потенциала ИИ-систем влиять или даже манипулировать поведением пользователей.

По мере того, как ReALM получает более глубокое понимание вашей ежедневной жизни – от ваших привычек питания и шаблонов потребления медиа до ваших социальных взаимодействий и личных предпочтений – существует риск того, что эта технология будет использоваться способами, которые нарушают доверие пользователей или пересекают этические границы.

Исследователи Apple осведомлены об этом напряжении, признавая в своей работе необходимость найти тщательный баланс между предоставлением действительно полезного, персонализированного ИИ-опыта и уважением конфиденциальности и агентности пользователей.

Эта задача не уникальна для Apple или ReALM, конечно – это разговор, который вся технологическая индустрия должна провести, поскольку ИИ-системы становятся все более сложными и интегрируются в нашу повседневную жизнь.

К Более Умному, Более Естественному ИИ-Опыту

По мере того, как Apple продолжает расширять границы на-устройстве ИИ с моделями, такими как ReALM, обещание真正 интеллектуального, контекстно-осведомленного цифрового помощника чувствуется ближе, чем когда-либо прежде.

Представьте себе мир, в котором Siri (или как этот ИИ-помощник может быть назван в будущем) чувствуется менее как оторванная голосовая помощница из облака и более как продолжение ваших собственных мыслительных процессов – партнер, который понимает не только ваши слова, но и богатую ткань вашей цифровой жизни, ваших ежедневных распорядков и ваших уникальных предпочтений и контекстов.

От бесшовных действий по ссылкам в приложениях и на веб-сайтах до предвидения ваших потребностей на основе вашего местоположения, активности и фоновых сенсорных входов ReALM представляет собой значительный шаг к более естественному, бесшовному ИИ-опыту, который стирает границы между нашими цифровыми и физическими мирами.

Конечно, реализация этого видения потребует не только технической инновации – она также потребует вдумчивого, этического подхода к разработке ИИ, который ставит во главу угла конфиденциальность, прозрачность и агентность пользователей.

По мере того, как Apple продолжает совершенствовать и расширять возможности ReALM, технологический мир, безусловно, будет наблюдать с затаенным дыханием, ожидая, как эта революционная ИИ-модель сформирует будущее интеллектуальных помощников и введет новую эру действительно персонализированного, контекстно-осведомленного вычисления.

Хотя еще предстоит увидеть, сможет ли ReALM выполнить свое обещание превзойти даже могущественный GPT-4, одно можно сказать с уверенностью: эпоха ИИ-помощников, которые действительно понимают нас – наши слова, наши миры и богатую ткань нашей повседневной жизни – уже началась, и последнее инновационное решение Apple может оказаться на переднем крае этой революции.