Новые рубежи в генеративном ИИ — далеко от облака

В начале было интернет, которое изменило нашу жизнь навсегда — способ, которым мы общаемся, покупаем, ведем бизнес. А затем по причинам задержки, конфиденциальности и эффективности интернет перешел к сетевому краю, что привело к возникновению «интернета вещей».

Теперь есть искусственный интеллект, который делает все, что мы делаем в интернете, проще, более персонализированным, более интеллектуальным. Чтобы использовать его, однако, необходимы большие серверы и высокая вычислительная мощность, поэтому он ограничен облаком. Но те же мотивы — задержка, конфиденциальность, эффективность — заставили компании, такие как Hailo, разработать технологии, которые позволяют использовать ИИ на краю.

Несомненно, следующим большим шагом является генеративный ИИ. Генеративный ИИ представляет огромный потенциал во многих отраслях. Он может быть использован для оптимизации работы и повышения эффективности различных создателей — юристов, писателей, графических дизайнеров, музыкантов и многих других. Он может помочь открыть новые терапевтические препараты или помочь в медицинских процедурах. Генеративный ИИ может улучшить промышленную автоматизацию, разработать новый программный код и повысить безопасность транспорта за счет автоматического синтеза видео, аудио, изображений и многое другое.

Однако генеративный ИИ, существующий сегодня, ограничен технологией, которая его поддерживает. Это потому, что генеративный ИИ происходит в облаке — больших центрах данных, дорогих, энергозатратных компьютерных процессоров,远离 от实际ных пользователей. Когда кто-то отправляет запрос генеративному ИИ-инструменту, такой как ChatGPT или новое ИИ-решение для видеоконференций, запрос передается через интернет в облако, где он обрабатывается серверами, прежде чем результаты будут возвращены через сеть.

Когда компании разрабатывают новые приложения для генеративного ИИ и развертывают их на различных устройствах — видеокамерах и системах безопасности, промышленных и личных роботах, ноутбуках и даже автомобилях — облако становится узким местом с точки зрения пропускной способности, стоимости и подключения.

И для таких приложений, как помощь водителю, программное обеспечение для персональных компьютеров, видеоконференции и безопасность, постоянная передача данных по сети может быть риском для конфиденциальности.

Решение заключается в том, чтобы позволить этим устройствам обрабатывать генеративный ИИ на краю. На самом деле, генеративный ИИ на краю может принести пользу многим новым приложениям.

Генеративный ИИ на подъеме

Рассмотрим, что в июне Mercedes-Benz заявила, что она представит ChatGPT в своих автомобилях. В автомобиле с ChatGPT водитель может попросить машину — без использования рук — дать рецепт ужина на основе ингредиентов, которые он уже имеет дома. То есть, если машина подключена к интернету. В паркинге или удаленном месте все шансы равны.

За последние несколько лет видеоконференции стали для нас второй натурой. Уже сейчас программные компании интегрируют формы ИИ в решения для видеоконференций. Может быть, это для оптимизации аудио- и видеокачества на лету или для «размещения» людей в одном виртуальном пространстве. Теперь генеративный ИИ-поддерживаемые видеоконференции могут автоматически создавать протоколы встреч или извлекать соответствующую информацию из корпоративных источников в режиме реального времени, когда обсуждаются различные темы.

Однако, если умный автомобиль, система видеоконференций или любое другое устройство на краю не может обратиться к облаку, то опыт генеративного ИИ не может произойти. Но что, если они не должны были бы? Это звучит как устрашающая задача, учитывая огромную обработку облачного ИИ, но теперь это становится возможным.

Генеративный ИИ на краю

Уже существуют инструменты генеративного ИИ, которые могут автоматически создавать богатые, увлекательные презентации PowerPoint. Но пользователь нуждается в том, чтобы система работала отовсюду, даже без подключения к интернету.

Аналогично, мы уже видим новый класс генеративного ИИ-ассистентов «copilot», который фундаментально изменит, как мы взаимодействуем с нашими компьютерными устройствами, автоматизируя многие рутинные задачи, такие как создание отчетов или визуализация данных. Представьте, что вы открываете ноутбук, ноутбук распознает вас через свою камеру, а затем автоматически генерирует план действий на день/неделю/месяц на основе ваших наиболее часто используемых инструментов, таких как Outlook, Teams, Slack, Trello и т. д. Но чтобы сохранить конфиденциальность данных и хороший пользовательский опыт, вы должны иметь возможность запускать генеративный ИИ локально.

Помимо решения проблем с ненадежными соединениями и конфиденциальностью данных, ИИ на краю может помочь уменьшить требования к пропускной способности и повысить производительность приложений. Например, если генеративное ИИ-приложение создает данные, богатые контентом, такие как виртуальное конференц-зал, через облако, процесс может задерживаться в зависимости от доступной (и дорогой) пропускной способности. И определенные типы генеративных ИИ-приложений, такие как безопасность, робототехника или здравоохранение, требуют высокопроизводительных, низкозадержных реакций, которые подключения к облаку не могут обеспечить.

В видеобезопасности возможность переидентификации людей, когда они перемещаются между многими камерами — некоторые из которых установлены в местах, где сети не могут достичь — требует моделей данных и обработки ИИ в самих камерах. В этом случае генеративный ИИ может быть применен к автоматическим описаниям того, что видят камеры, через простые запросы, такие как «Найдите 8-летнего ребенка в красной футболке и бейсболке».

Это генеративный ИИ на краю.

Развития в ИИ на краю

Через принятие нового класса ИИ-процессоров и разработку более компактных, эффективных, хотя и не менее мощных моделей генеративного ИИ, устройства на краю могут быть спроектированы для интеллектуальной работы там, где подключение к облаку невозможно или нежелательно.

Конечно, облачная обработка останется важным компонентом генеративного ИИ. Например, обучение ИИ-моделей останется в облаке. Но применение пользовательских входных данных к этим моделям, называемое выводом, может — и во многих случаях должно — происходить на краю.

Отрасль уже разрабатывает более компактные, меньшие, более эффективные ИИ-модели, которые могут быть загружены на устройства на краю. Компании, такие как Hailo, производят ИИ-процессоры, специально предназначенные для обработки нейронных сетей. Такие процессоры нейронных сетей не только обрабатывают ИИ-модели невероятно быстро, но также делают это с меньшей мощностью, что делает их энергоэффективными и пригодными для различных устройств на краю, от смартфонов до камер.

Обработка генеративного ИИ на краю также может эффективно сбалансировать растущие рабочие нагрузки, позволить приложениям масштабироваться более стабильно, облегчить облачным центрам данных дорогостоящую обработку и помочь им уменьшить свой углеродный след.

Генеративный ИИ готов изменить вычисления снова. В будущем LLM на вашем ноутбуке может автоматически обновляться так же, как ваш ОС сегодня — и работать так же. Но чтобы добраться туда, нам нужно будет включить обработку генеративного ИИ на сетевом краю. Результат обещает быть более высокой производительностью, энергоэффективностью и конфиденциальностью и безопасностью. Все это приведет к ИИ-приложениям, которые изменят мир так же, как и сам генеративный ИИ.