Новые рубежи в генеративном ИИ — далеко от облака

В начале было интернет, которое изменило нашу жизнь навсегда — способ, которым мы общаемся, покупаем, ведем бизнес. А затем по причинам задержки, конфиденциальности и экономической эффективности интернет переместился на сетевой край, что привело к возникновению «интернета вещей».

Теперь есть искусственный интеллект, который делает все, что мы делаем в интернете, проще, более персонализированным, более интеллектуальным. Чтобы использовать его, однако, необходимы большие серверы и высокая вычислительная мощность, поэтому он ограничен облаком. Но те же мотивы — задержка, конфиденциальность, экономическая эффективность — заставили компании, такие как Hailo, разработать технологии, которые позволяют использовать ИИ на краю.

Безусловно, следующим большим шагом является генеративный ИИ. Генеративный ИИ представляет огромный потенциал во всех отраслях. Он может быть использован для оптимизации работы и повышения эффективности различных создателей — юристов, писателей, графических дизайнеров, музыкантов и многих других. Он может помочь открыть новые терапевтические препараты или помочь в медицинских процедурах. Генеративный ИИ может улучшить промышленную автоматизацию, разработать новый программный код и повысить транспортную безопасность за счет автоматического синтеза видео, аудио, изображений и многое другое.

Однако генеративный ИИ, как он существует сегодня, ограничен технологией, которая его позволяет. Это связано с тем, что генеративный ИИ происходит в облаке — больших центрах данных дорогих, энергозатратных компьютерных процессоров,远 удаленных от实际ных пользователей. Когда кто-то отправляет запрос генеративному инструменту ИИ, seperti ChatGPT или некоторому новому ИИ-решению для видеоконференций, запрос передается через интернет в облако, где он обрабатывается серверами, прежде чем результаты будут возвращены по сети.

Когда компании разрабатывают новые приложения для генеративного ИИ и развертывают их на различных устройствах — видеокамерах и системах безопасности, промышленных и личных роботов, ноутбуках и даже автомобилях — облако становится узким местом в плане пропускной способности, стоимости и подключения.

И для таких приложений, как система помощи водителю, программное обеспечение для персонального компьютера, видеоконференции и безопасность, постоянная передача данных по сети может представлять риск для конфиденциальности.

Решением является возможность для этих устройств обрабатывать генеративный ИИ на краю. На самом деле, генеративный ИИ на краю может принести пользу многим новым приложениям.

Генеративный ИИ на подъеме

Рассмотрим, что в июне Mercedes-Benz заявила, что она введет ChatGPT в свои автомобили. В автомобиле с ChatGPT, например, водитель может попросить автомобиль — без использования рук — дать рецепт ужина на основе ингредиентов, которые у него уже есть дома. То есть, если автомобиль подключен к интернету. В паркинге или удаленном месте все шансы равны.

За последние пару лет видеоконференции стали для нас второй натурой. Уже сейчас программные компании интегрируют формы ИИ в решения для видеоконференций. Может быть, это для оптимизации аудио- и видеокачества на лету или для «размещения» людей в одном виртуальном пространстве. Теперь генеративные ИИ-видеоконференции могут автоматически создавать протоколы заседаний или извлекать соответствующую информацию из корпоративных источников в режиме реального времени, когда обсуждаются различные темы.

Однако, если умный автомобиль, система видеоконференций или любое другое устройство на краю не может подключиться к облаку, то опыт генеративного ИИ не может произойти. Но что, если они не должны? Это звучит как устрашающая задача, учитывая огромную обработку облачного ИИ, но теперь это становится возможным.

Генеративный ИИ на краю

Уже существуют инструменты генеративного ИИ, которые могут автоматически создавать богатые, увлекательные презентации PowerPoint. Но пользователь нуждается в том, чтобы система работала отовсюду, даже без подключения к интернету.

Аналогично, мы уже видим новый класс генеративных ИИ-ассистентов «пилотов», которые кардинально изменят, как мы взаимодействуем с нашими вычислительными устройствами, автоматизируя многие рутинные задачи, такие как создание отчетов или визуализация данных. Представьте, что вы открываете ноутбук, ноутбук распознает вас через свою камеру, а затем автоматически генерирует план действий на день/неделю/месяц на основе ваших наиболее часто используемых инструментов, таких как Outlook, Teams, Slack, Trello и т. д. Но для поддержания конфиденциальности данных и хорошего пользовательского опыта вы должны иметь возможность запускать генеративный ИИ локально.

Помимо решения проблем с ненадежными соединениями и конфиденциальностью данных, ИИ на краю может помочь уменьшить требования к пропускной способности и повысить производительность приложений. Например, если генеративное ИИ-приложение создает данные, богатые контентом, такие как виртуальное конференц-зал, через облако, процесс может задерживаться в зависимости от доступной (и дорогой) пропускной способности. И определенные типы генеративных ИИ-приложений, такие как безопасность, робототехника или здравоохранение, требуют высокопроизводительных, низкозадержечных реакций, которые облачные соединения не могут обеспечить.

В видеобезопасности возможность повторной идентификации людей, когда они перемещаются среди многих камер — некоторые из которых размещены в местах, где сети не могут достичь — требует моделей данных и обработки ИИ в самих камерах. В этом случае генеративный ИИ может быть применен к автоматическим описаниям того, что видят камеры, через простые запросы, такие как «Найти 8-летнего ребенка в красной футболке и бейсболке».

Это генеративный ИИ на краю.

Развития в ИИ на краю

Благодаря принятию нового класса процессоров ИИ и разработке более компактных, эффективных, но не менее мощных моделей генеративного ИИ, устройства на краю могут быть спроектированы для работы интеллектуально, где подключение к облаку невозможно или нежелательно.

Конечно, облачная обработка останется важным компонентом генеративного ИИ. Например, обучение моделей ИИ останется в облаке. Но акт применения пользовательских входных данных к этим моделям, называемый выводом, может — и во многих случаях должен — происходить на краю.

Отрасль уже разрабатывает более компактные, меньшие, более эффективные модели ИИ, которые могут быть загружены на устройства на краю. Компании, такие как Hailo, производят процессоры ИИ, специально предназначенные для обработки нейронных сетей. Такие процессоры нейронных сетей не только обрабатывают модели ИИ невероятно быстро, но также делают это с меньшей мощностью, что делает их энергоэффективными и подходящими для различных устройств на краю, от смартфонов до камер.

Обработка генеративного ИИ на краю также может эффективно балансировать растущие рабочие нагрузки, позволять приложениям масштабироваться более стабильно, облегчать облачным центрам данных дорогостоящую обработку и помогать им уменьшить свой углеродный след.

Генеративный ИИ готов изменить вычисления снова. В будущем языковая модель на вашем ноутбуке может автоматически обновляться так же, как ваша ОС сегодня — и работать таким же образом. Но чтобы добраться туда, нам нужно будет разрешить обработку генеративного ИИ на сетевом краю. Результат обещает быть более высокопроизводительным, энергоэффективным, а также более защищенным и безопасным. Все это приведет к приложениям ИИ, которые изменят мир так же, как и сам генеративный ИИ.