Исследователи Разработали Новый Метод для Контроля Генерации Изображений с Помощью ИИ

Исследователи из Университета Северной Каролины разработали новый метод для контроля генерации изображений с помощью искусственного интеллекта (ИИ), который может быть использован в таких областях, как автономные транспортные средства.

Условная Генерация Изображений и Другие Техники

Условная генерация изображений – это задача ИИ, которая включает в себя создание изображений на основе определенного набора условий, которые пользователь может запросить. Более новые техники еще больше расширили это и включили условия для макета изображения, что позволяет пользователям указывать типы объектов, которые они хотят видеть в определенных местах на экране.

Новый метод, разработанный исследователями в университете, основан на всех этих техниках и позволяет пользователям иметь больше контроля над изображениями, сохраняя при этом определенные характеристики в серии изображений.

Тяньфу У – соавтор исследовательской статьи и помощник профессора компьютерной инженерии в NC State.

“Наш подход очень гибок”, – говорит У. “Как и предыдущие подходы, наш позволяет пользователям иметь систему, генерирующую изображение на основе определенного набора условий. Но наш также позволяет сохранить это изображение и добавить к нему. Например, пользователи могли бы иметь ИИ, создающий горный пейзаж. Пользователи могли бы затем иметь систему, добавляющую лыжников к этому пейзажу.”

Манипулирование Элементами

С помощью нового метода пользователи также могут разрешить ИИ манипулировать элементами так, чтобы они были идентифицируемы как один и тот же, сохраняя при этом движение или изменение каким-либо образом. Одним из таких примеров может быть создание ИИ серии изображений, где лыжники поворачиваются к зрителю, двигаясь по ландшафту.

“Одним из применений этого может быть помощь автономным роботам ‘вообразить’, как может выглядеть конечный результат, прежде чем они начнут выполнение задачи”, – говорит У. “Вы также можете использовать эту систему для генерации изображений для обучения ИИ. Итак, вместо того, чтобы собирать изображения из внешних источников, вы можете использовать эту систему для создания изображений для обучения других систем ИИ.”

Новый подход был протестирован с помощью набора данных COCO-Stuff и набора данных Visual Genome, и на основе стандартов качества изображений он превосходит предыдущие методы.

“Наш следующий шаг – увидеть, сможем ли мы расширить эту работу до видео и трехмерных изображений”, – говорит У.

Чтобы обучить новый подход, исследователям пришлось использовать рабочую станцию с 4 GPU, учитывая необходимую вычислительную мощность. Несмотря на это, развертывание системы все еще менее вычислительно дорого.

“Мы обнаружили, что один GPU дает почти реальную скорость”, – говорит У.

“Помимо нашей статьи, мы разместили исходный код этого подхода на GitHub. Тогда как мы всегда открыты для сотрудничества с промышленными партнерами.”