Модель AI может делать размытые изображения и повышать разрешение в 60 раз

Исследователи из Университета Дьюка разработали модель искусственного интеллекта, способную делать очень размытые пиксельные изображения и отображать их с высокой детализацией.  По данным TechXplore, модель способна брать относительно небольшое количество пикселей и масштабировать изображения для создания реалистично выглядящих лиц, разрешение которых примерно в 64 раза превышает разрешение исходного изображения. Модель галлюцинирует или воображает черты, находящиеся между линиями исходного изображения.

Исследование является примером сверхразрешения. В роли Синтии Рудин из команды компьютерных наук Университета Дьюка. объяснил TechXplore, этот исследовательский проект устанавливает рекорд сверхвысокого разрешения, так как никогда ранее изображения не создавались с таким малым количеством исходных пикселей. Исследователи постарались подчеркнуть, что модель на самом деле не воссоздает лицо человека на исходном низкокачественном изображении. Вместо этого он генерирует новые лица, заполняя детали, которых раньше не было. По этой причине модель нельзя было использовать ни для чего, например, для систем безопасности, так как она не могла бы превращать расфокусированные изображения в изображения реального человека.

Традиционные методы сверхвысокого разрешения работают, делая предположения о том, какие пиксели необходимы для преобразования изображения в изображение с высоким разрешением, на основе изображений, о которых модель узнала заранее. Поскольку добавленные пиксели являются результатом предположений, не все пиксели будут совпадать с окружающими пикселями, и некоторые области изображения могут выглядеть нечеткими или искаженными. Исследователи из Университета Дьюка использовали другой метод обучения своей модели ИИ. Модель, созданная исследователями Duke, работает, сначала беря изображения с низким разрешением и добавляя детали к изображению с течением времени, ссылаясь на лица с высоким разрешением, созданные искусственным интеллектом в качестве примеров. Модель ссылается на лица, сгенерированные ИИ, и пытается найти те, которые напоминают целевые изображения, когда сгенерированные лица уменьшаются до размера целевого изображения.

Исследовательская группа создала модель генеративно-состязательной сети для управления созданием новых изображений. GAN на самом деле представляют собой две нейронные сети, которые обучаются на одном и том же наборе данных и противопоставляются друг другу. Одна сеть отвечает за создание поддельных изображений, которые имитируют настоящие изображения в наборе обучающих данных, а вторая сеть отвечает за обнаружение поддельных изображений из подлинных. Первая сеть уведомляется, когда ее изображения идентифицируются как поддельные, и улучшается до тех пор, пока поддельные изображения, как мы надеемся, не станут неотличимы от подлинных изображений.

Исследователи назвали свою модель сверхвысокого разрешения PULSE, и модель постоянно создает высококачественные изображения, даже если они настолько размыты, что другие методы сверхвысокого разрешения не могут создать из них высококачественные изображения. Модель даже способна создавать реалистичные лица из изображений, на которых черты лица практически неразличимы. Например, если получить изображение лица с разрешением 16×16, можно создать изображение размером 1024×1024. Во время этого процесса добавляется более миллиона пикселей, заполняющих такие детали, как пряди волос, морщины и даже освещение. Когда исследователи попросили людей оценить изображения, сгенерированные 1440 PULSE, по сравнению с изображениями, сгенерированными другими методами сверхвысокого разрешения, изображения, сгенерированные PULSE, неизменно получали лучшие оценки.

Хотя исследователи использовали свою модель на изображениях лиц людей, те же методы, которые они используют, могут быть применены практически к любому объекту. Изображения различных объектов с низким разрешением можно использовать для создания изображений этого набора объектов с высоким разрешением, что открывает возможности для применения в самых разных отраслях и областях, от микроскопии, спутниковых снимков, образования, производства и медицины.