Модель ИИ может взять размытые изображения и повысить их разрешение в 60 раз

Исследователи из Университета Дьюка разработали модель ИИ, способную принимать сильно размытые, пикселизированные изображения и отображать их с высоким уровнем детализации. Согласно TechXplore, модель способна принимать относительно небольшое количество пикселей и масштабировать изображения, чтобы создать реалистичные изображения лиц, которые примерно в 64 раза превышают разрешение исходного изображения. Модель “галлюцинирует” или представляет себе детали, которые находятся между линиями исходного изображения.

Это исследование является примером сверхразрешения. Как объяснила Синтия Рудин из команды компьютерных наук Университета Дьюка в интервью TechXplore, этот исследовательский проект устанавливает рекорд для сверхразрешения, поскольку никогда раньше изображения не создавались с таким уровнем детализации из такого небольшого образца начальных пикселей. Исследователи подчеркнули, что модель не воссоздает лицо человека на исходном низкокачественном изображении. Вместо этого она генерирует новые лица, заполняя детали, которые не были там раньше. По этой причине модель не может быть использована для чего-либо подобного системам безопасности, поскольку она не сможет превратить размытые изображения в изображения реального человека.

Традиционные методы сверхразрешения работают, делая предположения о том, какие пиксели необходимы для преобразования изображения в изображение высокого разрешения, на основе изображений, которые модель изучила ранее. Поскольку добавленные пиксели являются результатом предположений, не все пиксели будут соответствовать окружающим пикселям, и определенные области изображения могут выглядеть размытыми или искаженными. Исследователи из Университета Дьюка использовали другой метод обучения своей модели ИИ. Модель, созданная исследователями Дьюка, работает, сначала принимая изображения низкого разрешения и добавляя детали к изображению со временем, ссылаясь на высококачественные изображения лиц, сгенерированные ИИ, в качестве примеров. Модель ссылается на изображения лиц, сгенерированные ИИ, и пытается найти те, которые похожи на целевые изображения, когда сгенерированные лица масштабируются до размера целевого изображения.

Исследовательская команда создала модель Generative Adversarial Network (GAN) для обработки создания новых изображений. GAN на самом деле состоит из двух нейронных сетей, которые обучаются на одном и том же наборе данных и противопоставляются друг другу. Одна сеть отвечает за генерацию фальшивых изображений, которые имитируют реальные изображения в наборе данных, в то время как вторая сеть отвечает за обнаружение фальшивых изображений среди настоящих. Первая сеть уведомляется, когда ее изображения были идентифицированы как фальшивые, и она улучшается до тех пор, пока фальшивые изображения не станут практически неотличимыми от настоящих.

Исследователи назвали свою модель сверхразрешения PULSE, и модель последовательно производит высококачественные изображения, даже если ей даны изображения, которые настолько размыты, что другие методы сверхразрешения не могут создать высококачественные изображения из них. Модель даже способна создавать реалистичные изображения лиц из изображений, на которых черты лица几乎 не различимы. Например, когда ей дано изображение лица с разрешением 16×16, она может создать изображение 1024 x 1024. Более миллиона пикселей добавляются в процессе, заполняя детали, такие как пряди волос, морщины и даже освещение. Когда исследователи попросили людей оценить 1440 изображений, сгенерированных PULSE, по сравнению с изображениями, сгенерированными другими методами сверхразрешения, изображения, сгенерированные PULSE, последовательно получали лучшие оценки.

Хотя исследователи использовали свою модель на изображениях лиц людей, те же методы, которые они используют, могут быть применены几乎 к любому объекту. Изображения низкого разрешения различных объектов могут быть использованы для создания высококачественных изображений этого набора объектов, открывая возможности для различных отраслей и областей, таких как микроскопия, спутниковая съемка, образование, производство и медицина.