Модель ИИ может взять размытые изображения и повысить их разрешение в 60 раз

Исследователи из Университета Дьюка разработали модель ИИ, способную взять сильно размытые, пикселизированные изображения и отрендерить их с высоким уровнем детализации. Согласно TechXplore, модель способна взять относительно небольшое количество пикселей и масштабировать изображения, чтобы создать реалистичные лица, которые примерно в 64 раза превышают разрешение исходного изображения. Модель “галлюцинирует” или представляет себе особенности, которые находятся между линиями исходного изображения.

Исследование является примером сверхразрешения. Как объяснила Синтия Рудин из команды компьютерных наук Университета Дьюка TechXplore, этот исследовательский проект устанавливает рекорд по сверхразрешению, поскольку никогда раньше изображения не создавались с таким уровнем детализации из такого небольшого образца начальных пикселей. Исследователи подчеркнули, что модель не реально воссоздает лицо человека на исходном низкокачественном изображении. Вместо этого она генерирует новые лица, заполняя детали, которые не были там раньше. По этой причине модель не может быть использована для чего-либо подобного системам безопасности, поскольку она не сможет превратить размытые изображения в изображения реального человека.

Традиционные методы сверхразрешения работают, делая предположения о том, какие пиксели необходимы для превращения изображения в изображение высокого разрешения, на основе изображений, которые модель узнала ранее. Поскольку добавленные пиксели являются результатом предположений, не все пиксели будут соответствовать с окружающими пикселями, и определенные области изображения могут выглядеть размытыми или искаженными. Исследователи из Университета Дьюка использовали другой метод обучения своей модели ИИ. Модель, созданная исследователями Дьюка, работает, сначала взяв изображения низкого разрешения и добавив детали к изображению со временем, ссылаясь на изображения высокого разрешения, сгенерированные ИИ, в качестве примеров. Модель ссылается на изображения, сгенерированные ИИ, и пытается найти те, которые похожи на целевые изображения, когда сгенерированные лица масштабируются до размера целевого изображения.

Команда исследователей создала модель Generative Adversarial Network для обработки создания новых изображений. GANs на самом деле являются двумя нейронными сетями, которые обучаются на одном и том же наборе данных и противопоставляются друг другу. Одна сеть отвечает за генерирование фальшивых изображений, которые имитируют реальные изображения в наборе данных для обучения, а вторая сеть отвечает за обнаружение фальшивых изображений от настоящих. Первая сеть уведомляется, когда ее изображения были идентифицированы как фальшивые, и она улучшается до тех пор, пока фальшивые изображения не станут, надеюсь, неотличимыми от настоящих изображений.

Исследователи назвали свою модель сверхразрешения PULSE, и модель последовательно производит изображения высокого качества, даже если даны изображения такие размытые, что другие методы сверхразрешения не могут создать изображения высокого качества из них. Модель даже способна создавать реалистичные лица из изображений, где особенности лица почти не различимы. Например, когда дано изображение лица с разрешением 16×16, оно может создать изображение 1024 x 1024. Более миллиона пикселей добавляются в процессе, заполняя детали, такие как пряди волос, морщины и даже освещение. Когда исследователи попросили людей оценить 1440 изображений, сгенерированных PULSE, по сравнению с изображениями, сгенерированными другими методами сверхразрешения, изображения, сгенерированные PULSE, последовательно получали лучшие оценки.

Хотя исследователи использовали свою модель на изображениях лиц людей, те же методы, которые они используют, могут быть применены几乎 к любому объекту. Изображения низкого разрешения различных объектов могут быть использованы для создания изображений высокого разрешения этого набора объектов, открывая возможности для различных отраслей и областей, от микроскопии, спутниковой съемки, образования, производства и медицины.