Modelo de IA Pode Tirar Imagens Desfocadas E Aumentar Resolução Em 60 Vezes

Pesquisadores da Duke University desenvolveram um modelo de IA capaz de tomar imagens altamente desfocadas e pixeladas e renderizá-las com detalhes de alta qualidade. De acordo com o TechXplore, o modelo é capaz de tomar relativamente poucos pixels e dimensionar as imagens para criar faces realistas que são aproximadamente 64 vezes a resolução da imagem original. O modelo hallucina, ou imagina, recursos que estão entre as linhas da imagem original.

A pesquisa é um exemplo de super-resolução. Como Cynthia Rudin, da equipe de ciência da computação da Duke University, explicou ao TechXplore, este projeto de pesquisa estabelece um recorde para super-resolução, pois nunca antes imagens foram criadas com tal fidelidade a partir de uma pequena amostra de pixels iniciais. Os pesquisadores foram cuidadosos em enfatizar que o modelo não recria na verdade o rosto da pessoa na imagem original de baixa qualidade. Em vez disso, gera novos rostos, preenchendo detalhes que não estavam lá antes. Por essa razão, o modelo não poderia ser usado para algo como sistemas de segurança, pois não seria capaz de transformar imagens desfocadas em imagens de uma pessoa real.

Técnicas tradicionais de super-resolução operam fazendo suposições sobre quais pixels são necessários para transformar a imagem em uma imagem de alta resolução, com base em imagens que o modelo aprendeu anteriormente. Como os pixels adicionados são resultado de suposições, nem todos os pixels corresponderão com os pixels circundantes e certas regiões da imagem podem parecer borrosas ou distorcidas. Os pesquisadores da Duke University usaram um método diferente de treinamento para o seu modelo de IA. O modelo criado pelos pesquisadores da Duke opera primeiro tomando imagens de baixa resolução e adicionando detalhes à imagem ao longo do tempo, referenciando faces geradas por IA de alta resolução como exemplos. O modelo referencia as faces geradas por IA e tenta encontrar aquelas que se assemelham às imagens alvo quando as faces geradas são dimensionadas para o tamanho da imagem alvo.

A equipe de pesquisa criou um modelo de Rede Adversária Generativa para lidar com a criação de novas imagens. GANs são na verdade duas redes neurais que são treinadas no mesmo conjunto de dados e colocadas umas contra as outras. Uma rede é responsável por gerar imagens falsas que imitam as imagens reais no conjunto de dados de treinamento, enquanto a segunda rede é responsável por detectar as imagens falsas das genuínas. A primeira rede é notificada quando suas imagens são identificadas como falsas, e ela melhora até que as imagens falsas sejam indistinguíveis das imagens genuínas.

Os pesquisadores deram ao seu modelo de super-resolução o nome de PULSE, e o modelo consistentemente produz imagens de alta qualidade, mesmo quando dadas imagens tão desfocadas que outros métodos de super-resolução não podem criar imagens de alta qualidade a partir delas. O modelo é até capaz de criar faces realistas a partir de imagens onde os recursos do rosto são quase indistinguíveis. Por exemplo, quando dado uma imagem de um rosto com resolução 16×16, ele pode criar uma imagem 1024 x 1024. Mais de um milhão de pixels são adicionados durante este processo, preenchendo detalhes como fios de cabelo, rugas e até iluminação. Quando os pesquisadores pediram às pessoas para avaliar 1440 imagens geradas pelo PULSE contra imagens geradas por outras técnicas de super-resolução, as imagens geradas pelo PULSE consistentemente obtiveram as melhores avaliações.

Embora os pesquisadores tenham usado seu modelo em imagens de rostos de pessoas, as mesmas técnicas que eles usam poderiam ser aplicadas a quase qualquer objeto. Imagens de baixa resolução de vários objetos poderiam ser usadas para criar imagens de alta resolução desses conjuntos de objetos, abrindo possíveis aplicações para uma variedade de diferentes indústrias e campos, desde microscopia, imagens de satélite, educação, manufatura e medicina.