Modelo AI pode capturar imagens borradas e melhorar a resolução em 60 vezes

Pesquisadores da Duke University desenvolveram um modelo de IA capaz de capturar imagens altamente desfocadas e pixelizadas e renderizá-las com alto detalhe.  De acordo com a TechXplore, o modelo é capaz de pegar relativamente poucos pixels e dimensionar as imagens para criar rostos de aparência realista com aproximadamente 64 vezes a resolução da imagem original. O modelo alucina, ou imagina, características que estão nas entrelinhas da imagem original.

A pesquisa é um exemplo de super-resolução. Como Cynthia Rudin da equipe de ciência da computação da Duke University explicou ao TechXplore, este projeto de pesquisa estabelece um recorde de super-resolução, pois nunca antes imagens foram criadas com tanta precisão a partir de uma amostra tão pequena de pixels iniciais. Os pesquisadores tiveram o cuidado de enfatizar que o modelo não recria o rosto da pessoa na imagem original de baixa qualidade. Em vez disso, ele gera novos rostos, preenchendo detalhes que não existiam antes. Por esse motivo, o modelo não poderia ser usado para nada parecido com sistemas de segurança, pois não seria capaz de transformar imagens desfocadas em imagens de uma pessoa real.

As técnicas tradicionais de super-resolução operam fazendo suposições sobre quais pixels são necessários para transformar a imagem em uma imagem de alta resolução, com base em imagens que o modelo aprendeu de antemão. Como os pixels adicionados são o resultado de suposições, nem todos os pixels corresponderão aos pixels circundantes e certas regiões da imagem podem parecer indistintas ou distorcidas. Os pesquisadores da Duke University usaram um método diferente para treinar seu modelo de IA. O modelo criado pelos pesquisadores da Duke opera primeiro tirando imagens de baixa resolução e adicionando detalhes à imagem ao longo do tempo, referenciando rostos gerados por IA de alta resolução como exemplos. O modelo faz referência aos rostos gerados por IA e tenta encontrar aqueles que se assemelham às imagens de destino quando os rostos gerados são reduzidos ao tamanho da imagem de destino.

A equipe de pesquisa criou um modelo Generative Adversarial Network para lidar com a criação de novas imagens. GANs são, na verdade, duas redes neurais que são treinadas no mesmo conjunto de dados e colocadas uma contra a outra. Uma rede é responsável por gerar imagens falsas que imitam as imagens reais no conjunto de dados de treinamento, enquanto a segunda rede é responsável por detectar as imagens falsas das genuínas. A primeira rede é notificada quando suas imagens são identificadas como falsas e melhora até que as imagens falsas sejam indistinguíveis das imagens genuínas.

Os pesquisadores apelidaram seu modelo de super-resolução PULSO, e o modelo produz consistentemente imagens de alta qualidade, mesmo se forem fornecidas imagens tão desfocadas que outros métodos de super-resolução não possam criar imagens de alta qualidade a partir delas. O modelo é ainda capaz de criar rostos realistas a partir de imagens onde as características do rosto são quase indistinguíveis. Por exemplo, quando recebe uma imagem de um rosto com resolução de 16×16, pode criar uma imagem de 1024 x 1024. Mais de um milhão de pixels são adicionados durante esse processo, preenchendo detalhes como fios de cabelo, rugas e até iluminação. Quando os pesquisadores avaliaram as pessoas com 1440 imagens geradas pelo PULSE em relação às imagens geradas por outras técnicas de super-resolução, as imagens geradas pelo PULSE consistentemente tiveram a melhor pontuação.

Enquanto os pesquisadores usaram seu modelo em imagens de rostos de pessoas, as mesmas técnicas que eles usam podem ser aplicadas a quase qualquer objeto. Imagens de baixa resolução de vários objetos podem ser usadas para criar imagens de alta resolução desse conjunto de objetos, abrindo possíveis aplicações para uma variedade de diferentes indústrias e campos de microscopia, imagens de satélite, educação, manufatura e medicina.