Sistemas de IA Podem Preferir Linguagem Humana em vez de Dados Numéricos

Nova pesquisa da Columbia Engineering sugere que os sistemas de inteligência artificial (IA) preferem a linguagem humana em vez de dados numéricos como 1s e 0s. O novo estudo é do Professor de Engenharia Mecânica Hod Lipson e do estudante de doutorado Boyuan Chen, e demonstrou que os sistemas de IA podem alcançar níveis de desempenho mais altos se programados com arquivos de som de linguagem humana.

Em uma comparação lado a lado, os pesquisadores descobriram que uma rede neural treinada com arquivos de som alcançou níveis de desempenho mais altos na identificação de objetos, em comparação com a outra rede treinada com entradas binárias simples.

Lipson é um professor James e Sally Scapa de Inovação e membro do Instituto de Ciência de Dados da Columbia.

“Para entender por que essa descoberta é significativa, é útil entender como as redes neurais são programadas normalmente, e por que usar o som da voz humana é um experimento radical”, disse ele.

Usar números binários é compacto e preciso, enquanto a linguagem humana é mais complexa e não binária quando capturada em um arquivo digital. Os programadores normalmente não se desviam dos números quando desenvolvem uma rede neural, pois é altamente eficiente.

A equipe embarcou nessa pesquisa após pensar que as redes neurais não estão alcançando seu potencial total, e acreditavam que elas poderiam ser mais rápidas e melhores se fossem treinadas com a voz humana e palavras específicas.

Treinando as Redes

Quando testam uma nova técnica de aprendizado de máquina, os pesquisadores de IA frequentemente treinam uma rede neural para reconhecer objetos e animais específicos em uma coleção de fotografias.

A equipe, que incluía Chen, Lipson, Yu Li e Susan Raghupathi, configurou um experimento controlado para testar sua hipótese, e criou duas novas redes neurais. Eles se propuseram a treinar essas redes para reconhecer 10 tipos diferentes de objetos entre 50.000 fotografias chamadas “imagens de treinamento”.

Um dos sistemas de IA foi treinado de maneira mais tradicional com valores numéricos, enquanto a rede neural experimental foi treinada de maneira muito diferente. Ela foi alimentada com uma tabela de dados com linhas contendo uma fotografia de um animal ou objeto, e a segunda coluna tinha um arquivo de áudio de voz humana, que pronunciava a palavra para o animal ou objeto. Não havia 1s ou 0s envolvidos com a rede experimental.

Ambos os sistemas de IA foram treinados por um total de 15 horas. Os resultados mostraram que a rede original respondeu com uma série de 1s e 0s, enquanto a rede neural experimental produziu uma voz que claramente tentava “dizer” o que o objeto na imagem era. Embora a voz original não fosse compreensível, ela eventualmente alcançou um ponto de ser principalmente correta.

As duas redes se saíram igualmente bem, identificando o animal ou objeto corretamente 92% do tempo. Os pesquisadores então decidiram executar o experimento novamente, mas desta vez usaram menos fotografias durante o processo.

A rede tradicional se saiu mal devido aos dados escassos, como era de se esperar, caindo para cerca de 35% de precisão. No entanto, a rede experimental se saiu duas vezes melhor, com 70% de precisão, apesar de ter menos dados.

https://www.youtube.com/watch?v=Iq2YjHCAPRQ

Resultados Surpreendentes

Na próxima vez, a equipe usou imagens mais difíceis, como uma imagem corrompida de um cachorro. Mesmo com as imagens mais difíceis, a rede neural treinada com voz foi correta cerca de 50% do tempo, enquanto a rede tradicional foi apenas 20% precisa.

Boyuan Chen é o principal pesquisador do estudo.

“Nossas descobertas vão diretamente contra a forma como muitos especialistas foram treinados para pensar sobre computadores e números; é uma suposição comum que as entradas binárias são uma forma mais eficiente de transmitir informações a uma máquina do que fluxos de áudio de informações semelhantes ‘riqueza'”, explicou Chen. “Na verdade, quando submetemos essa pesquisa a uma grande conferência de IA, um revisor anônimo rejeitou nosso artigo simplesmente porque sentiu que nossos resultados eram apenas ‘muito surpreendentes e não intuitivos’.”

“Se você pensar no fato de que a linguagem humana passou por um processo de otimização por dezenas de milhares de anos, então faz sentido perfeito que nossas palavras faladas tenham encontrado um equilíbrio entre ruído e sinal”, disse Lipson. “Portanto, quando visto através da lente da Entropia de Shannon, faz sentido que uma rede neural treinada com linguagem humana supere uma rede neural treinada por simples 1s e 0s.”

O estudo será apresentado na Conferência Internacional sobre Aprendizado de Representações em 3 de maio de 2021.

“Devemos pensar em usar novas e melhores maneiras de treinar sistemas de IA em vez de coletar conjuntos de dados maiores”, disse Chen. “Se repensarmos como apresentamos dados de treinamento à máquina, podemos fazer um melhor trabalho como professores.”

“Um dos maiores mistérios da evolução humana é como nossos ancestrais adquiriram linguagem e como as crianças aprendem a falar com tanta facilidade”, acrescenta Lipson. “Se os bebês humanos aprendem melhor com instruções verbais repetitivas, então talvez os sistemas de IA também possam.”