Veja, Pense, Explique: O Surgimento dos Modelos de Linguagem de Visão em IA

Há cerca de uma década, a inteligência artificial estava dividida entre o reconhecimento de imagens e a compreensão de linguagem. Os modelos de visão podiam identificar objetos, mas não podiam descrevê-los, e os modelos de linguagem podiam gerar texto, mas não podiam “ver”. Hoje, essa divisão está desaparecendo rapidamente. Os Modelos de Linguagem de Visão (VLMs) combinam habilidades visuais e linguísticas, permitindo que interpretem imagens e as expliquem de maneiras que parecem quase humanas. O que os torna realmente notáveis é seu processo de raciocínio passo a passo, conhecido como Chain-of-Thought, que ajuda a transformar esses modelos em ferramentas poderosas e práticas em várias indústrias, como saúde e educação. Neste artigo, exploraremos como os VLMs funcionam, por que seu raciocínio é importante e como eles estão transformando campos que vão da medicina a carros autônomos.

Entendendo os Modelos de Linguagem de Visão

Os Modelos de Linguagem de Visão, ou VLMs, são um tipo de inteligência artificial que pode entender tanto imagens quanto texto ao mesmo tempo. Ao contrário dos sistemas de IA mais antigos que podiam lidar apenas com texto ou imagens, os VLMs combinam essas duas habilidades. Isso os torna incrivelmente versáteis. Eles podem olhar para uma imagem e descrever o que está acontecendo, responder a perguntas sobre um vídeo ou até mesmo criar imagens com base em uma descrição escrita.

Por exemplo, se você pedir a um VLM para descrever uma foto de um cachorro correndo em um parque. Um VLM não diz apenas “Há um cachorro”. Ele pode dizer: “O cachorro está perseguindo uma bola perto de uma grande árvore de carvalho”. Ele está vendo a imagem e conectando-a a palavras de uma maneira que faz sentido. Essa capacidade de combinar compreensão visual e linguística cria todo tipo de possibilidades, desde ajudar a procurar fotos online até auxiliar em tarefas mais complexas, como imagens médicas.

Em seu núcleo, os VLMs funcionam combinando duas peças principais: um sistema de visão que analisa imagens e um sistema de linguagem que processa texto. A parte visual pega detalhes como formas e cores, enquanto a parte linguística transforma esses detalhes em frases. Os VLMs são treinados em conjuntos de dados massivos que contêm bilhões de pares de imagem-texto, dando-lhes uma experiência extensa para desenvolver uma compreensão sólida e alta precisão.

O que Significa Raciocínio em Cadeia de Pensamento nos VLMs

O raciocínio em cadeia de pensamento, ou CoT, é uma maneira de fazer a IA pensar passo a passo, muito como fazemos quando resolvemos um problema, dividindo-o em partes. Nos VLMs, isso significa que a IA não fornece apenas uma resposta quando você lhe pergunta algo sobre uma imagem; ela também explica como chegou lá, explicando cada passo lógico ao longo do caminho.

Vamos dizer que você mostre a um VLM uma foto de um bolo de aniversário com velas e pergunte: “Quantos anos a pessoa tem?” Sem o CoT, ele pode apenas adivinhar um número. Com o CoT, ele pensa no assunto: “Ok, vejo um bolo com velas. Velas geralmente mostram a idade de alguém. Vamos contar, há 10. Então, a pessoa provavelmente tem 10 anos”. Você pode seguir o raciocínio à medida que ele se desenrola, o que torna a resposta muito mais confiável.

Da mesma forma, quando mostrado uma cena de trânsito a um VLM e perguntado: “É seguro atravessar?” O VLM pode raciocinar: “O sinal de pedestre está vermelho, então você não deve atravessar. Há também um carro virando perto, e ele está se movendo, não parado. Isso significa que não é seguro agora”. Ao passar por esses passos, a IA mostra exatamente o que está prestando atenção na imagem e por que decide o que decide.

Por que o Raciocínio em Cadeia de Pensamento é Importante nos VLMs

A integração do raciocínio em cadeia de pensamento nos VLMs traz várias vantagens importantes.

Primeiro, torna a IA mais confiável. Quando ela explica seus passos, você obtém uma compreensão clara de como chegou à resposta. Isso é importante em áreas como a saúde. Por exemplo, ao olhar para uma imagem de ressonância magnética, um VLM pode dizer: “Vejo uma sombra no lado esquerdo do cérebro. Essa área controla a fala, e o paciente está tendo dificuldade em falar, então pode ser um tumor”. Um médico pode seguir essa lógica e se sentir confiante com a contribuição da IA.

Segundo, ajuda a IA a lidar com problemas complexos. Ao dividir as coisas, ela pode lidar com perguntas que precisam de mais do que um olhar rápido. Por exemplo, contar velas é simples, mas determinar a segurança em uma rua movimentada leva vários passos, incluindo verificar os sinais, identificar veículos em movimento, julgar a velocidade. O CoT permite que a IA lide com essa complexidade, dividindo-a em várias etapas.

Finalmente, torna a IA mais adaptável. Quando ela raciocina passo a passo, pode aplicar o que sabe a novas situações. Se nunca viu um tipo específico de bolo antes, ainda pode descobrir a conexão entre as velas e a idade porque está pensando no assunto, não apenas confiando em padrões memorizados.

Como o Raciocínio em Cadeia de Pensamento e os VLMs Estão Redefinindo Indústrias

A combinação do raciocínio em cadeia de pensamento e dos VLMs está tendo um impacto significativo em vários campos:

• Saúde: Na medicina, os VLMs como o Med-PaLM 2 da Google (GOOGL ) usam o CoT para quebrar perguntas médicas complexas em etapas diagnósticas menores. Por exemplo, quando dado um raio-X de tórax e sintomas como tosse e dor de cabeça, a IA pode pensar: “Esses sintomas podem ser um resfriado, alergias ou algo pior. Não há linfonodos inchados, então provavelmente não é uma infecção grave. Os pulmões parecem claros, então provavelmente não é pneumonia. Um resfriado comum se encaixa melhor”. Ela caminha pelas opções e chega a uma resposta, dando aos médicos uma explicação clara para trabalhar.
• Carros Autônomos: Para veículos autônomos, os VLMs com CoT melhoram a segurança e a tomada de decisões. Por exemplo, um carro autônomo pode analisar uma cena de trânsito passo a passo: verificando sinais de pedestres, identificando veículos em movimento e decidindo se é seguro prosseguir. Sistemas como o LINGO-1 da Wayve geram comentários em linguagem natural para explicar ações como desacelerar para um ciclista. Isso ajuda engenheiros e passageiros a entenderem o processo de raciocínio do veículo. A lógica passo a passo também permite um melhor manuseio de condições de estrada incomuns, combinando entradas visuais com conhecimento contextual.
• Análise Geoespacial: O modelo Gemini da Google aplica o raciocínio em cadeia de pensamento a dados espaciais como mapas e imagens de satélite. Por exemplo, ele pode avaliar danos de furacão integrando imagens de satélite, previsões do tempo e dados demográficos, então gerar visualizações claras e respostas a perguntas complexas. Essa capacidade acelera a resposta a desastres, fornecendo aos tomadores de decisão insights úteis e oportunos sem exigir expertise técnica.
• Robótica: Na robótica, a integração do CoT e dos VLMs permite que os robôs planejem e executem tarefas em múltiplos passos. Por exemplo, quando um robô é encarregado de pegar um objeto, o VLM com CoT permite que ele identifique a xícara, determine os melhores pontos de agarre, planeje um caminho livre de colisões e execute o movimento, tudo enquanto “explica” cada etapa do seu processo. Projetos como o RT-2 demonstram como o CoT permite que os robôs se adaptem melhor a novas tarefas e respondam a comandos complexos com raciocínio claro.
• Educação: Na aprendizagem, os tutores de IA como o Khanmigo usam o CoT para ensinar melhor. Para um problema de matemática, ele pode guiar um estudante: “Primeiro, escreva a equação. Em seguida, obtenha a variável sozinha subtraindo 5 de ambos os lados. Agora, divida por 2”. Em vez de fornecer a resposta, ele caminha pelo processo, ajudando os estudantes a entender conceitos passo a passo.

O Resumo

Os Modelos de Linguagem de Visão (VLMs) permitem que a IA interprete e explique dados visuais usando um raciocínio passo a passo, semelhante ao humano, por meio de processos de Chain-of-Thought (CoT). Essa abordagem aumenta a confiabilidade, adaptabilidade e resolução de problemas em várias indústrias, como saúde, carros autônomos, análise geoespacial, robótica e educação. Ao transformar a forma como a IA lida com tarefas complexas e apoia a tomada de decisões, os VLMs estão estabelecendo um novo padrão para tecnologia inteligente confiável e prática.