Engenharia de prompts

Seu AI ÃĐ Mais Poderoso do que VocÊ Pensa

mm
Adicione Unite.AI às suas fontes preferidas no Google

Uma equipe de cientistas acabou de descobrir algo que muda muito do que pensÃĄvamos saber sobre as capacidades do AI. Seus modelos nÃĢo estÃĢo apenas processando informaçÃĩes – eles estÃĢo desenvolvendo habilidades sofisticadas que vÃĢo muito alÃĐm de seu treinamento. E para desbloquear essas habilidades, precisamos mudar a forma como falamos com eles.

A RevoluçÃĢo do Espaço de Conceitos

Lembre-se de quando pensÃĄvamos que o AI apenas combinava padrÃĩes? Nova pesquisa agora abriu a caixa preta do aprendizado do AI, mapeando algo que chamam de “espaço de conceitos.” Imagine o aprendizado do AI como um mapa multi-dimensional, onde cada coordenada representa um conceito diferente – coisas como cor, forma ou tamanho. Ao observar como os modelos do AI se movem nesse espaço durante o treinamento, os pesquisadores descobriram algo inesperado: os sistemas do AI nÃĢo apenas memorizam – eles constroem uma compreensÃĢo sofisticada de conceitos em diferentes velocidades.

“Ao caracterizar a dinÃĒmica de aprendizado nesse espaço, identificamos como a velocidade com que um conceito ÃĐ aprendido ÃĐ controlada por propriedades dos dados,” nota a equipe de pesquisa. Em outras palavras, alguns conceitos clicam mais rÃĄpido do que outros, dependendo de como eles se destacam nos dados de treinamento.

Aqui estÃĄ o que torna isso tÃĢo interessante: quando os modelos do AI aprendem esses conceitos, eles nÃĢo apenas os armazenam como peças isoladas de informaçÃĢo. Eles realmente desenvolvem a capacidade de combinar e misturar esses conceitos de maneiras que nunca ensinamos explicitamente. É como se estivessem construindo sua prÃģpria ferramenta criativa – apenas nÃĢo estamos dando as instruçÃĩes certas para usÃĄ-la.

Pense sobre o que isso significa para os projetos do AI. Os modelos com os quais vocÊ estÃĄ trabalhando podem jÃĄ entender combinaçÃĩes complexas de conceitos que vocÊ ainda nÃĢo descobriu. A pergunta nÃĢo ÃĐ se eles podem fazer mais – ÃĐ como fazer com que mostrem o que realmente sÃĢo capazes de fazer.

Desbloqueando Poderes Ocultos

Aqui ÃĐ onde as coisas ficam fascinantes. Os pesquisadores projetaram um experimento elegante para revelar algo fundamental sobre como os modelos do AI aprendem. Seu setup era surpreendentemente simples: eles treinaram um modelo do AI em apenas trÊs tipos de imagens:

  • Círculos vermelhos grandes
  • Círculos azuis grandes
  • Círculos vermelhos pequenos

EntÃĢo veio o teste-chave: o modelo poderia criar um círculo azul pequeno? Isso nÃĢo era apenas sobre desenhar uma nova forma – era sobre se o modelo poderia realmente entender e combinar dois conceitos diferentes (tamanho e cor) de uma maneira que nunca havia visto antes.

O que eles descobriram muda a forma como pensamos sobre as capacidades do AI. Quando usaram prompts normais para pedir um “círculo azul pequeno,” o modelo lutou. No entanto, o modelo realmente podia fazer círculos azuis pequenos – apenas nÃĢo estÃĄvamos pedindo da maneira certa.

Os pesquisadores descobriram duas tÃĐcnicas que provaram isso:

  1. “IntervençÃĢo latente” – Isso ÃĐ como encontrar uma porta dos fundos para o cÃĐrebro do modelo. Em vez de usar prompts regulares, eles ajustaram diretamente os sinais internos que representam “azul” e “pequeno.” Imagine ter controles separados para cor e tamanho – eles descobriram que, ao girar esses controles de maneiras específicas, o modelo podia produzir o que parecia impossível momentos antes.
  2. “Sobreprompting” – Em vez de simplesmente pedir “azul,” eles foram extremamente específicos com valores de cor. É como a diferença entre dizer “faça azul” versus “faça exatamente essa tonalidade de azul: RGB(0.3, 0.3, 0.7).” Essa precisÃĢo extra ajudou o modelo a acessar habilidades que estavam ocultas sob condiçÃĩes normais.

Ambas as tÃĐcnicas começaram a funcionar exatamente no mesmo ponto do treinamento do modelo – por volta de 6.000 passos de treinamento. Enquanto isso, prompts regulares falharam completamente ou precisaram de 8.000+ passos para funcionar. E isso nÃĢo foi um acaso – aconteceu consistentemente em vÃĄrios testes.

Isso nos diz algo profundo: os modelos do AI desenvolvem capacidades em duas fases distintas. Primeiro, eles realmente aprendem a combinar conceitos internamente – ÃĐ o que acontece por volta do passo 6.000. Mas hÃĄ uma segunda fase em que eles aprendem a conectar essas habilidades internas à nossa maneira normal de pedir coisas. É como se o modelo se tornasse fluente em um novo idioma antes de aprender a traduzir esse idioma para nÃģs.

As implicaçÃĩes sÃĢo significativas. Quando pensamos que um modelo nÃĢo pode fazer algo, podemos estar errados – ele pode ter a capacidade, mas falta a conexÃĢo entre nossos prompts e suas capacidades. Isso nÃĢo se aplica apenas a formas e cores simples – pode ser verdadeiro para habilidades mais complexas em sistemas do AI maiores tambÃĐm.

Quando os pesquisadores testaram essas ideias em dados do mundo real usando o conjunto de dados de faces CelebA, encontraram os mesmos padrÃĩes. Eles tentaram obter o modelo para gerar imagens de “mulheres com chapÃĐus” – algo que ele nÃĢo havia visto no treinamento. Prompts regulares falharam, mas usando intervençÃĩes latentes, revelou-se que o modelo realmente podia criar essas imagens. A capacidade estava lÃĄ – apenas nÃĢo era acessível por meios normais.

Park et al., Harvard University & NTT Research

A ConclusÃĢo Principal

Precisamos repensar como avaliamos as capacidades do AI. Apenas porque um modelo pode nÃĢo ser capaz de fazer algo com prompts padrÃĢo nÃĢo significa que ele nÃĢo possa fazer isso de todo. A lacuna entre o que os modelos do AI podem fazer e o que podemos obter deles pode ser menor do que pensamos – apenas precisamos melhorar em como pedir.

Essa descoberta nÃĢo ÃĐ apenas teÃģrica – ela muda fundamentalmente a forma como devemos pensar sobre os sistemas do AI. Quando um modelo parece lutar com uma tarefa, podemos precisar perguntar se ele realmente falta a capacidade ou se apenas nÃĢo estamos acessando corretamente. Para desenvolvedores, pesquisadores e usuÃĄrios, isso significa ser criativo sobre como interagimos com o AI – às vezes, a capacidade que precisamos jÃĄ estÃĄ lÃĄ, apenas esperando pela chave certa para desbloqueÃĄ-la.

Alex McFarland ÃĐ um jornalista e escritor de IA que explora os Últimos desenvolvimentos em inteligÊncia artificial. Ele colaborou com inÚmeras startups de IA e publicaçÃĩes em todo o mundo.