O GPT-4 nos Levará Mais Perto de uma Verdadeira Revolução da IA?

Há quase três anos, o GPT-3 foi introduzido, em maio de 2020. Desde então, o modelo de geração de texto de IA tem despertado grande interesse por sua capacidade de criar textos que parecem e soam como se tivessem sido escritos por um ser humano. Agora, parece que a próxima iteração do software, o GPT-4, está prestes a ser lançado, com uma data de lançamento estimada para o início de 2023.

Apesar da grande expectativa em torno dessa notícia de IA, os detalhes exatos sobre o GPT-4 têm sido bastante escassos. A OpenAI, a empresa por trás do GPT-4, não divulgou publicamente muitas informações sobre o novo modelo, como suas características ou capacidades. No entanto, os recentes avanços no campo da IA, particularmente em relação ao Processamento de Linguagem Natural (NLP), podem oferecer algumas pistas sobre o que podemos esperar do GPT-4.

O que é GPT?

Antes de entrar nos detalhes, é útil estabelecer uma base sobre o que é o GPT. GPT significa Gerador Pre-treinado de Transformador e se refere a um modelo de rede neural de aprendizado profundo que é treinado em dados disponíveis na internet para criar grandes volumes de texto gerado por máquina. O GPT-3 é a terceira geração dessa tecnologia e é um dos modelos de geração de texto de IA mais avançados atualmente disponíveis.

Pense no GPT-3 como funcionando um pouco como assistentes de voz, como Siri ou Alexa, mas em uma escala muito maior. Em vez de pedir ao Alexa para tocar sua música favorita ou ter o Siri digitar seu texto, você pode pedir ao GPT-3 para escrever um eBook inteiro em apenas alguns minutos ou gerar 100 ideias de postagens em redes sociais em menos de um minuto. Tudo o que o usuário precisa fazer é fornecer um prompt, como “Escreva um artigo de 500 palavras sobre a importância da criatividade.” Desde que o prompt seja claro e específico, o GPT-3 pode escrever quase anything que você peça.

Desde o seu lançamento ao público em geral, o GPT-3 encontrou muitas aplicações comerciais. As empresas estão usando-o para resumo de texto, tradução de idiomas, geração de código e automação em larga escala de quase qualquer tarefa de escrita.

No entanto, embora o GPT-3 seja, sem dúvida, muito impressionante em sua capacidade de criar textos muito legíveis e semelhantes aos humanos, ele está longe de ser perfeito. Problemas tendem a surgir quando solicitado a escrever peças mais longas, especialmente quando se trata de tópicos complexos que requerem insight. Por exemplo, um prompt para gerar código de computador para um site pode retornar código correto, mas subótimo, então um codificador humano ainda precisa entrar e fazer melhorias. É um problema semelhante com documentos de texto grandes: quanto maior o volume de texto, mais provável que erros – às vezes engraçados – surjam e precisem ser corrigidos por um escritor humano.

Em resumo, o GPT-3 não é um substituto completo para escritores ou codificadores humanos e não deve ser considerado como tal. Em vez disso, o GPT-3 deve ser visto como um assistente de escrita, que pode economizar muito tempo para as pessoas quando elas precisam gerar ideias de postagens de blog ou esboços para cópias publicitárias ou releases de imprensa.

Mais parâmetros = melhor?

Uma coisa a entender sobre os modelos de IA é como eles usam parâmetros para fazer previsões. Os parâmetros de um modelo de IA definem o processo de aprendizado e fornecem estrutura para a saída. O número de parâmetros em um modelo de IA tem sido geralmente usado como uma medida de desempenho. Quanto mais parâmetros, mais poderoso, suave e previsível o modelo é, pelo menos de acordo com a hipótese de escalonamento.

Por exemplo, quando o GPT-1 foi lançado em 2018, ele tinha 117 milhões de parâmetros. O GPT-2, lançado um ano depois, tinha 1,2 bilhão de parâmetros, enquanto o GPT-3 aumentou o número ainda mais para 175 bilhões de parâmetros. De acordo com uma entrevista de agosto de 2021 com Wired, Andrew Feldman, fundador e CEO da Cerebras, uma empresa que faz parceria com a OpenAI, mencionou que o GPT-4 teria cerca de 100 trilhões de parâmetros. Isso faria do GPT-4 100 vezes mais poderoso do que o GPT-3, um salto quântico no tamanho dos parâmetros que, compreensivelmente, fez muitas pessoas muito animadas.

No entanto, apesar da afirmação ambiciosa de Feldman, há boas razões para pensar que o GPT-4 não terá, de fato, 100 trilhões de parâmetros. Quanto maior o número de parâmetros, mais caro o modelo se torna para treinar e ajustar devido às vastas quantidades de poder computacional necessário.

Além disso, há mais fatores do que apenas o número de parâmetros que determinam a eficácia de um modelo. Por exemplo, o Megatron-Turing NLG, um modelo de geração de texto construído pela Nvidia e Microsoft, tem mais de 500 bilhões de parâmetros. Apesar do seu tamanho, o MT-NLG não chega perto do GPT-3 em termos de desempenho. Em resumo, maior não significa necessariamente melhor.

É provável que o GPT-4 tenha, de fato, mais parâmetros do que o GPT-3, mas ainda não se sabe se esse número será uma ordem de magnitude maior. Em vez disso, há outras possibilidades intrigantes que a OpenAI provavelmente está perseguindo, como um modelo mais enxuto que se concentre em melhorias qualitativas no design algorítmico e alinhamento. O impacto exato dessas melhorias é difícil de prever, mas o que se sabe é que um modelo esparsamente pode reduzir os custos de computação por meio do que é chamado de computação condicional, ou seja, nem todos os parâmetros no modelo de IA estarão funcionando o tempo todo, o que é semelhante à forma como os neurônios no cérebro humano operam.

O que o GPT-4 será capaz de fazer?

Até que a OpenAI venha com um novo comunicado ou até mesmo lance o GPT-4, estamos deixados para especular sobre como ele diferirá do GPT-3. Independentemente disso, podemos fazer algumas previsões.

Embora o futuro do desenvolvimento de aprendizado profundo de IA seja multimodal, o GPT-4 provavelmente permanecerá apenas texto. Como seres humanos, vivemos em um mundo multisensorial cheio de diferentes entradas de áudio, visuais e textuais. Portanto, é inevitável que o desenvolvimento de IA eventualmente produza um modelo multimodal que possa incorporar uma variedade de entradas.

No entanto, um bom modelo multimodal é significativamente mais difícil de projetar do que um modelo apenas de texto. A tecnologia simplesmente não está lá ainda e, com base no que sabemos sobre os limites do tamanho dos parâmetros, é provável que a OpenAI esteja se concentrando em expandir e melhorar um modelo apenas de texto.

É provável que o GPT-4 seja menos dependente de prompts precisos. Uma das desvantagens do GPT-3 é que os prompts de texto precisam ser cuidadosamente escritos para obter o resultado desejado. Quando os prompts não são cuidadosamente escritos, você pode acabar com saídas que são falsas, tóxicas ou até mesmo refletindo visões extremistas. Isso é parte do que é conhecido como o “problema de alinhamento” e se refere a desafios na criação de um modelo de IA que fully entenda as intenções do usuário. Em outras palavras, o modelo de IA não está alinhado com as metas ou intenções do usuário. Como os modelos de IA são treinados usando conjuntos de dados de texto da internet, é muito fácil para os preconceitos humanos, falsidades e preconceitos encontrarem seu caminho para as saídas de texto.

No entanto, há boas razões para acreditar que os desenvolvedores estão fazendo progressos no problema de alinhamento. Essa otimismo vem de algumas descobertas no desenvolvimento do InstructGPT, uma versão mais avançada do GPT-3 que é treinada em feedback humano para seguir instruções e intenções do usuário mais de perto. Juízes humanos encontraram que o InstructGPT era muito menos dependente do que o GPT-3 em bons prompts.

No entanto, deve-se notar que esses testes foram conduzidos apenas com funcionários da OpenAI, um grupo bastante homogêneo que pode não diferir muito em gênero, religião ou visões políticas. É provável que o GPT-4 passará por um treinamento mais diverso que melhorará o alinhamento para diferentes grupos, embora até que ponto reste ser visto.

O GPT-4 substituirá os humanos?

Apesar da promessa do GPT-4, é improvável que ele substitua completamente a necessidade de escritores e codificadores humanos. Ainda há muito trabalho a ser feito em tudo, desde a otimização de parâmetros até a multimodalidade e o alinhamento. Pode levar muitos anos antes de vermos um gerador de texto que possa alcançar uma compreensão verdadeiramente humana das complexidades e nuances da experiência real.

Mesmo assim, há boas razões para se animar com a vinda do GPT-4. A otimização de parâmetros – em vez do mero crescimento de parâmetros – provavelmente levará a um modelo de IA que tenha muito mais poder computacional do que seu antecessor. E o alinhamento melhorado provavelmente fará do GPT-4 muito mais amigável ao usuário.

Além disso, ainda estamos apenas no início do desenvolvimento e adoção de ferramentas de IA. Mais casos de uso para a tecnologia estão sendo constantemente encontrados, e à medida que as pessoas ganham mais confiança e conforto ao usar IA no local de trabalho, é quase certo que veremos uma adoção generalizada de ferramentas de IA em quase todos os setores de negócios nos próximos anos.