Crescentes preocupações sobre alucinações e preconceitos de IA: o relatório de 2024 da Aporia destaca a necessidade urgente de padrões da indústria

A relatório recente da Aporia, líder no setor de plataformas de controle de IA, trouxe à luz algumas descobertas surpreendentes no domínio da inteligência artificial e do aprendizado de máquina (IA e ML). Intitulada “Relatório de IA e ML 2024: evolução de modelos e soluções”, a pesquisa conduzida pela Aporia aponta para uma tendência crescente de alucinações e preconceitos na IA generativa e nos modelos de linguagem grande (LLMs), sinalizando um desafio crucial para uma indústria que avança rapidamente em direção maturidade.

alucinações de IA referem-se a casos em que generativo modelos de IA generativos produzem resultados incorretos, sem sentido ou desconectados da realidade. Estas alucinações podem variar desde pequenas imprecisões até erros significativos, incluindo a geração de conteúdo tendencioso ou potencialmente prejudicial.

As consequências das alucinações relacionadas com a IA podem ser significativas, especialmente porque estes modelos estão cada vez mais integrados em vários aspectos dos negócios e da sociedade. Por exemplo, a imprecisão nas informações geradas pela IA pode levar à desinformação, enquanto o conteúdo tendencioso pode perpetuar estereótipos ou práticas injustas. Em aplicações sensíveis, como cuidados de saúde, finanças ou aconselhamento jurídico, tais erros podem ter implicações graves, afetando decisões e resultados.

As conclusões do inquérito sublinham a necessidade de monitorização e observação vigilantes dos modelos de produção.

A pesquisa da Aporia incluiu respostas de 1,000 profissionais de aprendizado de máquina da América do Norte e do Reino Unido. Esses profissionais trabalham em empresas com 500 a 7,000 funcionários, em setores como finanças, saúde, viagens, seguros, software e varejo. Os resultados destacam os desafios e as oportunidades enfrentados pelos líderes de produção em ML, destacando o papel vital da otimização da IA ​​para a eficiência e a criação de valor.

Principais insights do relatório inclui:

1. Prevalência de Desafios Operacionais: impressionantes 93% dos engenheiros de aprendizado de máquina relatam encontrar problemas com modelos de produção diariamente ou semanalmente. Esta estatística significativa sublinha a necessidade crítica de ferramentas eficazes de monitorização e controlo para garantir operações tranquilas.
2. Incidência de alucinações de IA: Cerca de 89% dos engenheiros que trabalham com grandes modelos de linguagem e IA generativa relatam ter tido alucinações nesses modelos. Essas alucinações se manifestam como erros factuais, preconceitos ou conteúdos que podem ser prejudiciais.
3. Foco na mitigação de preconceito: Apesar dos obstáculos na deteção de dados tendenciosos e da falta de ferramentas de monitorização suficientes, um número notável de 83% dos inquiridos enfatiza a importância da monitorização de preconceitos em projetos de IA.
4. Importância da Observabilidade em Tempo Real: 88% dos profissionais de aprendizado de máquina acreditam que a observabilidade em tempo real é essencial para identificar problemas nos modelos de produção, um recurso que não está presente em todas as empresas devido à falta de ferramentas de monitoramento automatizadas.
5. Investimento de recursos no desenvolvimento: O relatório revela que, em média, as empresas investem cerca de quatro meses no desenvolvimento de ferramentas e painéis de controlo para monitorizar a produção, destacando potenciais preocupações relativamente à eficiência e à relação custo-eficácia de tais investimentos.

“Nosso relatório mostra um consenso claro entre a indústria, os produtos de IA estão sendo implantados em um ritmo rápido e haverá consequências se esses modelos de ML não estiverem sendo monitorados”, afirmou Liran Hason, CEO da Aporia. “Os engenheiros que estão por trás dessas ferramentas falaram – há problemas com a tecnologia e eles podem ser corrigidos. Mas são necessárias ferramentas de observabilidade corretas para garantir que tanto as empresas como os consumidores recebam o melhor produto possível, livre de alucinações e preconceitos.”

aporia, comprometida em aprimorar a eficácia de produtos de IA com tecnologia de aprendizado de máquina, vem abordando os desafios de MLOps e defendendo práticas de IA responsáveis. A abordagem centrada no cliente e a integração do feedback dos usuários levaram ao desenvolvimento de ferramentas e recursos robustos para aprimorar a experiência do usuário, apoiar a expansão dos modelos de produção e ajudar a eliminar alucinações.

O relatório completo da Aporia oferece uma análise aprofundada destas descobertas e das suas implicações para a indústria da IA. Para explorar mais, visite Relatório da Pesquisa da Aporia.