LLMs não Verificados e o Dilema de Conformidade em Saúde

Ao longo das indústrias, a inteligência artificial generativa (GenAI) alcançou avanços rápidos em um período de tempo relativamente curto. Esses avanços são impulsionados por modelos de base, que O Relatório da Califórnia sobre Política de IA de Fronteira define como, “uma classe de tecnologias de propósito geral que são intensivas em recursos para produzir, exigindo quantidades significativas de dados e computação para produzir capacidades que podem alimentar uma variedade de aplicações de IA downstream.”

Esses modelos de linguagem de grande escala (LLMs), como Gemini e ChatGPT, estão mostrando um poder crescente para replicar e superar as capacidades cognitivas humanas em áreas como análise de dados, escrita e raciocínio. Em saúde específica, a adoção de GenAI está aumentando à medida que os clínicos e outros profissionais de saúde buscam a tecnologia para reduzir a carga administrativa, acelerar as operações e até mesmo apoiar a tomada de decisões clínicas.

No entanto, embora a tecnologia ofereça grande promessa, a adoção de GenAI em saúde também levanta riscos de conformidade importantes se não for implementada ou utilizada de forma responsável. Em particular, o uso de LLMs de propósito geral vem com preocupações de conformidade específicas que as organizações de saúde devem entender completamente para evitar violações de privacidade ou segurança. Esses modelos podem confiar em fontes de dados não verificadas, utilizar informações de saúde do paciente de maneira não autorizada ou perpetuar viés e/ou informações imprecisas.

Para manter a privacidade dos dados dos pacientes, permanecer em conformidade com regulamentações em evolução e minimizar riscos custosos, os líderes de saúde devem adotar uma abordagem decisiva para desarmar a “bomba-relógio” de conformidade dos LLMs “não verificados”.

O Estado Atual do Uso de LLMs de Propósito Geral em Saúde

Ao longo da saúde, o pessoal está cada vez mais utilizando LLMs para apoiar tarefas do dia a dia, desde o trabalho administrativo até a comunicação com os pacientes. LLMs multimodais também expandem ainda mais essas aplicações com sua capacidade de processar facilmente texto, imagens e áudio. Além do apoio administrativo, também estamos vendo um aumento nos provedores que se voltam para a tecnologia para apoiar não apenas o trabalho clerical, mas também tarefas clínicas.

Esses modelos já estão demonstrando o que alguns podem considerar resultados impressionantes, com vários estudos mostrando que o desempenho dos LLMs atinge ou até supera as capacidades humanas em áreas específicas. Por exemplo, o modelo GPT-4 passou no Exame de Licenciamento Médico dos Estados Unidos com uma pontuação geral de 86,7%.

IA híbrida é outra abordagem emergente para o uso de GenAI em saúde que combina aprendizado de máquina (ML) e LLMs para lidar com análises complexas e traduzir resultados em linguagem simples. Ao integrar ambos os modelos, essa abordagem busca superar as limitações dos LLMs, incluindo alucinações, imprecisões e viés, enquanto aproveita suas forças. Agente de IA também está aumentando a adoção por sua capacidade de automatizar tarefas-chave sem entrada humana, como responder a mensagens de pacientes ou agendar consultas.

No entanto, o potencial que a IA detém também destaca a necessidade de uma governança mais proativa. Quanto mais essas ferramentas se tornam embutidas nas operações de saúde, maiores são as apostas para garantir a precisão, a segurança e a conformidade.

Os Riscos de Conformidade dos LLMs de Propósito Geral em Saúde

Embora a adoção digital em saúde tenha desbloqueado uma grande quantidade de novas possibilidades, também expôs vulnerabilidades-chave. Entre 1 de novembro de 2023 e 31 de outubro de 2024, por exemplo, o setor de saúde experimentou 1.710 incidentes de segurança, 1.542 dos quais envolveram divulgações de dados confirmados.

A era da IA aprofunda essas fissuras, adicionando uma nova camada de complexidade à privacidade e segurança de dados. Mais especificamente, o uso de LLMs de propósito geral em saúde evoca vários riscos de conformidade importantes:

Risco #1: Desenvolvimento de caixa fechada impede o monitoramento ou verificação contínuos

Modelos fechados faltam transparência sobre seu processo de desenvolvimento, como quais fontes de dados específicas o modelo foi treinado ou como as atualizações são feitas. Essa opacidade impede que os desenvolvedores e pesquisadores examinem o modelo para determinar a origem dos riscos de segurança ou discernir processos de tomada de decisões. Como resultado, LLMs fechados podem permitir o uso de fontes de dados médicos não verificadas e permitir que vulnerabilidades de segurança passem despercebidas.

Risco #2: Vazamento de dados de pacientes

LLMs não sempre confiam em dados de pacientes desidentificados. Prompts especializados ou interações poderiam inadvertidamente revelar informações de saúde identificáveis, criando potenciais violações da HIPAA.

Risco #3: Perpetuação de viés e informações imprecisas

Em um experimento, os pesquisadores injetaram uma pequena porcentagem de fatos incorretos em uma categoria da base de conhecimento de um modelo biomédico, enquanto preservavam seu comportamento em todos os outros domínios. Os pesquisadores descobriram que as informações imprecisas foram propagadas por toda a saída do modelo, destacando as vulnerabilidades dos LLMs a ataques de informações imprecisas.

Qualquer defeito encontrado nos modelos de base é herdado por todos os modelos adotados e aplicações resultantes do modelo pai. Disparidades nas saídas podem piorar as desigualdades de saúde, como conselhos imprecisos para grupos sub-representados.

Risco #4: Desalinhamento regulatório

O uso de LLMs de propósito geral pode não estar em conformidade com a HIPAA, a GDPR ou as regulamentações específicas de IA em evolução, especialmente se os fornecedores não puderem validar os dados de treinamento. Esses riscos são agravados por funcionários de organizações de saúde que usam ferramentas de IA não aprovadas ou não monitoradas, ou a IA sombra. De acordo com a IBM, 20% das organizações pesquisadas em todos os setores sofreram uma violação devido a incidentes de segurança envolvendo a IA sombra.

Ultimamente, os riscos dos LLMs de propósito geral em saúde têm implicações reais no mundo, incluindo ações legais, danos à reputação, perda da confiança dos pacientes e custos de litígio.

Práticas Recomendadas: Diretrizes e Considerações para LLMs

Para adotar a GenAI de forma responsável, os líderes de saúde devem estabelecer guardrails claros que protejam os pacientes e as organizações. As seguintes práticas recomendadas podem ajudar as organizações de saúde a estabelecer uma base para o uso de IA responsável e em conformidade:

Prática Recomendada #1: Escolha a Tecnologia de IA com Sabedoria

Exija clareza dos fornecedores sobre como a tecnologia de IA é desenvolvida e quais fontes de dados são usadas no processo de desenvolvimento. Priorize ferramentas que utilizam apenas conteúdo médico validado por especialistas, tenham processos de tomada de decisões transparentes e evitem treinar modelos com informações de saúde do paciente.

Prática Recomendada #2: Construa Salvaguardas de Controle Humano

Certifique-se de que os clínicos revisem quaisquer saídas geradas por IA que possam impactar as decisões de cuidados. A IA pode ser uma ferramenta poderosa, mas em uma indústria que tem um impacto direto nas vidas dos pacientes, a supervisão clínica é fundamental para garantir o uso responsável e a precisão de qualquer informação assistida por IA.

Prática Recomendada #3: Treinamento e Preparação da Força de Trabalho

Eduque os clínicos e o pessoal sobre os benefícios e riscos do uso de IA para reduzir a adoção de IA sombra. O pessoal de saúde está navegando em um ambiente de trabalho complexo, estressado por escassez de pessoal e altas taxas de queimadura. Simplificar o processo de educação em IA ajuda a garantir a conformidade sem adicionar mais carga ao seu trabalho.

Prática Recomendada #4: Estabeleça uma Cultura de Governança

Integre avaliações de terceiros das soluções de IA para verificar a segurança, a confiabilidade e a conformidade. Em conjunto, implemente um quadro claro e abrangente para a supervisão de IA que defina aprovação, uso e monitoramento para aumentar ainda mais a confiança na tecnologia e evitar que o pessoal recorra a ferramentas não autorizadas.

Prática Recomendada #5: Alinhe-se com a Liderança sobre a Tutela de IA

Colabore com a liderança para ficar à frente das regulamentações em evolução, bem como das orientações da FDA e do ONC. Esforços regulamentares estão surgindo no nível estadual. Por exemplo, a Califórnia instituiu a Lei de Transparência em IA de Fronteira, que enfatiza a divulgação de riscos, a transparência e a mitigação, especialmente em ambientes de saúde, e há também a Lei de Inteligência Artificial do Colorado (CAIA), que visa prevenir a discriminação algorítmica.

Prática Recomendada #6: Monitoramento Contínuo e Laços de Retroalimentação

O uso de IA dentro de um ambiente de saúde nunca deve ser abordado com a mentalidade de “configurar e esquecer”. Estabelecer um quadro para o monitoramento contínuo pode ajudar a garantir a precisão das ferramentas de IA, fortalecer a responsabilidade e manter a conformidade ao longo do tempo.

Prática Recomendada #7: Busque Parcerias para Otimizar a Supervisão e a Pesquisa

As organizações de saúde devem aproveitar parcerias com reguladores e o setor público para maximizar a supervisão, contribuir com a perspectiva da indústria para os padrões de segurança e combinar recursos especializados.

Construindo Confiança por meio da Liderança de Conformidade

A diferenciação das soluções de IA em saúde dependerá cada vez mais da qualidade de seu conteúdo especializado, da integridade de seus processos de avaliação e da integração responsável em fluxos de trabalho clínicos. A próxima fase da adoção de IA dependerá menos do código e mais da liderança de conformidade.

A confiança é tão crítica quanto a conformidade em si. Para que a tecnologia seja realmente eficaz, os pacientes e os provedores devem acreditar que a IA é segura e alinhada com cuidados de alta qualidade e éticos. A liderança de conformidade é uma vantagem estratégica, não apenas uma medida defensiva. Organizações visionárias que estabelecem guardrails cedo, antes que incidentes prejudiciais ocorram, se diferenciarão em um futuro de saúde impulsionado por IA.