O Problema de Responsabilidade Difusa na Inteligência Artificial em Saúde

Na saúde, a inteligência artificial (IA) agora está incorporada em tudo, desde decisões clínicas até recursos humanos e finanças. No entanto, muitas organizações ainda carecem da delegação de gestão de riscos necessária para garantir que as ferramentas de IA não causem danos. A ausência de supervisão estruturada significa que as decisões relacionadas à IA são tomadas sem responsabilidade clara, expondo as organizações ao risco de violações éticas e regulamentares.

Quando ninguém é responsável pelas decisões e ações tomadas pela IA, os pontos cegos se expandirão rapidamente. As consequências de um sistema de IA que toma decisões de alto risco sem supervisão são numerosas e de longo alcance, especialmente quando a vida das pessoas está em jogo.

Hoje, as lacunas de governança da IA se assemelham a pontos de inflexão anteriores, onde a curva tecnológica se aprofundou mais rapidamente do que a capacidade das empresas de gerenciá-la. Passamos por isso com a computação em nuvem: as equipes adotaram SaaS, IaaS e “shadow IT” para se mover mais rapidamente, enquanto a governança ficou atrás em aspectos básicos, como classificação de dados, gerenciamento de identidade e acesso, supervisão de fornecedores, registro/monitoramento e clareza de responsabilidade compartilhada — então a responsabilidade se espalhou por TI, segurança, compras e negócios. Também vimos isso com a rápida consumerização de TI e dispositivos móveis/BYOD, onde os funcionários trouxeram novos dispositivos e aplicativos para ambientes regulamentados muito antes de as organizações terem políticas maduras para criptografia, controles de ponto de extremidade, avaliação de aplicativos e descoberta eletrônica. Em cada caso, a adoção foi racional e frequentemente criadora de valor — mas a ausência de propriedade clara, controles padronizados e supervisão do ciclo de vida criou falhas previsíveis. A lição para a IA é direta: a governança não pode ser um afterthought acoplado à inovação; ela precisa ser construída como outras infraestruturas críticas — intencionalmente, com direitos de decisão definidos, monitoramento contínuo e guardiões executáveis.

O Problema da Responsabilidade Difusa

A implantação rápida da IA ultrapassou o desenvolvimento de padrões de governança e responsabilidade, levando a uma lacuna de “responsabilidade difusa” onde nenhuma entidade única assume a responsabilidade quando a IA falha.

A responsabilidade já é um problema onipresente na saúde, e a IA trouxe novos desafios. As ferramentas de IA não têm identidade legal reconhecida, o que significa que não podem ser processadas ou seguradas, nem podem pagar compensação legal às vítimas. Em processos legais, a culpa deve ser transferida para um ator humano ou uma corporação, e não para uma ferramenta.

Pesquisadores no The Lancet, um jornal de pesquisa médica líder, argumentaram recentemente que “as estruturas de responsabilidade institucional devem redistribuir a responsabilidade dos clínicos para as organizações que projetam e implantam [ferramentas de IA].” É claro que tais questões sobre responsabilidade persistirão bem no futuro.

A União Europeia está tentando abordar essas questões em uma escala regional. O bloco introduziu dois instrumentos legislativos importantes: o Ato de IA, que regula o uso de IA por grau de risco e enfatiza a preservação da supervisão humana; e a diretiva de responsabilidade de IA, que estabelece novas regras que facilitam que as pessoas busquem compensação por danos causados pela IA.

Mas a regulação sozinha não resolverá o problema. Os hospitais operam dentro de uma rede complexa de fornecedores, clínicos, administradores e equipes de TI, então, quando um sistema de IA produz uma saída prejudicial ou enviesada, a responsabilidade é passada como uma bola entre as partes interessadas: o fornecedor pode apontar para o uso inadequado, os clínicos podem dizer que o design é defeituoso, e a liderança pode culpar a ambiguidade regulamentar.

Tudo isso significa que a responsabilidade é difusa, deixando os hospitais vulneráveis a grandes batalhas legais.

Passos Práticos para Fechar as Lacunas de Governança

A boa notícia é que, mesmo sem regulamentações abrangentes, as organizações de saúde podem fechar proativamente as lacunas de governança da IA. Para começar, os líderes podem começar com o relatório da Organização Mundial da Saúde, “Ética e Governança de Inteligência Artificial para a Saúde,” que busca maximizar a promessa da IA enquanto minimiza o risco.

As etapas delineadas neste relatório visam proteger a autonomia, promover o bem-estar humano e a segurança pública, garantir transparência e explicabilidade, e fomentar responsabilidade e responsabilidade. Para abordar as lacunas de governança, vamos nos concentrar nos dois últimos pontos.

Implemente uma abordagem unificada para a governança da IA, garantindo que ela seja dirigida de cima para baixo por conselhos ou especialistas. Atualmente, muitas organizações permitem que departamentos individuais usem a IA onde acham necessário, deixando os líderes incapazes de explicar como e onde a organização está usando essas ferramentas. A visibilidade é fundamental, então certifique-se de ter uma lista exata de quais ferramentas estão sendo usadas onde e para qual propósito.

É igualmente importante estabelecer linhas claras de responsabilidade ao longo do ciclo de vida da IA. Isso significa tornar uma pessoa ou departamento responsável por tudo, desde a compra e validação até o monitoramento de implantação e resposta a incidentes. Os hospitais devem exigir que os fornecedores atendam a padrões de transparência e auditoria definidos e garantir que as equipes internas sejam treinadas para entender tanto as capacidades quanto as limitações dos sistemas de IA.

Finalmente, a governança deve ser operacionalizada, não apenas documentada. Incorporar políticas em fluxos de trabalho, integrando avaliações de risco de IA em processos de compra, realizando auditorias regulares do desempenho da IA e criando mecanismos para que o pessoal da linha de frente relate preocupações sem atrito.

Na prática, fechar a lacuna de governança é menos sobre introduzir novos princípios e mais sobre impor disciplina: padronizar como a IA entra na organização, definir quem a possui em cada estágio e garantir que seu desempenho seja continuamente examinado. Sem essa disciplina, as ferramentas de IA continuarão a superar as estruturas projetadas para mantê-las seguras.

O Risco Oculto: Qualidade dos Dados

Mesmo quando as estruturas de responsabilidade estão no lugar, outro risco é frequentemente subestimado: a integridade dos dados que alimentam os sistemas de IA e como esses sistemas evoluem com o tempo. Qualquer sistema de IA é apenas tão confiável quanto os dados nos quais foi treinado e continua aprendendo, e os ambientes de dados dos hospitais são notoriamente fragmentados, inconsistentes e propensos a lacunas.

Registros eletrônicos de saúde, sistemas de imagem e plataformas administrativas frequentemente operam em silos, criando discrepâncias que podem impactar diretamente as saídas da IA. Um modelo treinado em conjuntos de dados incompletos ou enviesados pode produzir recomendações defeituosas que podem passar despercebidas até que o dano já tenha sido feito. É particularmente perigoso em ambientes clínicos, onde pequenas variações na precisão podem se traduzir em consequências significativas para os pacientes.

Complicando esse problema está o “desvio do modelo”: a tendência dos modelos de IA de se desviar das instruções e do contexto à medida que mais dados entram no sistema. À medida que as populações de pacientes evoluem, novos protocolos de tratamento são introduzidos e fatores externos afetam as operações, as suposições básicas das ferramentas de IA podem mudar. Sem monitoramento contínuo e recalibração, um sistema de IA que uma vez performou de forma confiável pode começar a tomar ações ou sugerir soluções que se afastam de seu treinamento.

Para abordar o desvio do modelo, os hospitais devem tratar os sistemas de IA como ativos dinâmicos e de alto risco, e não como ferramentas estáticas. Isso significa implementar monitoramento contínuo de desempenho, estabelecer limiares claros para precisão aceitável e definir propriedade para re-treinamento e validação. A governança de dados também deve ser fortalecida, com práticas padronizadas para qualidade de dados, interoperabilidade e detecção de viés.

Sem confrontar os riscos ligados à qualidade dos dados e ao desvio do modelo, mesmo as melhores estruturas de governança da IA falharão. Para os sistemas de IA em saúde, que são apenas tão bons quanto os dados que os sustentam, ignorar essa camada de risco cria o potencial para uma falha sistêmica mais cedo ou mais tarde.

Acerte Antes de Executar

A IA tem o potencial de transformar a saúde, melhorando a eficiência, a precisão e os resultados dos pacientes. Mas sem a propriedade clara dos riscos que ela apresenta, esse potencial pode rapidamente se tornar uma responsabilidade.

Os hospitais não podem se dar ao luxo de tratar a governança da IA como um exercício de conformidade. Ela deve ser tratada como uma prioridade operacional central: definir propriedade, estruturar supervisão e avaliar continuamente. Porque, na saúde, quando algo dá errado, as consequências podem ser muito piores do que quem é culpado.