Quem é Responsável se a IA em Saúde Falhar?

Quem é responsável quando erros da IA em saúde causam acidentes, lesões ou pior? Dependendo da situação, pode ser o desenvolvedor da IA, um profissional de saúde ou até mesmo o paciente. A responsabilidade é uma preocupação cada vez mais complexa e séria à medida que a IA se torna mais comum em saúde. Quem é responsável por erros da IA e como os acidentes podem ser prevenidos?

O Risco de Erros da IA em Saúde

Existem muitos benefícios incríveis da IA em saúde, desde uma precisão e exatidão aumentadas até tempos de recuperação mais rápidos. A IA está ajudando os médicos a fazer diagnósticos, realizar cirurgias e fornecer o melhor cuidado possível para seus pacientes. Infelizmente, erros da IA sempre são uma possibilidade.

Existem uma ampla gama de cenários de IA que dão errado em saúde. Médicos e pacientes podem usar a IA como uma ferramenta de tomada de decisão baseada em software ou a IA pode ser o cérebro de dispositivos físicos como robôs. Ambas as categorias têm seus riscos.

Por exemplo, o que acontece se um robô de cirurgia movido a IA falhar durante um procedimento? Isso pode causar uma lesão grave ou potencialmente até matar o paciente. Da mesma forma, o que acontece se um algoritmo de diagnóstico de medicamentos recomendar o medicamento errado para um paciente e ele sofrer um efeito colateral negativo? Mesmo que o medicamento não machuque o paciente, um diagnóstico errado pode atrasar o tratamento adequado.

Na raiz dos erros da IA como esses está a natureza dos próprios modelos de IA. A maioria da IA de hoje usa lógica de “caixa preta”, o que significa que ninguém pode ver como o algoritmo toma decisões. A IA de caixa preta falta transparência, levando a riscos como viés lógico, discriminação e resultados imprecisos. Infelizmente, é difícil detectar esses fatores de risco até que eles já tenham causado problemas.

IA que Dá Errado: Quem é o Culpa?

O que acontece quando um acidente ocorre em um procedimento médico movido a IA? A possibilidade de a IA dar errado sempre estará presente em algum grau. Se alguém se machuca ou pior, é a IA que é culpada? Não necessariamente.

Quando o Desenvolvedor da IA é o Culpa

É importante lembrar que a IA não é mais do que um programa de computador. É um programa de computador altamente avançado, mas ainda é código, assim como qualquer outro software. Como a IA não é sensível ou independente como um ser humano, não pode ser responsabilizada por acidentes. Uma IA não pode ir ao tribunal ou ser condenada à prisão.

Erros da IA em saúde provavelmente seriam responsabilidade do desenvolvedor da IA ou do profissional de saúde que monitora o procedimento. Qual parte é culpada por um acidente pode variar de caso para caso.

Por exemplo, o desenvolvedor provavelmente seria culpado se o viés de dados fizesse com que a IA desse decisões injustas, imprecisas ou discriminatórias. O desenvolvedor é responsável por garantir que a IA funcione como prometido e forneça o melhor tratamento possível para todos os pacientes. Se a IA falhar devido à negligência, falta de supervisão ou erros por parte do desenvolvedor, o médico não seria responsável.

Quando o Médico ou Físico é o Culpa

No entanto, ainda é possível que o médico ou até mesmo o paciente sejam responsáveis por erros da IA. Por exemplo, o desenvolvedor pode fazer tudo certo, dar ao médico instruções detalhadas e esclarecer todos os riscos possíveis. Quando chega a hora do procedimento, o médico pode estar distraído, cansado, esquecido ou simplesmente negligente.

Pesquisas mostram que mais de 40% dos médicos experimentam exaustão no trabalho, o que pode levar a falta de atenção, reflexos lentos e má lembrança. Se o médico não atender às suas próprias necessidades físicas e psicológicas e sua condição causar um acidente, isso é culpa do médico.

Dependendo das circunstâncias, o empregador do médico pode ser culpado por erros da IA em saúde. Por exemplo, o que acontece se um gerente de um hospital ameaçar negar uma promoção a um médico se ele não concordar em trabalhar horas extras? Isso força o médico a se esforçar demais, levando à exaustão. O empregador do médico provavelmente seria responsabilizado em uma situação única como essa.

Quando o Paciente é o Culpa

E se o desenvolvedor da IA e o médico fizerem tudo certo, mesmo assim? Quando o paciente usa uma ferramenta de IA de forma independente, um acidente pode ser culpa do paciente. Erros da IA não são sempre devido a um erro técnico. Pode ser o resultado de uso inadequado ou impróprio.

Por exemplo, talvez o médico explique detalhadamente uma ferramenta de IA para o paciente, mas o paciente ignora as instruções de segurança ou insere dados incorretos. Se esse uso descuidado ou impróprio resultar em um acidente, é culpa do paciente. Nesse caso, o paciente era responsável por usar a IA corretamente ou fornecer dados precisos e não o fez.

Mesmo quando os pacientes conhecem suas necessidades médicas, eles podem não seguir as instruções do médico por vários motivos. Por exemplo, 24% dos americanos que tomam medicamentos prescritos relatam ter dificuldade em pagar por seus medicamentos. Um paciente pode pular o medicamento ou mentir para uma IA sobre tomar um medicamento porque está envergonhado por não poder pagar por sua prescrição.

Se o uso impróprio do paciente foi devido à falta de orientação do médico ou do desenvolvedor da IA, a culpa pode ser de outra pessoa. Isso depende de onde ocorreu a raiz do acidente ou erro.

Regulamentações e Soluções Potenciais

Há uma maneira de prevenir erros da IA em saúde? Embora nenhum procedimento médico seja completamente livre de riscos, existem maneiras de minimizar a probabilidade de resultados adversos.

Regulamentações sobre o uso da IA em saúde podem proteger os pacientes de ferramentas e procedimentos de IA de alto risco. A FDA já tem quadros regulamentares para dispositivos médicos de IA, esclarecendo requisitos de teste e segurança e o processo de revisão. Organizações de supervisão médica líderes também podem intervir para regular o uso de dados de pacientes com algoritmos de IA nos próximos anos.

Além de regulamentações estritas, razoáveis e abrangentes, os desenvolvedores devem tomar medidas para prevenir cenários de IA que dão errado. A IA explicável — também conhecida como IA de caixa branca — pode resolver preocupações de transparência e viés de dados. Modelos de IA explicáveis são algoritmos emergentes que permitem que desenvolvedores e usuários acessem a lógica do modelo.

Quando os desenvolvedores da IA, médicos e pacientes podem ver como uma IA está chegando às suas conclusões, é muito mais fácil identificar viés de dados. Os médicos também podem detectar mais rapidamente erros factuais ou informações faltantes. Ao usar IA explicável em vez de IA de caixa preta, os desenvolvedores e os prestadores de cuidados de saúde podem aumentar a confiabilidade e a eficácia da IA médica.

IA de Saúde Segura e Eficaz

A inteligência artificial pode fazer coisas incríveis no campo médico, potencialmente até salvar vidas. Sempre haverá alguma incerteza associada à IA, mas os desenvolvedores e as organizações de saúde podem tomar medidas para minimizar esses riscos. Quando erros da IA em saúde ocorrem, os conselheiros legais provavelmente determinarão a responsabilidade com base no erro raiz do acidente.