Quem é Responsável se a Inteligência Artificial em Saúde Falhar?

Quem é responsável quando erros de inteligência artificial em saúde causam acidentes, lesões ou pior? Dependendo da situação, pode ser o desenvolvedor de inteligência artificial, um profissional de saúde ou até mesmo o paciente. A responsabilidade é uma preocupação cada vez mais complexa e séria à medida que a inteligência artificial se torna mais comum em saúde. Quem é responsável quando a inteligência artificial dá errado e como os acidentes podem ser prevenidos?

O Risco de Erros de Inteligência Artificial em Saúde

Existem muitos benefícios incríveis da inteligência artificial em saúde, desde a precisão e exatidão aumentadas até tempos de recuperação mais rápidos. A inteligência artificial está ajudando os médicos a fazer diagnósticos, realizar cirurgias e fornecer o melhor cuidado possível para seus pacientes. Infelizmente, erros de inteligência artificial são sempre uma possibilidade.

Existem uma ampla gama de cenários de inteligência artificial que dá errado em saúde. Médicos e pacientes podem usar inteligência artificial como uma ferramenta de tomada de decisão baseada em software ou a inteligência artificial pode ser o cérebro de dispositivos físicos, como robôs. Ambas as categorias têm riscos.

Por exemplo, o que acontece se um robô de cirurgia movido por inteligência artificial falhar durante um procedimento? Isso pode causar uma lesão grave ou até mesmo matar o paciente. Da mesma forma, o que acontece se um algoritmo de diagnóstico de medicamentos recomendar o medicamento errado para um paciente e ele sofrer um efeito colateral negativo? Mesmo que o medicamento não machuque o paciente, um diagnóstico errado pode atrasar o tratamento adequado.

Na raiz dos erros de inteligência artificial, como esses, está a natureza dos modelos de inteligência artificial em si. A maioria da inteligência artificial de hoje usa lógica “caixa preta”, o que significa que ninguém pode ver como o algoritmo toma decisões. A inteligência artificial de caixa preta falta transparência, levando a riscos como viés lógico, discriminação e resultados imprecisos. Infelizmente, é difícil detectar esses fatores de risco até que eles já tenham causado problemas.

Inteligência Artificial que Dá Errado: Quem é o Culpa?

O que acontece quando um acidente ocorre em um procedimento médico movido por inteligência artificial? A possibilidade de inteligência artificial que dá errado sempre estará presente em certa medida. Se alguém se machuca ou pior, é a inteligência artificial a culpada? Não necessariamente.

Quando o Desenvolvedor de Inteligência Artificial é o Culpa

É importante lembrar que a inteligência artificial não é nada mais do que um programa de computador. É um programa de computador altamente avançado, mas ainda é um código, assim como qualquer outro software. Como a inteligência artificial não é sensível ou independente como um ser humano, ela não pode ser responsabilizada por acidentes. Uma inteligência artificial não pode ir a julgamento ou ser condenada à prisão.

Os erros de inteligência artificial em saúde provavelmente seriam responsabilidade do desenvolvedor de inteligência artificial ou do profissional de saúde que monitora o procedimento. Qual parte é culpada por um acidente pode variar de caso para caso.

Por exemplo, o desenvolvedor provavelmente seria culpado se o viés de dados fizesse com que a inteligência artificial desse decisões injustas, imprecisas ou discriminatórias ou tratamento. O desenvolvedor é responsável por garantir que a inteligência artificial funcione como prometido e forneça o melhor tratamento possível para todos os pacientes. Se a inteligência artificial falhar devido à negligência, falta de atenção ou erros por parte do desenvolvedor, o médico não seria responsável.

Quando o Médico ou Fisioterapeuta é o Culpa

No entanto, é possível que o médico ou até mesmo o paciente possam ser responsáveis por inteligência artificial que dá errado. Por exemplo, o desenvolvedor pode fazer tudo certo, dar ao médico instruções detalhadas e esclarecer todos os riscos possíveis. Quando chega a hora do procedimento, o médico pode estar distraído, cansado, esquecido ou simplesmente negligente.

Pesquisas mostram que mais de 40% dos médicos experimentam burnout no trabalho, o que pode levar a falta de atenção, reflexos lentos e má lembrança. Se o médico não cuidar de suas próprias necessidades físicas e psicológicas e sua condição causar um acidente, isso é culpa do médico.

Dependendo das circunstâncias, o empregador do médico pode ser culpado por erros de inteligência artificial em saúde. Por exemplo, o que acontece se um gerente de um hospital ameaçar negar a um médico uma promoção se ele não concordar em trabalhar horas extras? Isso força o médico a se esforçar demais, levando ao burnout. O empregador do médico provavelmente seria responsabilizado em uma situação única como essa.

Quando o Paciente é o Culpa

E se o desenvolvedor de inteligência artificial e o médico fizerem tudo certo, no entanto? Quando o paciente usa uma ferramenta de inteligência artificial de forma independente, um acidente pode ser culpa do paciente. A inteligência artificial que dá errado não é sempre devido a um erro técnico. Pode ser o resultado de uso inadequado ou impróprio.

Por exemplo, talvez um médico explique detalhadamente uma ferramenta de inteligência artificial para o paciente, mas o paciente ignore as instruções de segurança ou insira dados incorretos. Se o uso descuidado ou impróprio resultar em um acidente, é culpa do paciente. Nesse caso, o paciente era responsável por usar a inteligência artificial corretamente ou fornecer dados precisos e negligenciou fazer isso.

Mesmo quando os pacientes conhecem suas necessidades médicas, eles podem não seguir as instruções do médico por vários motivos. Por exemplo, 24% dos americanos que tomam medicamentos com prescrição relatam ter dificuldade em pagar por seus medicamentos. Um paciente pode pular a medicação ou mentir para uma inteligência artificial sobre tomar um medicamento porque está envergonhado por não poder pagar por sua prescrição.

Se o uso inadequado do paciente foi devido à falta de orientação do médico ou do desenvolvedor de inteligência artificial, a culpa pode ser de outra pessoa. No final, depende de onde ocorreu o acidente ou erro.

Regulamentações e Soluções Potenciais

Existe uma maneira de prevenir erros de inteligência artificial em saúde? Embora nenhum procedimento médico seja completamente livre de riscos, existem maneiras de minimizar a probabilidade de resultados adversos.

As regulamentações sobre o uso de inteligência artificial em saúde podem proteger os pacientes contra ferramentas e procedimentos de inteligência artificial de alto risco. A FDA já tem quadros regulamentares para dispositivos médicos de inteligência artificial, esclarecendo os requisitos de teste e segurança e o processo de revisão. As principais organizações de supervisão médica também podem intervir para regular o uso de dados de pacientes com algoritmos de inteligência artificial nos próximos anos.

Além de regulamentações rigorosas, razoáveis e completas, os desenvolvedores devem tomar medidas para prevenir cenários de inteligência artificial que dá errado. A inteligência artificial explicável — também conhecida como inteligência artificial de caixa branca — pode resolver as preocupações de transparência e viés de dados. Os modelos de inteligência artificial explicável são algoritmos emergentes que permitem que os desenvolvedores e usuários acessem a lógica do modelo.

Quando os desenvolvedores de inteligência artificial, médicos e pacientes podem ver como uma inteligência artificial está chegando às suas conclusões, é muito mais fácil identificar o viés de dados. Os médicos também podem detectar mais rapidamente erros factuais ou informações ausentes. Ao usar inteligência artificial explicável em vez de inteligência artificial de caixa preta, os desenvolvedores e os provedores de saúde podem aumentar a confiabilidade e eficácia da inteligência artificial médica.

Inteligência Artificial de Saúde Segura e Eficaz

A inteligência artificial pode fazer coisas incríveis no campo médico, potencialmente até mesmo salvando vidas. Sempre haverá alguma incerteza associada à inteligência artificial, mas os desenvolvedores e as organizações de saúde podem tomar medidas para minimizar esses riscos. Quando os erros de inteligência artificial em saúde ocorrem, os conselheiros jurídicos provavelmente determinarão a responsabilidade com base no erro raiz do acidente.