Ittai Dayan, MD, Co-fundador e CEO da Rhino Health – Série de Entrevistas

Ittai Dayan, MD é o co-fundador e CEO da Rhino Health. Sua formação é em desenvolvimento de inteligência artificial e diagnósticos, bem como medicina clínica e pesquisa. Ele é um ex-membro do núcleo da prática de saúde da BCG e executivo de hospital. Atualmente, ele está focado em contribuir para o desenvolvimento de inteligência artificial segura, equitativa e impactante na indústria de saúde e ciências da vida. Na Rhino Health, eles estão usando computação distribuída e Aprendizado Federado como meio para manter a privacidade do paciente e fomentar a colaboração em todo o paisagem de saúde fragmentada.

Ele serviu nas Forças Especiais do IDF, liderou o maior centro de tradução de AI baseado em academia-médica no mundo. Ele é um especialista em desenvolvimento e comercialização de AI e um corredor de longa distância.

Poderia compartilhar a história de criação da Rhino Health?

Minha jornada em AI começou quando eu era um clínico e pesquisador, usando uma forma inicial de ‘biomarcador digital’ para medir a resposta ao tratamento em distúrbios mentais. Mais tarde, eu fui liderar o Centro de Ciência de Dados Clínicos (CCDS) no Mass General Brigham. Lá, eu supervisionei o desenvolvimento de dezenas de aplicações clínicas de AI e testemunhei pessoalmente os desafios subjacentes associados ao acesso e ‘ativação’ dos dados necessários para desenvolver e treinar produtos de AI de nível regulatório.

Apesar dos muitos avanços em AI na saúde, a estrada do desenvolvimento ao lançamento de um produto no mercado é longa e frequentemente irregular. Soluções falham (ou simplesmente desapontam) uma vez implantadas clinicamente, e apoiar o ciclo de vida completo de AI é quase impossível sem acesso contínuo a uma grande quantidade de dados clínicos. O desafio mudou de criar modelos para manter eles. Para responder a esse desafio, eu convenci o sistema do Mass General Brigham do valor de ter seu próprio ‘CRO especializado em AI’ (CRO = Organização de Pesquisa Clínica), para testar algoritmos de vários desenvolvedores comerciais.

No entanto, o problema permaneceu – os dados de saúde ainda estão muito isolados, e mesmo uma grande quantidade de dados de uma rede não é suficiente para combater os alvos cada vez mais estreitos da AI médica. No verão de 2020, eu iniciei e liderei (junto com a Dra. Mona Flores da NVIDIA (NVDA )) o maior estudo de Aprendizado Federado (FL) em saúde na época, EXAM. Usamos FL para criar um modelo preditivo de resultados de COVID, aproveitando dados de todo o mundo, sem compartilhar nenhum dado. Posteriormente publicado na Nature Medicine, esse estudo demonstrou o impacto positivo de aproveitar conjuntos de dados diversificados e dispersos e sublinhou o potencial para um uso mais amplo do Aprendizado Federado em saúde.

Essa experiência, no entanto, elucidou uma série de desafios. Esses incluíam orquestrar dados em sites colaboradores, garantir a rastreabilidade e caracterização adequada dos dados, bem como a carga colocada nos departamentos de TI de cada instituição, que tinham que aprender tecnologias de ponta que não estavam acostumados. Isso exigia uma nova plataforma que apoiasse essas novas ‘colaborações de dados distribuídos’. Eu decidi me juntar ao meu co-fundador, Yuval Baror, para criar uma plataforma de ponta a ponta para apoiar colaborações que preservam a privacidade. Essa plataforma é a ‘Plataforma de Saúde Rhino’, que aproveita FL e computação de borda.

Por que você acredita que os modelos de AI frequentemente falham em entregar os resultados esperados em um ambiente de saúde?

A AI médica é frequentemente treinada em conjuntos de dados pequenos e estreitos, como conjuntos de dados de uma única instituição ou região geográfica, o que leva ao modelo resultante a funcionar bem apenas nos tipos de dados que ele viu. Uma vez que o algoritmo é aplicado a pacientes ou cenários que diferem do conjunto de dados de treinamento estreito, o desempenho é severamente impactado.

Andrew Ng capturou a ideia bem quando disse: “Verificou-se que, quando coletamos dados do Hospital de Stanford… podemos publicar artigos mostrando [os algoritmos] são comparáveis a radiologistas humanos em detectar certas condições. … [Quando] você leva esse mesmo modelo, esse mesmo sistema de AI, para um hospital mais antigo na rua, com uma máquina mais antiga, e o técnico usa um protocolo de imagem ligeiramente diferente, esse desvio de dados causa o desempenho do sistema de AI a degrada significativamente.” ³

Em resumo, a maioria dos modelos de AI não é treinada em dados suficientemente diversificados e de alta qualidade, resultando em um desempenho ‘no mundo real’ ruim. Essa questão foi bem documentada em círculos científicos e mainstream, como em Science e Politico.

Quão importante é testar em grupos de pacientes diversificados?

Testar em grupos de pacientes diversificados é crucial para garantir que o produto de AI resultante seja não apenas eficaz e performático, mas também seguro. Algoritmos não treinados ou testados em grupos de pacientes suficientemente diversificados podem sofrer de viés algorítmico, uma questão séria em saúde e tecnologia de saúde. Não apenas esses algoritmos refletirão o viés presente nos dados de treinamento, mas também exacerbarão esse viés e agravarão as desigualdades raciais, étnicas, religiosas, de gênero, etc. existentes em saúde. A falha em testar em grupos de pacientes diversificados pode resultar em produtos perigosos.

Um estudo recentemente publicado ⁵, que aproveitou a Plataforma de Saúde Rhino, investigou o desempenho de um algoritmo de AI que detecta aneurismas cerebrais desenvolvido em um site em quatro sites diferentes com vários tipos de scanners. Os resultados demonstraram uma variabilidade significativa de desempenho em sites com vários tipos de scanners, enfatizando a importância de treinar e testar em conjuntos de dados diversificados.

Como você identifica se uma subpopulação não está representada?

Uma abordagem comum é analisar as distribuições de variáveis em diferentes conjuntos de dados, individualmente e combinados. Isso pode informar os desenvolvedores tanto ao preparar ‘conjuntos de dados de treinamento’ quanto ‘conjuntos de dados de validação’. A Plataforma de Saúde Rhino permite que você faça isso, e, além disso, os usuários podem ver como o modelo se sai em várias coortes para garantir generalizabilidade e desempenho sustentável em subpopulações.

Poderia descrever o que é Aprendizado Federado e como ele resolve alguns desses problemas?

Aprendizado Federado (FL) pode ser amplamente definido como o processo pelo qual os modelos de AI são treinados e continuam a melhorar ao longo do tempo, usando dados dispersos, sem a necessidade de compartilhar ou centralizar dados. Isso é um grande salto à frente no desenvolvimento de AI. Historicamente, qualquer usuário que deseje colaborar com vários sites deve reunir esses dados, induzindo uma miríade de questões legais, de risco e de conformidade onerosas e caras.

Hoje, com software como a Plataforma de Saúde Rhino, FL está se tornando uma realidade diária em saúde e ciências da vida. O Aprendizado Federado permite que os usuários explorem, curam e validem dados enquanto esses dados permanecem nos servidores locais dos colaboradores. O código contêinerizado, como um algoritmo de AI/ML ou uma aplicação analítica, é enviado ao servidor local onde a execução desse código, como o treinamento ou validação de um algoritmo de AI/ML, é realizada ‘localmente’. Os dados, portanto, permanecem com o ‘guardião de dados’ em todos os momentos.

Os hospitais, em particular, estão preocupados com os riscos associados à agregação de dados de pacientes sensíveis. Isso já levou a situações embaraçosas, onde ficou claro que organizações de saúde colaboraram com a indústria sem entender exatamente o uso de seus dados. Em vez disso, eles limitam a quantidade de colaboração que tanto a indústria quanto os pesquisadores acadêmicos podem fazer, retardando o desenvolvimento de produtos e impactando a qualidade de produtos em toda a indústria de saúde. O FL pode mitigar isso e permitir colaborações de dados como nunca antes, enquanto controla o risco associado a essas colaborações.

Poderia compartilhar a visão da Rhino Health para permitir a criação rápida de modelos usando dados mais diversificados?

Nós vislumbramos um ecossistema de desenvolvedores e usuários de AI, colaborando sem medo ou restrição, enquanto respeitam os limites das regulamentações. Os colaboradores são capazes de identificar rapidamente os dados de treinamento e teste necessários de várias geografias, acessar e interagir com esses dados e iterar no desenvolvimento do modelo para garantir suficiente generalizabilidade, desempenho e segurança.

No centro disso, está a Plataforma de Saúde Rhino, fornecendo uma ‘loja de tudo’ para desenvolvedores de AI construírem conjuntos de dados massivos e diversificados, treinar e validar algoritmos de AI e monitorar e manter produtos de AI implantados continuamente.

Como a plataforma de Saúde Rhino impede o viés de AI e oferece explicabilidade de AI?

Ao desbloquear e agilizar as colaborações de dados, os desenvolvedores de AI podem aproveitar conjuntos de dados maiores e mais diversificados no treinamento e teste de suas aplicações. O resultado de conjuntos de dados mais robustos é um produto mais generalizável que não está sobrecarregado com os vieses de uma única instituição ou conjunto de dados estreito. Em apoio à explicabilidade de AI, nossa plataforma fornece uma visão clara dos dados utilizados durante o processo de desenvolvimento, com a capacidade de analisar a origem dos dados, distribuições de valores e outras métricas-chave para garantir diversidade e qualidade de dados adequadas. Além disso, nossa plataforma permite funcionalidades que não são possíveis se os dados forem simplesmente reunidos, incluindo permitir que os usuários melhorem ainda mais seus conjuntos de dados com variáveis adicionais, como aquelas calculadas a partir de pontos de dados existentes, para investigar inferência causal e mitigar fatores de confusão.

Como você responde a médicos que estão preocupados que uma dependência excessiva de AI possa levar a resultados tendenciosos que não são validados de forma independente?

Nós nos solidarizamos com essa preocupação e reconhecemos que muitas aplicações no mercado hoje podem, de fato, ser tendenciosas. Nossa resposta é que devemos nos unir como uma indústria, como uma comunidade de saúde que está, antes de mais nada, preocupada com a segurança do paciente, para definir políticas e procedimentos para prevenir esses vieses e garantir aplicações de AI seguras e confiáveis. Os desenvolvedores de AI têm a responsabilidade de garantir que seus produtos de AI sejam validados de forma independente para alcançar a confiança dos profissionais de saúde e dos pacientes. A Rhino Health está dedicada a apoiar produtos de AI seguros e confiáveis e está trabalhando com parceiros para permitir e agilizar a validação independente de aplicações de AI antes do seu implante em ambientes clínicos, desbloqueando as barreiras para os dados de validação necessários.

Qual é a sua visão para o futuro da AI em saúde?

A visão da Rhino Health é de um mundo onde a AI alcançou seu potencial completo em saúde. Estamos trabalhando diligentemente para criar transparência e fomentar a colaboração, assegurando a privacidade para permitir esse mundo. Nós vislumbramos uma AI em saúde que não é limitada por firewalls, geografias ou restrições regulamentares. Os desenvolvedores de AI terão acesso controlado a todos os dados de que precisam para construir modelos generalizáveis e poderosos – e para monitorar e melhorar continuamente com um fluxo de dados em tempo real. Os provedores e pacientes terão a confiança de saber que não perdem o controle sobre seus dados e podem garantir que eles estão sendo usados para o bem. As organizações de saúde pública se beneficiarão desses avanços em AI, enquanto os pacientes e provedores descansam tranquilos sabendo que a privacidade é protegida. Agradecemos pela grande entrevista; leitores que desejam aprender mais devem visitar Rhino Health.