O desenvolvimento do Foresight, um modelo de inteligência artificial (IA), tem gerado um debate considerável devido à sua dependência de um vasto conjunto de dados de 57 milhões de registros médicos do National Health Service (NHS) na Inglaterra. Enquanto os proponentes apregoam seu potencial para revolucionar a assistência médica através da previsão de doenças e da previsão de hospitalizações, os críticos manifestam sérias preocupações sobre a privacidade do paciente e a proteção de dados. Este artigo se aprofunda nas complexidades do Foresight, examinando suas capacidades, os dilemas éticos que ele apresenta e as salvaguardas implementadas para mitigar os riscos potenciais.
Foresight: Um Modelo de IA Generativa de Escala Nacional
O Foresight, concebido em 2023, inicialmente utilizou o GPT-3 da OpenAI, a tecnologia que sustenta a primeira iteração do ChatGPT, e foi treinado em 1,5 milhão de registros de pacientes de dois hospitais de Londres. Chris Tomlinson, da University College London, e sua equipe expandiram desde então o Foresight, marcando-o como o primeiro “modelo de IA generativa de dados de saúde em escala nacional” do mundo. Esta versão aprimorada alavanca o LLM de código aberto Llama 2 da Meta e incorpora oito conjuntos de dados distintos rotineiramente acumulados pelo NHS na Inglaterra de novembro de 2018 a dezembro de 2023. Esses conjuntos de dados abrangem consultas ambulatoriais, internações hospitalares, registros de vacinação e outros eventos relacionados à saúde, totalizando 10 bilhões de pontos de dados em 57 milhões de indivíduos – essencialmente toda a população da Inglaterra.
Apesar da falta de métricas de desempenho disponíveis publicamente devido aos testes em andamento, Tomlinson afirma que o Foresight poderia eventualmente facilitar diagnósticos individuais e prever tendências de saúde mais amplas, como hospitalizações ou ataques cardíacos. Ele enfatizou o potencial do modelo para prever complicações de doenças preventivamente, permitindo a intervenção precoce e uma mudança em direção à assistência médica preventiva em escala durante uma conferência de imprensa em 6 de maio.
Preocupações com Privacidade e Proteção de Dados
A perspectiva de alimentar dados médicos tão extensos em um modelo de IA despertou preocupações sobre privacidade. Embora os pesquisadores afirmem que todos os registros foram “desidentificados” antes de treinar a IA, o risco de reidentificação através da análise de padrões de dados permanece uma preocupação significativa, especialmente com grandes conjuntos de dados.
Luc Rocher, da Universidade de Oxford, destaca o desafio inerente de salvaguardar a privacidade do paciente enquanto constrói poderosos modelos de IA generativa. A própria riqueza de dados que torna os dados valiosos para fins de IA também torna incrivelmente difícil anonimizar. Rocher defende um controle rigoroso do NHS sobre esses modelos para garantir um uso seguro.
Michael Chapman, do NHS Digital, reconhece o risco inerente de reidentificação, mesmo com dados desidentificados. Embora os identificadores diretos sejam removidos, a riqueza dos dados de saúde torna difícil garantir o anonimato completo.
Para combater este risco, Chapman afirmou que a IA opera dentro de um ambiente de dados do NHS “seguro”, restringindo o vazamento de informações e garantindo o acesso apenas a pesquisadores aprovados. Amazon Web Services e Databricks fornecem infraestrutura computacional, mas não podem acessar os dados.
Yves-Alexandre de Montjoye, do Imperial College London, sugere verificar a capacidade de um modelo de memorizar dados de treinamento para detectar possíveis vazamentos de informações. Quando questionado pela New Scientist, Tomlinson admitiu que a equipe do Foresight ainda não havia realizado esses testes, mas planejava fazê-lo no futuro.
Confiança Pública e Uso de Dados
Caroline Green, da Universidade de Oxford, enfatiza a importância de comunicar o uso de dados ao público para manter a confiança. Apesar dos esforços de anonimização, as pessoas geralmente querem controlar seus dados e entender seu destino, o que as faz sentir muito fortemente sobre a ética disso.
Os controles atuais oferecem opções limitadas para que os indivíduos optem por não participar do uso de dados pelo Foresight. Os dados de conjuntos de dados do NHS coletados nacionalmente são usados para treinar o modelo, e os mecanismos de exclusão existentes não se aplicam porque os dados foram “desidentificados”, de acordo com um porta-voz do NHS England. No entanto, os indivíduos que optaram por não compartilhar dados de seu médico de família não terão seus dados incluídos no modelo.
GDPR e Anonimização de Dados
O Regulamento Geral de Proteção de Dados (GDPR) determina que os indivíduos tenham a opção de retirar o consentimento para o uso de seus dados pessoais. No entanto, o processo de treinamento de LLMs como o Foresight torna impossível remover um único registro da ferramenta de IA. O porta-voz do NHS England afirma que o GDPR não se aplica porque os dados usados para treinar o modelo são anonimizados e não constituem dados pessoais.
O site do UK Information Commissioner’s Office esclarece que os dados “desidentificados” não devem ser usados de forma intercambiável com dados anônimos, pois a lei de proteção de dados do Reino Unido não define o termo, e seu uso pode levar à confusão.
A posição legal é ainda mais complicada pelo uso atual do Foresight para pesquisa relacionada à COVID-19, que permite exceções às leis de proteção de dados promulgadas durante a pandemia, de acordo com Sam Smith, da medConfidential. Smith afirma que a IA somente para COVID provavelmente contém dados de pacientes incorporados que não deveriam sair do laboratório, e os pacientes deveriam ter controle sobre o uso de seus dados.
Considerações Éticas
As considerações éticas em torno do uso de dados médicos para o desenvolvimento de IA colocam o Foresight em uma posição precária. Green argumenta que a ética e as considerações humanas devem ser o ponto de partida para o desenvolvimento de IA, em vez de uma reflexão tardia.
Examinando as Preocupações Mais Profundamente
As preocupações em torno do uso de registros médicos do NHS pelo Foresight se estendem além da mera privacidade de dados. Elas tocam em questões fundamentais sobre a propriedade de informações pessoais de saúde, o potencial de viés algorítmico e o impacto a longo prazo da IA no relacionamento médico-paciente.
Propriedade e Controle de Dados de Saúde
Um dos dilemas éticos centrais é a extensão em que os indivíduos devem ter controle sobre seus próprios dados de saúde. Embora o NHS, sem dúvida, exija acesso às informações do paciente para fornecer atendimento eficaz, o uso desses dados para treinamento de IA levanta questões sobre se os indivíduos são adequadamente informados e capacitados para consentir com esses usos secundários.
Os mecanismos de exclusão atuais são insuficientes, pois não abordam totalmente as complexidades do treinamento de IA. O argumento de que os dados desidentificados não são mais dados pessoais sob o GDPR é uma interpretação legal que ignora a realidade de que mesmo os dados anonimizados podem potencialmente ser reidentificados ou usados para tirar inferências sobre indivíduos.
Uma abordagem mais robusta envolveria a implementação de um sistema de consentimento informado que descreva explicitamente como os dados do paciente podem ser usados para pesquisa e desenvolvimento de IA. Isso exigiria explicações claras e acessíveis dos benefícios e riscos potenciais de tais usos, bem como fornecer aos indivíduos uma oportunidade significativa de participar ou não.
Viés Algorítmico
Outra preocupação significativa é o potencial de viés algorítmico em modelos de IA treinados em grandes conjuntos de dados. Se os dados usados para treinar o Foresight refletirem as disparidades de saúde existentes, o modelo pode perpetuar e até mesmo amplificar essas desigualdades.
Por exemplo, se certos grupos demográficos estiverem sub-representados no conjunto de dados ou se suas condições médicas forem diagnosticadas incorretamente ou subtratadas, a IA pode ser menos precisa na previsão de doenças ou hospitalizações para esses grupos. Isso poderia levar ao acesso desigual a recursos de saúde e potencialmente exacerbar as desigualdades de saúde existentes.
Para mitigar o risco de viés algorítmico, é essencial analisar cuidadosamente os dados usados para treinar o Foresight e identificar e abordar quaisquer vieses potenciais. Isso pode envolver a superamostragem de grupos sub-representados, a correção de imprecisões nos dados e o desenvolvimento de algoritmos especificamente projetados para serem justos e equitativos.
Impacto no Relacionamento Médico-Paciente
O uso crescente de IA na assistência médica tem o potencial de alterar o relacionamento médico-paciente tradicional de maneiras profundas. Embora a IA possa, sem dúvida, ajudar os médicos a tomar decisões mais informadas, é crucial garantir que ela não substitua o elemento humano do atendimento.
Os pacientes precisam se sentir confiantes de que seus médicos estão usando a IA como uma ferramenta para aprimorar seu julgamento clínico, não como um substituto para ele. O relacionamento médico-paciente deve permanecer um de confiança, empatia e tomada de decisão compartilhada.
Para salvaguardar o relacionamento médico-paciente, é importante enfatizar a importância da interação humana e da comunicação na assistência médica. Os médicos devem ser treinados para comunicar eficazmente o papel da IA em seu processo de tomada de decisão e para abordar quaisquer preocupações que os pacientes possam ter.
Encontrando um Caminho a Seguir
Navegar pelo complexo cenário ético e legal em torno da IA na assistência médica requer uma abordagem multifacetada.
- Transparência e Engajamento Público: Comunique abertamente como os dados do paciente são usados e envolva o público em discussões sobre as implicações éticas da IA na assistência médica.
- Fortalecimento da Proteção de Dados: Implemente medidas de proteção de dados mais rigorosas para minimizar o risco de reidentificação e garantir que os indivíduos tenham maior controle sobre seus dados de saúde.
- Abordagem do Viés Algorítmico: Identifique e mitigue ativamente o viés algorítmico em modelos de IA para garantir o acesso equitativo à assistência médica para todos.
- Priorização do Atendimento Centrado no Humano: Enfatize a importância do relacionamento médico-paciente e garanta que a IA seja usada como uma ferramenta para aprimorar, não substituir, a interação humana.
Ao abordar essas preocupações, podemos aproveitar o potencial transformador da IA na assistência médica, salvaguardando a privacidade do paciente, promovendo a equidade e preservando o elemento humano do atendimento. O futuro da assistência médica depende da nossa capacidade de navegar nesses desafios de forma responsável e ética. Só então podemos garantir que a IA sirva verdadeiramente os melhores interesses dos pacientes e da sociedade como um todo.