Um novo estudo científico acendeu um alerta sobre o uso de ferramentas de inteligência artificial como fonte de informação médica por pessoas comuns. A pesquisa mostra que a qualidade das respostas fornecidas por chatbots populares cai drasticamente quando essas tecnologias são utilizadas por leigos, e não por especialistas.

O trabalho, publicado nesta segunda-feira (9) na revista Nature Medicine, foi conduzido por pesquisadores da Universidade de Oxford. O estudo analisou como a forma de fazer perguntas influencia diretamente as respostas geradas por grandes modelos de linguagem (LLMs), como o ChatGPT e o Llama.

Essas ferramentas ganharam fama recente por acertarem questões complexas usadas em provas de proficiência médica. No entanto, segundo os cientistas, esse desempenho não se repete quando os sistemas são usados diretamente por pacientes.

Veja também

Estudo da NASA reforça possibilidade de vida antiga em Marte

Inteligência artificial ganha espaço na proteção ambiental e promete revolucionar o monitoramento da natureza

A pesquisa envolveu mais de 1.200 voluntários em um experimento on-line. Cada participante recebeu a descrição de sintomas relacionados a condições médicas conhecidas, como cólica renal, rinite alérgica e embolia pulmonar. A missão era identificar o problema e decidir como agir — procurar um pronto-socorro, marcar consulta ou tomar algum medicamento.

Parte dos voluntários teve acesso a chatbots de IA, enquanto outro grupo utilizou apenas fontes tradicionais da internet. Para comparação, os próprios pesquisadores também consultaram diretamente os modelos de IA, sem a intermediação dos usuários.

Os resultados foram preocupantes. Quando os cientistas usaram os LLMs diretamente, as respostas estavam corretas em 94,9% dos casos, e a conduta adequada foi indicada em 56,3% das situações. Já quando pessoas leigas utilizavam a IA, a taxa de acerto caiu para 34,5%, e a decisão correta ocorreu em apenas 44,2% dos casos.

Curiosamente, os participantes que usaram apenas fontes tradicionais de informação tiveram quase o dobro de acertos em comparação com aqueles que recorreram à inteligência artificial. Segundo os autores, os dados mostram que ainda é cedo para considerar a IA como ferramenta de triagem médica ou de cuidados primários.

“Nossos resultados destacam os desafios para o emprego público de LLMs em cuidados diretos ao paciente”, afirmaram os pesquisadores, liderados pelo cientista Andrew Bean. Eles ressaltam que a combinação entre usuários humanos e IA não foi superior ao grupo de controle e apresentou desempenho inferior na identificação de condições clínicas relevantes.

O estudo aponta que o problema não está apenas nos usuários. Muitas vezes, leigos fornecem informações incompletas ou deixam de mencionar sintomas importantes, enquanto a forma como a pergunta é formulada não se assemelha ao padrão técnico usado em avaliações médicas.

Outro estudo, também divulgado nesta segunda-feira (9), reforçou as preocupações. A pesquisa foi liderada por cientistas da escola médica do hospital Mount Sinai, em Nova York, e publicada na revista The Lancet Digital Health.

Nesse trabalho, os pesquisadores testaram a capacidade da IA de identificar informações médicas falsas. Foram analisados conteúdos equivocados retirados do Reddit e também erros inseridos propositalmente em prontuários médicos e documentos clínicos.

Mais de 3,4 milhões de prontuários foram utilizados nos testes. Em média, os modelos de IA falharam em identificar 31,7% das informações incorretas. Mesmo os sistemas mais avançados deixaram passar cerca de 10% dos erros.

Os pesquisadores observaram que os chatbots identificaram falácias com mais facilidade quando elas vinham de textos informais, como os do Reddit, do que quando apareciam em linguagem técnica e com tom clínico.

“Os LLMs ainda absorvem falsidades médicas nocivas, especialmente quando redigidas em linguagem clínica autoritária”, afirmou o pesquisador Mahmud Omar, líder do estudo.

Curtiu? Siga o PORTAL DO ZACARIAS no Facebook, Twitter e no Instagram.

Entre no nosso Grupo de WhatApp, Canal e Telegram 

Os dois trabalhos reforçam que, apesar do avanço da inteligência artificial na área da saúde, confiar nesses sistemas como fonte direta de orientação médica ainda representa riscos significativos. Especialistas alertam que a tecnologia pode ser útil como apoio, mas não substitui avaliação profissional nem deve ser usada de forma isolada por pacientes.