ChatGPT supera médicos em análise em consultas, aponta estudo nos EUA

Pesquisa publicada no JAMA Internal Medicine concluiu que o raciocínio clínico do chatbot de inteligência artificial (IA) ChatGPT-4 pode ser igual ou mais preciso do que dos médicos. O dado foi levantado pelos cientistas do Beth Israel Deaconess Medical Center, hospital vinculado à universidade de Havard.

+ Confira as últimas notícias de Tecnologia

Foram comparadas as justificativas de diagnóstico de 20 casos escritos por médicos assistentes, por residentes e pela inteligência artificial da OpenAI.

“Existem várias etapas por trás de um diagnóstico, por isso queríamos avaliar se os LLMs são tão bons quanto os médicos para fazer esse tipo de raciocínio clínico. É uma descoberta surpreendente que essas coisas consigam mostrar raciocínio equivalente, ou melhor, do que as pessoas ao longo da evolução do caso clínico”, avalia o pesquisador-médico Adam Rodman, investigador do Beth Israel Deaconess Medical Center.

Por meio de um modelo de avaliação científico, foi identificado que o chatbot de IA superou os profissionais de saúde.

Segundo a pesquisa acadêmica, foi utilizada a ferramenta r-IDEA, que tem a finalidade de atribuir uma nota para o raciocínio clínico dos médicos.

• 21 médicos e 18 assistentes participaram da pesquisa;
• Estudo aconteceu em quatro etapas de diagnóstico;
• O ChatGPT-4 recebeu as mesmas instruções que os médicos humanos;
• Na primeira etapa, é feito o dado da triagem, quando o paciente informa o médico sobre o que está incomodando, sendo colhidos seus sinais vitais;

• Na segunda etapa, são adicionadas outras informações sobre o paciente;

• Na terceira fase, acontece o exame físico;

• E na etapa final acontecem os testes diagnósticos e exames de imagens.

Os participantes do estudo e o chatbot escreveram o diagnóstico e justificativas de cada etapa; depois, as respostas foram comparadas com a IA e levadas ao sistema de avaliação r-IDEA para registrar a nota final.

Por 10 a 9, GPT-4 supera os médicos, com ressalvas

O estudo dos cientistas mostra que o ChatGPT-4 obteve a maior nota no r-IDEA, superando os médicos, conseguindo a nota 10.

• Os médicos assistentes alcançaram a nota 9 e os residentes 8.

• Sobre a precisão de análise na consulta, o chatbot e os médicos empataram.

No entanto, foi identificado que o GPT-4 tinha mais informações erradas no raciocínio clínico do que os profissionais de saúde.

+ Confira a pesquisa no jornal de medicina JAMA (em inglês, pdf)

Calma, calma! O chatbot não substitui os médicos

Os pesquisadores concluíram que a inteligência artificial pode auxiliar os profissionais nos diagnósticos e prevenção de erros. Por isso, continua longe a possibilidade da tecnologia de IA substituir os humanos plenamente nesta área.

“Ficou claro desde muito cedo que os LLMs podem fazer diagnósticos, mas qualquer pessoa que pratique medicina sabe que a medicina envolve muito mais do que isso”, avalia Rodman.

Os cientistas analisam que serão necessários mais estudos sobre como integrar a IA aos raciocínios clínicos.

A ferramenta ainda pode ser usada como apoio no uso de informações importantes, assim como um importante parceiro nos diagnósticos, pode também aprimorar a interação entre paciente e médico, para análises mais eficientes.

“Minha maior esperança é que a IA melhore a interação médico-paciente, reduzindo algumas das ineficiências que temos atualmente e nos permita focar mais na conversa que temos com nossos pacientes”, analisa a pesquisadora-doutora Stephanie Cabral.