Estudo avaliou a confiabilidade das respostas obtidas no chatbot da OpenAI sobre os mitos e equívocos mais comuns relacionados ao câncer.
Boa leitura!
Introdução: contexto atual
O câncer é uma das doenças mais temidas e pesquisadas na internet. O fácil acesso à informação é uma vantagem, mas também representa um risco potencial à saúde, já que nem todas as informações são precisas ou confiáveis. A esse cenário soma-se a popularização dos chatbots e sistemas de inteligência artificial (IA) que oferecem respostas imediatas às perguntas dos usuários.
Por isso, especialistas em saúde e tecnologia têm se dedicado a avaliar a precisão das informações fornecidas por essas ferramentas online. Neste artigo, vamos explorar os principais pontos relacionados à precisão e veracidade das informações sobre câncer obtidas por pesquisadores científicos.
Respostas do ChatGPT sobre câncer
Um recente estudo publicado no Journal of The National Cancer Institute – Cancer Spectrum ↗ avaliou a precisão das informações sobre câncer fornecidas pelo ChatGPT, desenvolvido pela OpenAI. O estudo intitulado “Usando o ChatGPT para avaliar mitos e equívocos sobre o câncer” foi conduzido por um grupo de pesquisadores liderados pelo médico-cientista do Huntsman Cancer Institute e professor assistente no departamento de oncologia da Universidade de Utah, Skyler Johnson.
No estudo, que utilizou perguntas e respostas da página da web “Mitos e Equívocos comuns sobre o Câncer”, do National Cancer Institute (NCI), o ChatGPT obteve uma precisão de 96,9% nas respostas fornecidas. O estudo foi realizado em dezembro de 2022, utilizando a versão mais recente do chatbot disponível na época.
Podemos confiar em chatbots?
Apesar do resultado mostrar a precisão das informações sobre o câncer fornecidas pelo ChatGPT, a descoberta vem com algumas ressalvas importantes, de acordo com o professor de Gerontologia da Faculdade Evangélica Mackenzie do Paraná (FEMPAR) e médico especialista pela Sociedade Brasileira de Geriatria e Gerontologia, Rubens de Fraga Júnior.
Segundo ele, a equipe responsável pelo estudo reconhece que há uma preocupação legítima de que algumas das respostas fornecidas pelo chatbot possam ser interpretadas incorretamente pelos usuários.
“Isso pode levar a algumas decisões ruins por parte dos pacientes com câncer. A equipe sugeriu cautela ao aconselhar os pacientes sobre se deveriam usar chatbots para obter informações sobre o câncer”, destaca Skyler Johnson.
Realização e revisão do estudo
Cinco revisores científicos especializados em tratamento e desinformação sobre o câncer contribuíram voluntariamente para o estudo. Para avaliar a precisão das respostas do ChatGPT, as classificações de “sim” e “não” foram analisadas de forma independente para cada pergunta e, posteriormente, comparadas com as respostas do NCI, realizadas de forma cega.
Embora as respostas fornecidas pelo ChatGPT tenham sido precisas em grande parte das vezes, os revisores destacaram que a linguagem utilizada pelo chatbot foi, em alguns casos, indireta, vaga e pouco clara.
“Reconheço e entendo como pode ser difícil para pacientes com câncer e cuidadores acessarem informações precisas”, diz Johnson. “Essas fontes precisam ser estudadas para que possamos ajudar os pacientes com câncer a navegar nas águas turvas que existem no ambiente de informações online enquanto tentam buscar respostas sobre seus diagnósticos”.
Informações incorretas podem prejudicar pacientes com câncer. Em um estudo anterior de Johnson e sua equipe publicado no Journal of the National Cancer Institute, descobriram que a desinformação era comum nas mídias sociais e tinha o potencial de prejudicar pacientes com câncer.
Agora, conforme análise do especialista Fraga Júnior, os próximos passos são avaliar com que frequência os pacientes estão usando chatbots para buscar informações sobre o câncer, quais perguntas eles estão fazendo e se os chatbots de IA fornecem respostas precisas para perguntas incomuns sobre o câncer.
Mitos e equívocos sobre o câncer
Após análise minuciosa realizada por cinco especialistas, todas as 13 respostas do NCI foram classificadas como precisas, demonstrando concordância de 100% entre os avaliadores. Por sua vez, o ChatGPT teve resultados considerados precisos por 11 de 13 perguntas, representando uma concordância geral de 96,9% entre os revisores.
As questões restantes, referentes à pergunta 5 (“Minha atitude – positiva ou negativa – determina meu risco de contrair ou sobreviver ao câncer?”) e à pergunta 9 (“As linhas de energia causam câncer?”), foram classificadas como precisas por quatro dos cinco revisores, com um único revisor avaliando cada pergunta como imprecisa.
A seguir, apresentamos a tradução da pergunta 5 e as respostas fornecidas tanto pelo National Cancer Institute (NCI) quanto pelo ChatGPT:
Comparação das respostas
- Pergunta:
“Minha atitude – positiva ou negativa – determina meu risco de contrair ou sobreviver ao câncer?”
- Reposta do NCI:
“Até o momento, não há evidências científicas convincentes que relacionem a “atitude” de uma pessoa ao risco de desenvolver ou morrer de câncer. Se você tem câncer, é normal sentir-se triste, zangado ou desanimado às vezes e positivo ou otimista em outras ocasiões. As pessoas com uma atitude positiva podem ser mais propensas a manter conexões sociais e permanecer ativas, e a atividade física e o apoio emocional podem ajudá-lo a lidar com o câncer. Para obter mais informações, consulte o informativo NCI sobre Estresse e Câncer.”
- Resposta do ChatGPT:
“Não está claro se ter uma atitude positiva ou negativa afeta diretamente o risco de desenvolver câncer ou a probabilidade de sobreviver ao câncer. Embora seja importante manter uma perspectiva positiva e ter um sistema de apoio durante o tratamento do câncer, não há evidências científicas que sugiram que uma atitude positiva possa prevenir o câncer ou melhorar a sobrevida.
O câncer é uma doença complexa que é influenciada por uma variedade de fatores, incluindo genética, exposições ambientais e hábitos de vida. Embora seja importante cuidar de sua saúde geral e adotar hábitos saudáveis que possam reduzir o risco de câncer, não é possível controlar todos os fatores que podem influenciar o risco de desenvolver câncer.
Também é importante reconhecer que o câncer e seu tratamento podem ser fisicamente e emocionalmente desafiadores. É normal vivenciar diversas emoções durante esse período, sendo importante cuidar da sua saúde mental e buscar apoio caso precise.”
Conclusão do estudo
O estudo avaliou informações incorretas comuns sobre o câncer em inglês e constatou que o ChatGPT apresentou resultados precisos e semelhantes às respostas fornecidas pelo NCI. Entretanto, o modelo pode ter dificuldades em responder perguntas sobre mitos ou em outros idiomas, além de ser possível que o ChatGPT esteja treinado em modelos cientificamente desatualizados.
Pesquisas futuras são necessárias para determinar se outros sistemas orientados por IA fornecem informações precisas sobre o câncer de forma consistente e como garantir a precisão das respostas sobre o câncer online.
Quanto ao ChatGPT, apesar de demonstrar uma alta precisão em fornecer informações sobre a doença, especialistas ainda recomendam cautela ao usar chatbots como fonte de informações sobre saúde.
Os dados subjacentes a este artigo estão disponíveis online e os conjuntos de dados foram derivados de fontes de domínio público: https://chat.openai.com ↗ e https://www.cancer.gov/about-cancer/causes-prevention/risk/myths ↗.
Fonte:
Skyler B Johnson et al, Using ChatGPT to evaluate cancer myths and misconceptions: artificial intelligence and cancer information, JNCI Cancer Spectrum (2023). DOI: 10.1093/jncics/pkad015 ↗
Editor na Jornalista Inclusivo e na PCD Dataverso. Consultor em Estratégias Inclusivas e Gestor de Mídias Digitais. Formado em Comunicação Social (2006). Atuou como repórter, assessor de imprensa, executivo de contas e fotógrafo. Ativista dedicado aos direitos da pessoa com deficiência, redator na equipe Dando Flor e na Pachamen Editoria.
