Todo mundo está falando sobre o ChatGPT. Ou melhor, todos falam com ChatGPT. Para quem não conhece este programa, trata-se de um sistema de chat com inteligência artificial que está surpreendendo pessoas nos cinco continentes. Seu funcionamento é aparentemente simples: você pode fazer qualquer pergunta e ele responderá como um ser humano. Milhões de usuários já o utilizam para ajudá-los em tarefas de programação, redação de e-mails, tradução de textos, redação de artigos científicos ou, às vezes, perguntar sobre informações mais confidenciais, como problemas médicos. E, apesar do fato de que ele costuma estar correto em suas respostas, vozes de especialistas alertam que confiar nas informações que ele fornece traz riscos muito sérios.
Um estudo da Escola de Medicina da Universidade de Maryland (Estados Unidos) publicado na revista científica Radiologia que o ChatGPT oferece informações corretas sobre a prevenção do câncer de mama na grande maioria das vezes, mas ainda não está pronto para substituir o médico ou uma simples busca no Google. E é que, em várias das perguntas que os pesquisadores fizeram, a inteligência artificial forneceu informações errado ou mesmo inventado.
De referir que as respostas do ChatGPT assentam no “pré-treinamento” do chatbot com uma enorme quantidade de dados, que inclui informações não confiáveis coletadas da internet ou os próprios usuários que o utilizam. E quanto mais é usado, mais informações a inteligência artificial coleta. Os números são astronômicos: essa tecnologia foi lançada em novembro de 2022 e, em dois meses, atingiu o recorde de 100 milhões de usuários mensais, segundo relatório do banco de investimentos UBS.
O novo estudo, envolvendo o Dr. Paul Yi, professor assistente de Radiologia Diagnóstica e Medicina Nuclear na Universidade de Maryland, testou a capacidade do chatbot de responder a 25 perguntas “fundamentais” sobre o rastreamento do câncer de mama. Essas perguntas correspondem dúvidas que os pacientes expressam com frequência no rastreio desta doença oncológica. Os pesquisadores fizeram ao ChatGPT cada pergunta três vezes, para ver se e como as respostas variavam.
Os resultados do estudo mostraram que o chatbot ofereceu respostas adequadas a 22 perguntas e respostas não confiáveis a 3 delas. Além disso, 2 outras perguntas receberam respostas inconsistentes entre as três vezes em que a mesma pergunta foi feita. “Descobrimos que o ChatGPT respondeu às perguntas corretamente 88% das vezes, o que é bastante impressionante. Também tem o benefício adicional de resumir as informações de maneira digerível”, aplaudiu Yi. Dito isso, ele observou que, em questões de saúde e medicina, uma taxa de erro tão pequena quanto 10% pode ser prejudicial. Na verdade, ele alertou que muitas vezes “inventou coisas”.
Em uma nota positiva, o ChatGPT respondeu corretamente a perguntas sobre sintomas de câncer de mama, quem está em risco e perguntas sobre recomendações de custo, idade e frequência para mamografias. No entanto, suas respostas são limitadas em escopo. “Mesmo quando estão tecnicamente corretos, podem oferecer uma perspectiva distorcida.“, alerta Yi. Por exemplo, quando perguntavam sobre os exames de rastreamento do câncer de mama, a resposta oferecida pelo chat era uma mera transcrição das recomendações da American Academy Against Cancer (American Cancer Society), omitindo os conselhos de outros grupos médicos.
Além disso, forneceu uma resposta desatualizada sobre o planejamento de uma mamografia em torno da vacinação contra a Covid-19. O chatbot aconselhou a adiar este teste vital para a deteção precoce do cancro da mama entre quatro e seis semanas após ter sido vacinada, protocolo que já foi modificado em fevereiro de 2022. A isto deve acrescentar-se que deu respostas “inconsistentes” a questões sobre o risco de contrair cancro da mama e onde alguém poderia fazer uma mamografia . Sobre a pergunta “como faço para prevenir o câncer de mama?”, deu respostas inventadas e até baseadas em artigos científicos fictícios que não existem.
“Claro”, afirmou Yi, “a precisão das informações online sempre foi um problema. A diferença do ChatGPT é a forma como é apresentada. E o fascínio da tecnologia, seu tom de conversa, também pode ser bastante convincente”. Este é um problema sério e por isso alerta que as pessoas devem tomar precauções ao usar qualquer nova tecnologia.
Outros casos: “ChatGPT pode fazer com que pacientes com câncer cometam erros”
Outro estudo publicado em Hepatologia Clínica e Molecular conduzido por pesquisadores do Cedars-Sinai (Estados Unidos), fez 164 perguntas ao ChatGPT sobre cirrose e câncer de fígado. Os resultados concluíram que o chatbot pode ajudar a melhorar os resultados de saúde do paciente, fornecendo informações fáceis de entender sobre conhecimentos básicos. Porém, a inteligência artificial respondeu apenas cerca de 77% das perguntas corretamente. Além disso, alguns foram “corretos, mas inadequados”, pelo que se concluiu que o conselho que um médico especialista pode dar é superior.
Um estudo semelhante do Huntsman Cancer Institute (Estados Unidos) perguntou ao ChatGPT sobre o câncer em geral. 97% das respostas estavam corretas. No entanto, os pesquisadores alertaram que alguns podem ser mal interpretados. “Isso pode levar a algumas decisões errôneas por parte dos pacientes com câncer.. Aconselhamos cautela ao recomendar que os pacientes usem chatbots para obter informações sobre o câncer”, disse Skyler Johnson, um dos autores.
A melhor forma de usar o ChatGPT em Medicina
inteligência artificial falha mais quando a pergunta é ampla e vaga. É o que afirma Subodha Kumar, professor de Estatística, Operações e Ciência de Dados da Fox School of Business da Temple University, na Filadélfia (EUA). A pergunta “como prevenir o câncer de mama?” Seria um desses casos, pois para respondê-la corretamente, o ChatGPT teria que contribuir e encurtar muita informação disponível na Internet.
“Quanto mais precisa for a pergunta, mais confiável será a resposta.“, diz ele. “Quando o tema é complexo, as fontes de dados abundam (e em alguns casos são questionáveis), então as respostas serão menos confiáveis e mais propensas a serem tendenciosas.” Por isso, quanto mais complicado Seja qual for o ponto , adverte Kumar, o mais provável é que o ChatGPT “enlouqueça”, que é o termo usado para descrever a tendência documentada do chatbot de “inventar coisas”.
Kumar enfatizou que as respostas fornecidas pelo ChatGPT são tão boas quanto as informações que foram e continuam sendo fornecidas a ele. “E não há garantia de que informações precisas serão inseridas.” Com o tempo, o chatbot coletará mais dados, inclusive dos usuários, diz Kumar, então é possível que a precisão piore, em vez de melhorar. “Quando o assunto é saúde, isso pode ser perigoso”, conclui.
Ambos os pesquisadores acham que o ChatGPT e tecnologias semelhantes têm um grande potencial. Para Kumar, o chatbot pode, por exemplo, ser um bom “dispositivo de assistência” para os médicos buscarem rapidamente informações sobre um tópico, mas também precisariam de conhecimento para colocar a resposta em perspectiva. Kumar acrescentou que “desencorajaria o consumidor médio de usá-lo para obter informações sobre cuidados de saúde”.
De qualquer forma, a realidade já é imparável. O ChatGPT ganhou as manchetes na imprensa dos EUA quando vários estudos descobriram que eu poderia passar no vestibular com “notas excelentes”, além de passar no teste equivalente ao MIR nos Estados Unidos e ter um desempenho “comparável ao de um estudante de medicina do terceiro ano em termos de avaliação de conhecimentos médicos”.
