ChatGPT vai dois: como o chatbot de IA mudou a vida dos cientistas

ChatGPT vai dois: como o chatbot de IA mudou a vida dos cientistas

Nos dois anos desde Compartilhando bate-papoGPT ao público, os pesquisadores o utilizam para comunicar suas melhorar textos científicos, revisar a literatura científica e Escreva código para analisar dados. Embora alguns acreditem que o chatbot, que se tornou popular em 30 de novembro de 2022, aumenta a produtividade dos cientistas, outros temem que ele Plágio ficou mais fácil, introduz imprecisões em artigos de pesquisa e consome grandes quantidades de energia.

A editora Wiley, com sede em Hoboken, Nova Jersey, entrevistou 1.043 pesquisadores em março e abril sobre o uso de ferramentas generativas de IA, como ChatGPT, e compartilhou os resultados preliminares com a Nature. Oitenta por cento dos entrevistados relataram usar o ChatGPT pessoalmente ou profissionalmente, tornando-o a ferramenta mais utilizada entre os acadêmicos. Três quartos dos entrevistados acreditam que nos próximos cinco anos será importante que os investigadores desenvolvam capacidades de IA para realizarem o seu trabalho.

“Os processadores de texto de IA já existiam antes, mas uma mudança significativa ocorreu com o lançamento desses modelos de linguagem grandes e muito poderosos”, explica James Zou, pesquisador de IA da Universidade de Stanford, na Califórnia. O chatbot ChatGPT, desenvolvido pela empresa de tecnologia OpenAI, com sede em São Francisco, foi o catalisador para esta mudança.

Para marcar o segundo aniversário do ChatGPT, a Nature compilou dados de uso e conversou com cientistas sobre como o ChatGPT mudou o cenário da pesquisa.

ChatGPT em números

• 60.000: Die Mindestanzahl an wissenschaftlichen Arbeiten, die 2023 veröffentlicht wurden und voraussichtlich mit Hilfe eines großen Sprachmodells (LLM) verfasst wurden 1. Dies entspricht etwas mehr als 1 % aller Artikel in der von dem Forschungsteam untersuchten Dimensions-Datenbank akademischer Veröffentlichungen.
• 10 %: Der Mindestanteil der Forschungspapiere, die von Mitgliedern der biomedizinischen Gemeinschaft in der ersten Jahreshälfte 2024 veröffentlicht wurden und voraussichtlich ihre Abstracts mit Unterstützung eines LLM verfasst haben 2. Eine andere Studie schätzte diesen Anteil für die Informatikgemeinde im Februar sogar auf höhere 17.5 % 3.
• 6.5–16.9 %: Der geschätzte Anteil der Peer-Reviews, die 2023 und 2024 an einer Auswahl von Top-AI-Konferenzen eingereicht wurden und vermutlich erheblich von LLMs generiert wurden 4. Diese Bewertungen beurteilen Forschungspapiere oder Präsentationen, die für die Konferenzen vorgeschlagen werden.

Assistente de redação

Todos esses números, determinados pela avaliação de padrões e palavras-chave em textos característicos dos LLMs, são provavelmente estimativas conservadoras, diz Debora Weber-Wulff, cientista da computação e pesquisadora de plágio na HTW Berlin. O seu trabalho mostra que as ferramentas de detecção muitas vezes falham quando se trata de determinar se um artigo foi escrito com a ajuda da IA. 5.

Nos últimos dois anos, os pesquisadores descobriram que usar o ChatGPT para criar resumos, bem como pedidos de bolsas e cartas de apoio para estudantes, permite que eles se concentrem em tarefas complexas. “As coisas que valem o nosso tempo são as perguntas difíceis e as hipóteses criativas”, diz Milton Pividori, informático médico da Escola de Medicina da Universidade do Colorado, em Aurora.

Os pesquisadores relatam que os LLMs são particularmente úteis para superar as barreiras linguísticas. “Democratiza a escrita e ajuda as pessoas para quem o inglês é uma segunda língua”, explica Gabe Gomes, químico da Universidade Carnegie Mellon em Pittsburgh, Pensilvânia. Uma análise publicada no servidor de pré-impressão SSRN antes da revisão por pares em novembro descobriu que a qualidade da redação de artigos de autores cuja primeira língua não é o inglês melhorou após a publicação do ChatGPT, mais do que a redação de autores fluentes em inglês 6.

Desde o seu lançamento em 2022, o ChatGPT passou por diversas atualizações. GPT-4, publicado em março de 2023, impressionou os usuários com sua capacidade de gerar textos semelhantes aos humanos. O modelo mais recente, o1, que foi anunciado em setembro e disponível para alguns clientes pagantes, bem como para alguns desenvolvedores em testes, a OpenAI afirma que pode “analisar tarefas complexas e resolver problemas mais difíceis do que os modelos anteriores em ciência, programação e matemática”. Kyle Kabasares, cientista de dados do Bay Area Environmental Research Institute em Moffett Field, Califórnia, usou o1 para para reproduzir algum código de seu projeto de doutorado. Quando ele inseriu as informações da seção de métodos de seu trabalho de pesquisa, o sistema de IA escreveu o código em apenas uma hora que levou quase um ano de seus estudos de pós-graduação para ser criado.

Limitações e potencial

Uma área onde o ChatGPT e sistemas similares de IA têm tido menos sucesso é na realização de revisões de literatura, diz Pividori. “Eles realmente não nos ajudam a ser mais produtivos”, explica ele, porque o pesquisador precisa ler e compreender os artigos relevantes na íntegra. “Se o artigo não for central para a sua pesquisa, você poderá usar ferramentas de IA para resumi-lo”, acrescenta. Mas foi demonstrado que os LLMs alucinam 7 – isto é, eles compõem informações. Por exemplo, eles poderiam falar sobre números que nem existem em um artigo.

Outra preocupação dos pesquisadores ao usar LLMs é a proteção de dados. Por exemplo, quando os cientistas inserem dados originais não publicados numa destas ferramentas de IA para escrever um artigo, existe o risco de o conteúdo ser utilizado para treinar versões atualizadas destes modelos. “Estas são caixas pretas”, explica Weber-Wulff. “Você não tem ideia do que acontece com os dados que carrega lá.”

Para evitar esse risco, alguns pesquisadores escolhem modelos locais menores em vez do ChatGPT. “Você executa no seu computador e nada é compartilhado externamente”, diz Pividori. Ele acrescenta que certos planos de assinatura do ChatGPT garantem que seus dados não sejam usados ​​para treinar o modelo.

Uma grande questão que os pesquisadores têm perseguido ao longo do ano passado é se o ChatGPT irá além do papel de assistente virtual e um cientista de IA pode ser. Alguns esforços iniciais sugerem que isso é possível. Zou está liderando o desenvolvimento de um laboratório virtual no qual vários LLMs assumem o papel de cientistas em uma equipe interdisciplinar, enquanto um cientista humano fornece feedback de alto nível. “Eles trabalham juntos para formular novos projetos de pesquisa”, diz ele. No mês passado, Zou e seus colegas publicaram os resultados de um desses projetos no servidor de pré-impressão bioRxiv antes da revisão por pares. 8. O laboratório virtual projetou nanocorpos – um tipo de pequeno anticorpo – capaz de se ligar a variantes do coronavírus SARS-CoV-2 que causou a pandemia de COVID-19. Pesquisadores humanos validaram o trabalho por meio de experimentos e identificaram dois candidatos promissores para estudos adicionais.

Gomes e seus colegas também estão entusiasmados com a possibilidade de usar o ChatGPT no laboratório. Ela use a ferramenta para realizar múltiplas reações químicas usando um sistema robótico que implantaram no final do ano passado. “A expectativa é que esses modelos sejam capazes de descobrir novas ciências”, diz Gomes.

1. Gray, A. Pré-impressão no arXiv https://doi.org/10.48550/arXiv.2403.16887 (2024).

2. Kobak, D., González-Márquez, R., Horvát, E.-Á. & Lause, J. Pré-impressão no arXiv https://doi.org/10.48550/arXiv.2406.07016 (2024).

3. Liang, W. et al. Pré-impressão no arXiv https://doi.org/10.48550/arXiv.2404.01268 (2024).

4. Liang, W. et al. Pré-impressão no arXiv https://doi.org/10.48550/arXiv.2403.07183 (2024).

5. Weber-Wulff, D. et al. Interno. J.Educ. Integr. 19, 26 (2023).

   Artigo
   PubMed
   
   Google Acadêmico

6. Liang, Y., Yang, T. & Zhu, F. Pré-impressão em SSRN https://doi.org/10.2139/ssrn.4992755 (2024).

7. Farquhar, S. et al. Natureza 630, 625–630 (2024).

   Artigo
   PubMed
   
   Google Acadêmico

8. Swanson, K., Wu, W., Bulaong, NL, Pak, JE & Zou, J. Pré-impressão em bioRxiv https://doi.org/10.1101/2024.11.11.623004 (2024).

Baixar referências