Os modelos de IA produzem mais idéias originais do que os pesquisadores?
Os modelos de IA produzem mais idéias originais do que os pesquisadores?
Um sistema de gerador de idéias conduzido pela Inteligência Artificial (IA) desenvolveu abordagens de pesquisa mais originais em um suporte recente sobre o ARXIV do que 50 cientistas que trabalharam independentemente um do outro No entanto, era difícil avaliar se essas ferramentas de IA poderiam gerar novas abordagens de pesquisa em um nível semelhante às pessoas. Isso ocorre porque a avaliação de idéias
The one-year project is one of the largest projects for evaluating, whether large language models-the technology behind tools such as Chatgpt -Abordagens de pesquisa innovativa, Tom Hope, cientista da computação de todos os institutos da IA em Jerusalém. "Deve haver mais trabalho", diz ele. A equipe recrutou mais de 100 pesquisadores no campo do processamento de linguagem natural, uma sub -área da ciência da computação que lida com a comunicação entre a IA e os humanos. Nove participantes do END foram contratados para desenvolver idéias e formular em dez dias com base em um dos sete tópicos. Como incentivo, os pesquisadores receberam US $ 300 por todas as idéias, com um bônus de US $ 1.000 pelas cinco melhores idéias. Ao mesmo tempo, os pesquisadores desenvolveram um gerador de ideias com Claude 3.5, um LLM desenvolvido pela Anthrópica em São Francisco, Califórnia. Os pesquisadores pediram sua ferramenta de IA para encontrar artigos relevantes sobre os sete tópicos de pesquisa via Semântica Scholar, um mecanismo de busca de literatura com sede em IA. Com base nesses artigos, os pesquisadores pediram a seus agentes de IA que gerassem 4.000 idéias para todos os tópicos de pesquisa e avaliassem as mais originais. Em seguida, os pesquisadores designaram aleatoriamente o humano e a IA geraram idéias 79 especialistas que avaliaram todas as idéias em relação à novidade, tensão, viabilidade e eficácia esperada. Para garantir que os criadores das idéias permanecessem desconhecidos pelos especialistas, os pesquisadores usaram outro LLM para editar os dois tipos de texto, para que o estilo de escrita e o som fossem padronizados sem alterar as próprias idéias. Em média, os especialistas classificaram as idéias geradas como mais originais e mais emocionantes do que as dos participantes humanos. Ao analisar as 4.000 idéias produzidas pela LLM, os pesquisadores encontraram apenas cerca de 200, que eram realmente únicos, o que indica que a IA se tornou menos original, mais idéias geravam. Quando os participantes entrevistados, a maioria admitiu que suas idéias enviadas eram apenas médias em comparação com as idéias produzidas no passado. Os resultados indicam que os LLMs podem gerar facilmente idéias do que a literatura existente, diz Cong Lu, pesquisador de aprendizado de máquina da Universidade da Colúmbia Britânica em Vancouver, Canadá. No entanto, se você pode superar as idéias humanas mais inovadoras continua sendo uma questão em aberto. Uma restrição adicional do estudo é que as idéias escritas comparadas foram processadas por um LLM, que mudou a linguagem e a duração das submissões, diz Jevin West, cientista da computação de ciências sociais da Universidade de Washington em Seattle. Tais mudanças poderiam ter sido sutis, pois os especialistas perceberam a novidade, acrescenta ele. West acrescenta que pode não ser uma comparação completamente justa ter pesquisadores competindo contra um LLM que pode gerar milhares de idéias em poucas horas. "Você precisa comparar maçãs com maçãs", diz ele. Si e seus colegas planejam comparar idéias geradas pela IA com as principais contribuições da conferência, a fim de entender melhor como os LLMs se comparam à criatividade humana. "Tentamos estimular a comunidade a pensar mais sobre como o futuro deve ser se a IA puder assumir um papel mais ativo no processo de pesquisa", diz ele. si, C., yang, D. & hashimoto, T. pré-impressão em arxiv https://doi.org/10.48550/arxiv.24109 (2024).
Especialista humano
>