Les modèles d'IA produisent-ils des idées plus originales que les chercheurs?

Les modèles d'IA produisent-ils des idées plus originales que les chercheurs?

Un système de générateurs d'idées piloté par l'intelligence artificielle (AI) a développé des approches de recherche plus originales dans un accessoire récent sur ArXIV que 50 scientifiques qui travaillaient indépendamment les uns des autres 1 .

Les idées générées par les personnes et l'IA ont été évaluées par des experts qui ne savaient pas qui ou quoi a fait toute idée. Les experts ont évalué les concepts générés par l'IA comme un excitant par rapport aux idées écrites par les humains, bien que les propositions de l'IA agissent un peu en termes de faisabilité.

Cependant, les scientifiques soulignent que l'étude, qui n'a pas encore été évaluée par les pairs, a des restrictions. Elle s'est concentrée sur un domaine de recherche spécifique et a obligé les participants humains à développer les idées spontanément, ce qui altère probablement leur capacité à produire les meilleurs concepts.

Intelligence artificielle en science

Il y a AUGMENT de tâches de recherche telles que le , Litoires de littérature peut être utilisée. Cependant, il était difficile d'évaluer si ces outils d'IA pouvaient générer de nouvelles approches de recherche à un niveau similaire à celles des personnes. En effet, l'évaluation des idées

Le projet d'un an est l'un des plus grands projets d'évaluation, que ce soit des modèles de grande langue - la technologie derrière des outils tels que Chatgpt - Approches de recherche innovante, Tom Hope, informaticien dans tous les instituts de l'IA à Jérusalem. "Il doit y avoir plus de travail", dit-il.

L'équipe a recruté plus de 100 chercheurs dans le domaine du traitement du langage naturel, une sous-zone d'informatique qui traite de la communication entre l'IA et les humains. Les participants à neuf et fins ont été chargés de développer des idées et de formuler dans les dix jours sur la base de l'un des sept sujets. Pour inciter, les chercheurs ont reçu 300 $ pour chaque idée, avec un bonus de 1 000 $ pour les cinq meilleures idées.

En même temps, les chercheurs ont développé un générateur d'idées avec Claude 3.5, un LLM développé par Anthropic à San Francisco, en Californie. Les chercheurs ont demandé à leur outil d'IA de trouver des articles pertinents sur les sept sujets de recherche via le boursier sémantique, un moteur de recherche de littérature basé sur l'IA. Sur la base de ces articles, les chercheurs ont demandé à leurs agents de l'IA de générer 4 000 idées pour chaque sujet de recherche et d'évaluer les plus originaux.

Expert humain

Ensuite, les chercheurs ont assigné au hasard l'humain et l'IA ont généré des idées 79 experts qui ont évalué chaque idée en ce qui concerne la nouveauté, la tension, la faisabilité et l'efficacité attendue. Pour s'assurer que les créateurs des idées sont restés inconnus des experts, les chercheurs ont utilisé un autre LLM pour modifier les deux types de texte afin que le style d'écriture et le son soient standardisés sans changer les idées elles-mêmes.

En moyenne, les experts ont évalué les idées générées par l'IA comme plus originales et plus excitantes que celles des participants humains. En regardant les 4 000 idées produites par LLM, les chercheurs n'en ont trouvé que 200, qui étaient vraiment uniques, ce qui indique que l'IA est devenue moins originale, plus elle a généré des idées.

Lorsque les participants ont interviewé, la plupart ont admis que leurs idées soumises n'étaient que moyennes par rapport aux idées produites dans le passé.

Les résultats indiquent que les LLM peuvent facilement générer des idées que la littérature existante, explique Cong Lu, chercheur pour l'apprentissage automatique à l'Université de la Colombie-Britannique à Vancouver, Canada. Cependant, si vous pouvez surpasser les idées humaines les plus révolutionnaires demeure une question ouverte.

Une nouvelle restriction de l'étude est que les idées écrites comparées ont été traitées par un LLM, qui a changé la langue et la durée des soumissions, explique Jevin West, informatique des sciences sociales à l'Université de Washington à Seattle. De tels changements auraient pu être subtils, comme les experts ont perçu la nouveauté, ajoute-t-il. West ajoute que ce n'est peut-être pas une comparaison complètement juste pour que les chercheurs rivalisent avec un LLM qui peut générer des milliers d'idées en quelques heures. "Vous devez comparer les pommes avec les pommes", dit-il.

Si et ses collègues prévoient de comparer les idées générées par l'AI avec les principales contributions de la conférence afin de mieux comprendre comment les LLM par la créativité humaine. "Nous essayons de stimuler la communauté à réfléchir davantage à ce à quoi l'avenir devrait ressembler si l'IA peut jouer un rôle plus actif dans le processus de recherche", dit-il.

1. Si, C., Yang, D. & Hashimoto, T. Preprint à arXiv https://doi.org/10.48550/arxiv.24109 (2024).

Télécharger des références