AI模型比研究人员产生更多的原始想法？

AI模型比研究人员产生更多的原始想法？

A ideas generator system driven by artificial intelligence (AI) has developed more original research approaches in a recent prop on Arxiv than 50 scientists who worked independently of one another 1 .

人们和人工智能产生的想法是由不知道谁或什么想法的专家评估的。与人类所写的思想相比，专家将AI生成的概念评估为令人兴奋的，尽管AI的建议在可行性方面做得更糟。

但是，科学家指出，尚未经过同行评审的研究有限制。她专注于特定的研究领域，要求人类参与者自发地发展思想，这可能会损害他们产生最佳概念的能力。

科学中的人工智能

有, Generate Code and is very subjective and requires加利福尼亚州斯坦福大学的研究和计算机科学家Chenglei Si说，能够仔细评估它们的专家Chenglei Si说。 SI说：“将这种技能的情况下背景的最佳方法是进行直接比较。”

一年的项目是评估的最大项目之一，无论大型语言模型 - chatgpt - innovative研究方法，汤姆·霍普（Tom Hope），耶路撒冷AI的计算机科学家汤姆·霍普（Tom Hope）。他说：“必须有更多的工作。”

团队在自然语言处理领域招募了100多名研究人员，这是计算机科学的一个子地区，涉及人工智能与人之间的沟通。根据七个主题之一，有9名参与者被任命在十天内制定想法并提出想法。作为一个激励措施，研究人员为每个想法获得了300美元，五个最佳想法的奖金为1,000美元。

同时，研究人员开发了一个Idea Generator，它是Claude 3.5，这是一个由拟人化的LLM在加利福尼亚州旧金山开发的。研究人员要求他们的AI工具通过基于AI的文献搜索引擎语义学者来查找有关七个研究主题的相关文章。根据这些文章，研究人员要求其AI代理为每个研究主题产生4,000个想法，并评估最原始的想法。

人类专家

然后，研究人员随机分配了人类，AI产生了79位专家，他们评估了有关新颖性，紧张，可行性和期望有效性的所有想法。为了确保创造者的创建者仍然是专家未知的，研究人员使用另一位LLM来编辑两种类型的文本，以便在不改变思想本身的情况下标准化写作风格和声音。

平均而言，专家将AI评估为比人类参与者更原始，更令人兴奋。在查看LLM产生的4,000个想法时，研究人员只发现了大约200个，这确实是独一无二的，这表明AI的产生的想法越多。

当参与者接受采访时，大多数人承认与过去产生的想法相比，他们提交的想法仅是平均的。

结果表明，LLM可以比现有文献轻松产生想法，而加拿大温哥华大学不列颠哥伦比亚大学的机器学习研究员Cong Lu说。但是，您是否能胜过最开创性的人类思想仍然是一个悬而未决的问题。

对研究的进一步限制是，LLM处理的书面思想是由LLM处理的。他补充说，这种变化本来可以是微妙的，因为专家认为新颖性。韦斯特补充说，让研究人员与可以在几个小时内产生数千个想法的LLM竞争的LLM竞争可能不是完全公平的比较。他说：“你必须将苹果与苹果进行比较。”

si和他的同事计划将AI生成的想法与领先的会议贡献进行比较，以便更好地了解LLMS与人类创造力相比。他说：“我们试图刺激社区，以更多地思考如果AI在研究过程中扮演更积极的角色，那么未来应该是什么样的。”

1. si，c.，c.，yang，D。＆hashimoto，t。 “ https://doi.org/10.48550/arxiv.2409.04109”> https://doi.org/10.48550/arxiv.24109 （2024）。

下载参考