AI计算的计算:科学家无法获得强大的筹码进行研究

Akademiker weltweit kämpfen mit unzureichender Rechenleistung für KI-Forschung. Umfrage zeigt große Unterschiede im Zugang zu GPUs.
全球学术界与AI研究的计算能力不足。调查显示,访问GPU的差异很大。 (Symbolbild/natur.wiki)

AI计算的计算:科学家无法获得强大的筹码进行研究

许多大学科学家对有限的计算性能感到沮丧,这对于他们在(KI)可以作为全球数十家机构的学者进行的一项调查。

结果 1 ,该> 1 缺乏在Preprint Server ARXIV ARXIV最高级计算系统上。这可能会影响您的能力,

特别是,学术研究人员有时没有资源来制造功能强大的图形处理器(GPU)被购买的计算机芯片通常用于培训AI型号,并且可能要花费数千美元。相比之下,研究人员在大型技术公司的预算较高,并且可以花更多的时间用于GPU。罗德岛州普罗维登斯布朗大学的计算机科学家Apoorv Khandelwal研究的合伙人说:“每个GPU都增加了更多的力量。” “尽管这些工业巨头可能拥有成千上万的GPU,但学者可能只有一些。”

“学术和工业模型之间的差距很大,但可能要小得多,”华盛顿特区非营利性AI研究所Eleutherai董事总经理Stella Biderman说。她补充说,对这种不平等的研究“非常重要”。

缓慢的等待时间

为了评估学者的可用计算资源,Khandelwal及其同事对35家机构的50位科学家进行了调查。在受访者中,有66%的人以3个或更少的规模评估了他们对计算能力的满意度。“他们根本不满意,” Khandelwal说。

大学有不同的法规访问GPU。有些人可能会有一个由部门和学生共享的中央计算集群,研究人员可以在这里要求GPU时间。其他机构可以购买实验室成员可以直接使用的机器。

一些科学家报告说,他们必须等待几天才能进入GPU,并注意到等待时间特别高(请参阅“计算资源接受度”)。结果还说明了访问的全球不平等现象。例如,一个受访者提到在中东寻找GPU的困难。 Only 10% of the respondents stated that access to Nvidia’s H100 GPU ,为AI研究而开发的强大芯片。

这个障碍使得训练的过程 - 在LLMS-局部挑战中喂养大型数据记录。考芬瓦尔说:“这是如此昂贵,以至于大多数学者甚至都没有考虑在培训前进行科学。”他和他的同事认为,学者在AI研究中提供了独特的观点,并且缺乏计算能力可能会限制研究领域。

“对于长期增长和长期技术发展,拥有健康,竞争性的学术研究环境,这一点很重要,” Co author ellie Pavlick说,他在布朗大学学习计算机科学和语言学。 “如果您对行业有研究,则有明显的商业压力,有时您会诱使您使用和探索速度更快。”

有效方法

研究人员还研究了学者如何更好地使用功能较低的计算资源。他们计算出具有低资源消耗的硬件(1至8 GPU)的硬件需要多少时间来培训多个LLM。尽管资源有限,但研究人员还是成功地培训了许多模型,尽管它花费了更长的时间,并且必须采用更有效的方法。

“我们实际上可以使用更长的GPU,因此我们可以弥补行业之间的某些差异。”

“令人兴奋的是,您实际上可以训练比许多人更大的模型,即使算术资源有限,”德国萨尔布鲁肯萨尔布朗大学的Neurowesplicite模型Ji -Gun Lee说。他补充说,未来的工作可能会探讨小公司工业研究人员的经验,他们也可以抗衡算术资源。他说:“并非每个有能力获得无限计算能力的人实际上都会收到这一点。”

  1. khandelwal,A。等。 ARXIV的预印本https://doi.org/10.48550/arxiv.2410.23261(2024)。

  2. 下载参考