AI计算的计算：科学家无法获得强大的筹码进行研究

AI计算的计算：科学家无法获得强大的筹码进行研究

许多大学科学家对有限的计算性能感到沮丧，这对于他们在（KI）可以作为全球数十家机构的学者进行的一项调查。

结果 1 ，该> 1 缺乏在Preprint Server ARXIV ARXIV最高级计算系统上。这可能会影响您的能力，

特别是，学术研究人员有时没有资源来制造功能强大的图形处理器（GPU）被购买的计算机芯片通常用于培训AI型号，并且可能要花费数千美元。相比之下，研究人员在大型技术公司的预算较高，并且可以花更多的时间用于GPU。罗德岛州普罗维登斯布朗大学的计算机科学家Apoorv Khandelwal研究的合伙人说：“每个GPU都增加了更多的力量。” “尽管这些工业巨头可能拥有成千上万的GPU，但学者可能只有一些。”

“学术和工业模型之间的差距很大，但可能要小得多，”华盛顿特区非营利性AI研究所Eleutherai董事总经理Stella Biderman说。她补充说，对这种不平等的研究“非常重要”。

缓慢的等待时间

为了评估学者的可用计算资源，Khandelwal及其同事对35家机构的50位科学家进行了调查。在受访者中，有66％的人以3个或更少的规模评估了他们对计算能力的满意度。“他们根本不满意，” Khandelwal说。

大学有不同的法规访问GPU。有些人可能会有一个由部门和学生共享的中央计算集群，研究人员可以在这里要求GPU时间。其他机构可以购买实验室成员可以直接使用的机器。

一些科学家报告说，他们必须等待几天才能进入GPU，并注意到等待时间特别高（请参阅“计算资源接受度”）。结果还说明了访问的全球不平等现象。例如，一个受访者提到在中东寻找GPU的困难。 Only 10% of the respondents stated that access to Nvidia’s H100 GPU ，为AI研究而开发的强大芯片。

这个障碍使得训练的过程 - 在LLMS-局部挑战中喂养大型数据记录。考芬瓦尔说：“这是如此昂贵，以至于大多数学者甚至都没有考虑在培训前进行科学。”他和他的同事认为，学者在AI研究中提供了独特的观点，并且缺乏计算能力可能会限制研究领域。

“对于长期增长和长期技术发展，拥有健康，竞争性的学术研究环境，这一点很重要，” Co author ellie Pavlick说，他在布朗大学学习计算机科学和语言学。 “如果您对行业有研究，则有明显的商业压力，有时您会诱使您使用和探索速度更快。”

有效方法

研究人员还研究了学者如何更好地使用功能较低的计算资源。他们计算出具有低资源消耗的硬件（1至8 GPU）的硬件需要多少时间来培训多个LLM。尽管资源有限，但研究人员还是成功地培训了许多模型，尽管它花费了更长的时间，并且必须采用更有效的方法。

“我们实际上可以使用更长的GPU，因此我们可以弥补行业之间的某些差异。”

“令人兴奋的是，您实际上可以训练比许多人更大的模型，即使算术资源有限，”德国萨尔布鲁肯萨尔布朗大学的Neurowesplicite模型Ji -Gun Lee说。他补充说，未来的工作可能会探讨小公司工业研究人员的经验，他们也可以抗衡算术资源。他说：“并非每个有能力获得无限计算能力的人实际上都会收到这一点。”

1. khandelwal，A。等。 ARXIV的预印本https://doi.org/10.48550/arxiv.2410.23261（2024）。

下载参考