AI Computing Divide: Учените нямат достъп до мощни чипове за своите изследвания

AI Computing Divide: Учените нямат достъп до мощни чипове за своите изследвания

Много учени от университета са разочаровани от ограничената компютърна мощност, достъпна за тях за изследването им в областта на изкуствен интелект (AI) е на разположение като проучване на учени в десетки институции по целия свят.

Резултатите 1, Публикувано на 30 октомври на Preprint Server Arxiv, предполага, че академиците нямат достъп до най -модерните изчислителни системи. Това може да повлияе на способността ви да Големи езикови модели (LLM) Да разработят и изпълняват други изследователски проекти за AI.

По -специално, академичните изследователи понякога нямат ресурси да бъдат мощни Графични процесори (GPU) За закупуване - компютърни чипове обикновено се използват за обучение на AI модели, които могат да струват няколко хиляди долара. За разлика от тях, изследователите в големите технологични компании имат по -големи бюджети и могат да харчат повече за графични процесори. „Всеки графичен процесор добавя повече власт“, ​​казва съавторът на проучването Apoorv Khandelwal, компютърен учен от Браун университет в Провиденс, Род Айлънд. „Докато тези гиганти в индустрията може да имат хиляди графични процесори, академиците могат да имат само няколко.“

„Разликата между академичните и индустриалните модели е голяма, но може да бъде много по -малка“, казва Стела Бъдерман, изпълнителен директор на Eleutherai, нестопанска АС -изследователски институт във Вашингтон. Изследването на това неравенство е „много важно“, добавя тя.

Бавни времена на изчакване

За да оценят компютърните ресурси, достъпни за академиците, Khandelwal и неговите колеги изследват 50 учени от 35 институции. От анкетираните 66% оценяват удовлетвореността си от изчислителната си мощност като 3 или по -малко по скала от 5. „Те изобщо не са доволни“, казва Ханделвал.

Университетите имат различни разпоредби за достъп до графични процесори. Някои може да имат централен изчислителен клъстер, споделен между отдели и студенти, където изследователите могат да поискат време за графичен процесор. Други институции могат да закупят машини, които могат да се използват директно от членове на лабораторията.

Някои учени съобщават, че трябва да изчакат дни, за да получат достъп до графични процесори, отбелязвайки, че времето за изчакване е особено високо около крайните срокове на проекта (вижте „Изчисляване на препятствия за ресурси“). Резултатите също подчертават глобалните неравенства в достъпа. Например, един респондент спомена трудността при намирането на графични процесори в Близкия изток. Само 10% от анкетираните са казали, че имат достъп до H100 GPU на NVIDIA, да има мощни чипове, предназначени за изследване на AI.

Тази бариера прави процеса на предварително обучение-подаване на големи набори от данни в LLM-особено предизвикателен. „Толкова е скъпо, че повечето учени дори не обмислят да правят наука при предварително обучение“, казва Ханделвал. Той и неговите колеги вярват, че академиците предлагат уникална перспектива в ИИ изследвания и че липсата на достъп до изчислителна мощност може да ограничи изследователската област.

„Просто е много важно да имате здравословна, конкурентна академична изследователска среда за дългосрочен растеж и дългосрочно технологично развитие“, казва съавторът Ели Павлик, която изучава компютърни науки и лингвистика в университета Браун. „Когато имате изследвания в индустрията, има ясен търговски натиск, който понякога ви изкушава да експлоатирате по -бързо и да изследвате по -малко.“

Ефективни методи

Изследователите също така изследваха как академиците могат да използват по -добре по -малко мощни изчислителни ресурси. Те изчислиха колко време ще е необходимо за предварително обучение на множество LLM, използвайки хардуер с нисък ресурс-между 1 и 8 GPU. Въпреки тези ограничени ресурси, изследователите успяха успешно да обучават много от моделите, въпреки че отнеха повече време и им изискваха да използват по -ефективни методи.

„Всъщност можем да използваме графичните процесори, които имаме за по -дълго време и затова можем да изгладим някои от разликите между това, което има индустрията“, казва Ханделвал.

„Вълнуващо е да видите, че всъщност можете да тренирате по-голям модел, отколкото много хора биха си представили, дори и с ограничени изчислителни ресурси“, казва Джи-Унг Лий, който изучава невроексплицитни модели в университета в Саарланд в Саарбрюкен, Германия. Той добавя, че бъдещата работа може да разгледа опита на индустриалните изследователи в малки компании, които също се борят с достъпа до изчислителни ресурси. „Не е като всеки, който има достъп до неограничена изчислителна мощност, всъщност го получава“, казва той.

1. Khandelwal, A. et al. Предварително на Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Изтеглете референции