Изчисляване при AI Computing: Учените нямат достъп до мощни чипове за своите изследвания
Изчисляване при AI Computing: Учените нямат достъп до мощни чипове за своите изследвания
Много учени от университета са разочаровани от ограничените изчислителни резултати, които за своите изследвания в областта на (KI) е на разположение като проучване сред учени в десетки институции по целия свят.
Резултатите 1 , които бяха публикувани в Preprint Server Arxiv Most Advanced Computing Systems липса. Това може да повлияе на вашата способност,
По-специално, академичните изследователи понякога нямат ресурси, за да направят мощни Графични процесори (GPU) За закупуване на чипове-компютър, които често се използват за обучение на AI модели и могат да струват няколко хиляди долара. За разлика от тях, изследователите имат по -високи бюджети в големите технологични компании и могат да изразходват повече за графични процесори. „Всеки графичен процесор добавя повече власт“, казва съавторът на проучването на Apoorv Khandelwal, компютърен учен от Браун университет в Провиденс, Род Айлънд. "Докато тези индустриални гиганти може да имат хиляди графични процесори, академиците могат да имат само няколко." "Разликата между академичните и индустриалните модели е голяма, но може да бъде много по-малка", казва Стела Бидерман, управляващ директор на Eleutherai, изследователски институт за нестопанска цел AI във Вашингтон. Изследванията за това неравенство са "много важно", добавя тя. Бавни времена на изчакване За да се оценят наличните изчислителни ресурси за академици, Khandelwal и неговите колеги изследват 50 учени от 35 институции. От анкетираните 66% оценяват удовлетвореността си от изчислителната си мощност с 3 или по -малко по скала от 5. „Те изобщо не са удовлетворени“, казва Ханделвал. Университетите имат различни разпоредби за достъп до графични процесори. Някои биха могли да имат централен изчислителен клъстер, който се споделя от отдели и студенти, където изследователите могат да поискат време за графичен процесор. Други институции могат да купуват машини, които могат да се използват директно от членове на лабораторията. Някои учени съобщават, че трябва да чакат с дни, за да получат достъп до графични процесори и забелязват, че времето на изчакване е особено високо (вижте „Приемане на ресурси за изчисление“). Резултатите също илюстрират глобалните неравенства в достъпа. Например, респондент спомена трудностите при намирането на графични процесори в Близкия изток. Само 10% от анкетираните са заявили, че достъпът до , мощни чипове, които са разработени за AI изследвания.
Тази бариера прави процеса на предварително обучение-захранването на големи записи на данни в LLMS-особено предизвикателство. „Толкова е скъпо, че повечето учени дори не обмислят да правят наука при предварително обучение“, казва Кауфенвал. Той и неговите колеги са на мнение, че академиците предлагат уникална перспектива в изследванията на AI и че липсата на достъп до изчислителна мощност може да ограничи изследователската област. "Просто е важно да имате здравословна, конкурентна академична изследователска среда за дългосрочен растеж и дългосрочно технологично развитие", казва съавторът Ели Павлик, която изучава компютърни науки и лингвистика в университета в Браун. "Ако имате изследвания в индустрията, има ясен търговски натиск, който понякога ви изкушава да използвате и изследвате по -малко по -бързо." ефективни методи Изследователите също така изследваха как академиците могат по -добре да използват по -малко мощни изчислителни ресурси. Те изчисляват колко време ще е необходимо за обучение на няколко LLM с хардуер с ниска консумация на ресурси - между 1 и 8 GPU. Въпреки тези ограничени ресурси, изследователите успяха успешно да обучават много от моделите, въпреки че отнеха повече време и те трябваше да прилагат по -ефективни методи. "Всъщност можем да използваме графичните процесори, които имаме по -дълго, и така можем да компенсираме някои от разликите между това, което има индустрията", казва Кауфвал. "Вълнуващо е да видите, че всъщност можете да обучите по -голям модел, отколкото много хора биха взели, дори с ограничени аритметични ресурси", казва Джи -ун Лий, невроексплицитни модели в Университета в Саарланд в Саарбрюкен, Германия. Той добавя, че бъдещата работа може да разгледа опита на индустриалните изследователи в малки компании, които също се борят с достъпа до аритметични ресурси. „Не е така, че всеки, който има достъп до неограничена изчислителна мощност, всъщност получава това“, казва той. khandelwal, A. et al. Предварително на Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).