Divize AI Computing Divide: Vědci postrádají přístup k výkonným čipům pro jejich výzkum

Divize AI Computing Divide: Vědci postrádají přístup k výkonným čipům pro jejich výzkum

Mnoho univerzitních vědců je frustrováno omezenou výpočetní silou, která mají k dispozici pro jejich výzkum v oblasti Umělá inteligence (AI) je k dispozici jako průzkum akademiků na desítkách institucí po celém světě.

Výsledky 1, zveřejněno 30. října na serveru předtiskového serveru ARXIV, naznačují, že akademici nemají přístup k nejmodernějším výpočetním systémům. To by mohlo ovlivnit vaši schopnost Velké jazykové modely (LLM) Vývoj a provádění dalších výzkumných projektů AI.

Zejména akademičtí vědci někdy nemají zdroje, aby byli silní Grafické procesory (GPU) K nákupu - počítačové čipy, které se běžně používají k trénování modelů AI, které mohou stát několik tisíc dolarů. Naproti tomu vědci ve velkých technologických společnostech mají větší rozpočty a mohou utratit více za GPU. "Každá GPU přidává větší sílu," říká spoluautor studie Apoorv Khandelwal, počítačový vědec na Brown University v Providence na Rhode Island. "I když tito průmysloví obři mohou mít tisíce GPU, akademici mohou mít jen několik."

„Mezera mezi akademickými a průmyslovými modely je velká, ale může být mnohem menší,“ říká Stella Biderman, výkonná ředitelka Eleutherai, neziskového výzkumného ústavu AI ve Washingtonu DC. Výzkum této nerovnosti je „velmi důležitý“, dodává.

Pomalé čekací doby

Khandelwal a jeho kolegové prozkoumali 50 vědců z 35 institucí, aby posoudili výpočetní zdroje dostupné akademiky. Z dotázaných, 66% ohodnotilo svou spokojenost s výpočetním výkonem jako 3 nebo méně na stupnici 5. „Nejsou vůbec spokojeni,“ říká Khandelwal.

Univerzity mají různé předpisy pro přístup k GPU. Někteří by mohli mít centrální výpočetní klastr sdílený mezi odděleními a studenty, kde mohou vědci požádat o čas GPU. Ostatní instituce by mohly nakupovat stroje, které mohou používat přímo členy laboratoře.

Někteří vědci uvedli, že musí čekat dny na získání přístupu k GPU, a poznamenávají, že čekací doby byly obzvláště vysoké kolem termínů projektu (viz „Compute Resource Prognleneck“). Výsledky také zdůrazňují globální nerovnosti v přístupu. Například jeden respondent zmínil obtížnost nalezení GPU na Středním východě. Pouze 10% respondentů uvedlo, že mají přístup GPU NVIDIA H100, mít silné čipy určené pro výzkum AI.

Tato bariéra způsobuje, že proces předškolení-krmení velkých datových souborů do LLM-obzvláště náročný. "Je tak drahé, že většina akademiků ani neuvažuje o vědě v předškolním tréninku," říká Khandelwal. On a jeho kolegové věří, že akademici nabízejí jedinečnou perspektivu ve výzkumu AI a že nedostatek přístupu k výpočetní síle by mohl omezit výzkumnou oblast.

"Je opravdu důležité mít zdravé a konkurenční akademické výzkumné prostředí pro dlouhodobý růst a dlouhodobý technologický vývoj," říká spoluautorka Ellie Pavlick, která studuje počítačovou vědu a lingvistiku na Brown University. "Když máte výzkum v průmyslu, existují jasné komerční tlaky, které vás někdy přimějí k tomu, abyste využívali rychleji a prozkoumali méně."

Efektivní metody

Vědci také zkoumali, jak by akademici mohli lépe využívat méně výkonné výpočetní zdroje. Vypočítali, kolik času by bylo zapotřebí k předběžnému předškolnímu více LLM pomocí hardwaru s nízkým zdrojem-mezi 1 a 8 GPU. Přes tyto omezené zdroje se vědcům podařilo úspěšně vyškolit mnoho modelů, i když to trvalo déle a vyžadovalo je, aby používali efektivnější metody.

"Ve skutečnosti můžeme používat GPU, které máme déle, a proto můžeme vyhladit některé rozdíly mezi tím, co průmysl má," říká Khandelwal.

"Je vzrušující vidět, že můžete skutečně trénovat větší model, než by si mnozí lidé představovali, a to i s omezenými výpočetními zdroji," říká Ji-Ung Lee, který studuje neuroexplicitní modely na Saarland University v Saarbrücken v Německu. Dodává, že budoucí práce by se mohla podívat na zkušenosti průmyslových vědců v malých společnostech, které také bojují s přístupem k výpočetním zdrojům. "Není to jako každý, kdo má přístup k neomezenému výpočetnímu výkonu, to vlastně dostane," říká.

1. Khandelwal, A. a kol. Preprint na arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Stáhnout odkazy