Výpočet na AI Computing: Vědci nemají přístup k výkonným čipům pro svůj výzkum
Výpočet na AI Computing: Vědci nemají přístup k výkonným čipům pro svůj výzkum
Mnoho univerzitních vědců je frustrováno omezeným výpočetním výkonem, který pro jejich výzkum v oblasti (KI) je k dispozici jako průzkum mezi akademiky na desítkách institucí po celém světě.
Výsledky 1 , které byly zveřejněny na předpravovacím serveru ARXIV nejpokročilejší výpočetní systémy nedostatku. To by mohlo ovlivnit vaši schopnost, velké hlasové modely) Projekty AI Research Projects.
Obzvláště akademičtí vědci někdy nemají zdroje k vytvoření výkonných Graphics Processors (GPUS) Být zakoupené čipy-počítač, které se často používají k trénování modelů AI a mohou stát několik tisíc dolarů. Naproti tomu vědci mají vyšší rozpočty ve velkých technologických společnostech a mohou utratit více za GPU. „Každá GPU přidává větší sílu,“ říká spoluautor studie Apoorv Khandelwal, počítačový vědec na Brown University v Providence, Rhode Island. "I když tito průmysloví obři mohou mít tisíce GPU, akademici mohou mít jen pár.""Mezera mezi akademickými a průmyslovými modely je velká, ale může být mnohem menší," říká Stella Biderman, generální ředitelka Eleutherai, neziskového výzkumného institutu AI ve Washingtonu DC. Výzkum této nerovnosti je „velmi důležitý“, dodává.
pomalé čekací doby
Abychom vyhodnotili dostupné výpočetní zdroje pro akademiky, Khandelwal a jeho kolegové zkoumali 50 vědců z 35 institucí. Z respondentů 66% vyhodnotilo svou spokojenost s výpočetním výkonem s 3 nebo méně na stupnici 5. „Nejsou vůbec spokojeni,“ říká Khandelwal.
Univerzity mají různé předpisy pro přístup k GPU. Někteří by mohli mít centrální výpočetní klastr, který sdílí oddělení a studenty, kde mohou vědci požádat o čas GPU. Jiné instituce by mohly koupit stroje, které mohou používat přímo členy laboratoře.
Někteří vědci uvedli, že museli čekat celé dny, než získají přístup k GPU, a všimli si, že čekací doby jsou obzvláště vysoké (viz „Přijetí zdroje výpočtu“). Výsledky také ilustrují globální nerovnosti v přístupu. Například respondent zmínil obtíže při hledání GPU na Středním východě. Pouze 10% respondentů uvedlo, že přístup k
efektivní metody Vědci také zkoumali, jak by akademici mohli lépe využívat méně výkonné výpočetní zdroje. Vypočítají, kolik času by bylo zapotřebí k trénování několika LLM s hardwarem s nízkou spotřebou zdrojů - mezi 1 a 8 GPU. Navzdory těmto omezeným zdrojům se vědcům podařilo úspěšně trénovat mnoho modelů, i když to trvalo déle a museli aplikovat efektivnější metody. "Ve skutečnosti můžeme používat GPU, které máme déle, a proto můžeme kompenzovat některé rozdíly mezi tím, co má průmysl," říká Kaufwal. "Je vzrušující vidět, že můžete skutečně trénovat větší model, než by mnoho lidí vzalo, a to i s omezenými aritmetickými zdroji," říká Ji -ung Lee, modely neuroexplicitu na University of Saarnd v Saarbrücken v Německu. Dodává, že budoucí práce by se mohla podívat na zkušenosti průmyslových vědců v malých společnostech, které také bojují proti přístupu k aritmetickým zdrojům. „Není to tak, že to ve skutečnosti obdrží každý, kdo má přístup k neomezenému výpočetnímu výkonu,“ říká. khandelwal, A. et al. Preprint na arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).