Rozdelenie výpočtu AI: Vedci nemajú prístup k výkonným čipom pre ich výskum

Rozdelenie výpočtu AI: Vedci nemajú prístup k výkonným čipom pre ich výskum

Mnoho univerzitných vedcov je frustrovaných obmedzeným výpočtovou silou, ktorú majú k dispozícii pre ich výskum v oblasti umelá inteligencia (AI) je k dispozícii ako prieskum akademikov na desiatkach inštitúcií na celom svete.

Výsledky 1, publikované 30. októbra na serveri Pret -Print Server ARXIV, naznačujú, že akademici nemajú prístup k najpokročilejším počítačovým systémom. To by mohlo ovplyvniť vašu schopnosť Veľké jazykové modely (LLMS) rozvíjať a realizovať ďalšie výskumné projekty AI.

Najmä akademickí vedci niekedy nemajú zdroje na to, aby boli mocní Grafické procesory (GPU) Ak chcete kúpiť - počítačové čipy, ktoré sa bežne používajú na výcvik modelov AI, ktoré môžu stáť niekoľko tisíc dolárov. Naopak, vedci vo veľkých technologických spoločnostiach majú väčšie rozpočty a môžu viac minúť na GPU. „Každý GPU dodáva viac energie,“ hovorí spoluautor štúdie Apoorv Khandelwal, počítačový vedec na Brown University v Providence na ostrove Rhode Island. „Aj keď títo priemyselní giganti môžu mať tisíce GPU, akademici môžu mať len pár.“

„Priepasť medzi akademickými a priemyselnými modelmi je veľká, ale mohla by byť oveľa menšia,“ hovorí Stella Biderman, výkonná riaditeľka Eleutherai, neziskového výskumného ústavu AI vo Washingtone DC. Výskum tejto nerovnosti je „veľmi dôležitý“, dodáva.

Pomalé čakacie doby

Na posúdenie výpočtových zdrojov dostupných pre akademikov Khandelwal a jeho kolegovia skúmali 50 vedcov z 35 inštitúcií. Z prieskumu 66% hodnotilo spokojnosť so svojou výpočtovou silou ako 3 alebo menej na stupnici 5. „Nie sú vôbec spokojní,“ hovorí Khandelwal.

Univerzity majú rôzne nariadenia o prístupu k GPU. Niektorí môžu mať centrálny výpočtový klaster zdieľaný medzi oddeleniami a študentmi, kde môžu vedci požiadať o čas GPU. Ostatné inštitúcie by mohli kúpiť stroje, ktoré môžu používať priamo členovia laboratória.

Niektorí vedci uviedli, že musia čakať dni, aby získali prístup k GPU, pričom poznamenali, že čakacie doby boli obzvlášť vysoké v súvislosti s termínmi projektu (pozri „Prekážka vypočítania zdrojov“). Výsledky tiež zdôrazňujú globálne nerovnosti v prístupe. Napríklad jeden respondent spomenul ťažkosti s nájdením GPU na Blízkom východe. Iba 10% respondentov uviedlo, že majú prístup H100 GPU NVIDIA, mať výkonné čipy určené pre výskum AI.

Táto bariéra spôsobuje, že proces predbežného výcviku-kŕmenie veľkých súborov údajov do LLM-obzvlášť náročný. „Je to také drahé, že väčšina akademikov ani neuvažuje o tom, že by veda pri predškolskom tréningu,“ hovorí Khandelwal. On a jeho kolegovia veria, že akademici ponúkajú jedinečný pohľad vo výskume AI a že nedostatok prístupu k výpočtovej sile by mohol obmedziť výskumnú oblasť.

„Je skutočne dôležité mať zdravé a konkurenčné prostredie akademického výskumu pre dlhodobý rast a dlhodobý technologický rozvoj,“ hovorí spoluautorka Ellie Pavlick, ktorá študuje informatiku a lingvistiku na Brown University. „Keď máte výskum v priemysle, existujú jasné obchodné tlaky, ktoré vás niekedy pokúšajú rýchlejšie využívať a preskúmať menej.“

Efektívne metódy

Vedci tiež skúmali, ako by akademici mohli lepšie využiť menej výkonné výpočtové zdroje. Vypočítali, koľko času by sa vyžadovalo na predbežné prevody viacerých LLM pomocou hardvéru s nízkym zdrojom-medzi 1 a 8 GPU. Napriek týmto obmedzeným zdrojom sa vedcom podarilo úspešne trénovať mnohé modely, aj keď to trvalo dlhšie a vyžadovalo ich, aby používali efektívnejšie metódy.

„GPU, ktoré máme, môžeme skutočne používať dlhšie, a preto môžeme vyhladiť niektoré rozdiely medzi tým, čo má priemysel,“ hovorí Khandelwal.

„Je vzrušujúce vidieť, že môžete skutočne trénovať väčší model, ako by si mnohí ľudia predstavili, a to aj s obmedzenými výpočtovými zdrojmi,“ hovorí Ji-Ang Lee, ktorý študuje neuroexplicitné modely na Saarlandskej univerzite v Saarbrücken v Nemecku. Dodáva, že budúca práca by sa mohla pozrieť na skúsenosti priemyselných výskumných pracovníkov v malých spoločnostiach, ktoré tiež zápasia s prístupom k výpočtovým zdrojom. „Nie je to ako každý, kto má prístup k neobmedzeniu výpočtovej sily, to skutočne dostane,“ hovorí.

1. Khandelwal, A. a kol. Predtlač na Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Stiahnite si referencie