Výpočet pri výpočte AI: Vedci nemajú prístup k výkonným čipom pre svoj výskum
Výpočet pri výpočte AI: Vedci nemajú prístup k výkonným čipom pre svoj výskum
Mnoho univerzitných vedcov je frustrovaných z obmedzeného výpočtového výkonu, ktorý pre ich výskum v oblasti (Ki) je k dispozícii ako prieskum medzi akademikmi na desiatkach inštitúcií na celom svete.
Výsledky 1 , ktoré boli zverejnené v najpredávanejších počítačových systémoch s predprintom Arxiv. To by mohlo ovplyvniť vašu schopnosť, Veľký hlas (Llms) a Lls) Výskumné projekty AI.
Najmä akademickí vedci niekedy nemajú zdroje na to, aby sa stali výkonnými Graphics procesory (GPU) Na zakúpené čipy s počítačmi, ktoré sa často používajú na výcvik modelov AI a môžu stáť niekoľko tisíc dolárov. Naopak, vedci majú vo veľkých technologických spoločnostiach vyššie rozpočty a môžu minúť viac za GPU. „Každý GPU dodáva viac energie,“ hovorí spoluautor štúdie Apoorv Khandelwal, počítačový vedec na Brown University v Providence na ostrove Rhode Island. „Aj keď títo priemyselní obri môžu mať tisíce GPU, akademici môžu mať len pár.“
„Priepasť medzi akademickými a priemyselnými modelmi je veľká, ale mohla by byť oveľa menšia,“ hovorí Stella Biderman, generálna riaditeľka Eleutherai, neziskového výskumného ústavu AI vo Washingtone DC. Výskum tejto nerovnosti je „veľmi dôležitý“, dodáva.
pomalé čakacie doby
S cieľom vyhodnotiť dostupné výpočtové zdroje pre akademikov Khandelwal a jeho kolegovia skúmali 50 vedcov z 35 inštitúcií. Z respondentov 66% vyhodnotilo svoju spokojnosť so svojou výpočtovou silou s 3 alebo menej na stupnici 5. „Nie sú vôbec spokojní,“ hovorí Khandelwal.
Univerzity majú rôzne nariadenia o prístupu k GPU. Niektorí by mohli mať centrálny výpočtový klaster, ktorý zdieľajú oddelenia a študenti, kde vedci môžu požiadať o čas GPU. Ostatné inštitúcie si mohli kúpiť stroje, ktoré môžu používať priamo členovia laboratória.
Niektorí vedci uviedli, že musia čakať niekoľko dní, aby získali prístup k GPU, a všimli si, že čakacie doby boli obzvlášť vysoké (pozri „Prijatie výpočtových zdrojov“). Výsledky tiež ilustrujú globálne nerovnosti v prístupe. Napríklad respondent spomenul ťažkosti s nájdením GPU na Blízkom východe. Iba 10% respondentov uviedlo, že prístup k , silné čipy, ktoré boli vyvinuté pre výskum AI.
Táto bariéra spôsobuje, že proces predbežného výcviku-kŕmenie veľkých záznamov údajov v LLMS-zásadne náročnom. „Je také drahé, že väčšina akademikov ani neuvažuje o vede pri predškolskom,“ hovorí Kaufenwal. On a jeho kolegovia sa domnievajú, že akademici ponúkajú jedinečný pohľad vo výskume AI a že nedostatok prístupu k výpočtovej sile by mohol obmedziť výskumnú oblasť. „Je jednoducho dôležité mať zdravé a konkurenčné akademické výskumné prostredie pre dlhodobý rast a dlhodobý technologický rozvoj,“ hovorí Co -Auttor Ellie Pavlick, ktorá študuje informatiku a lingvistiku na Brown University. „Ak máte výskum v priemysle, existuje jasný komerčný tlak, ktorý vás niekedy pokúša používať a preskúmať menej rýchlejšie.“ Efektívne metódy Vedci tiež skúmali, ako by akademici mohli lepšie využiť menej výkonné výpočtové zdroje. Vypočítajú, koľko času by sa vyžadovalo na trénovanie niekoľkých LLM s hardvérom s nízkou spotrebou zdrojov - medzi 1 a 8 GPU. Napriek týmto obmedzeným zdrojom sa vedcom podarilo úspešne trénovať mnohé modely, aj keď to trvalo dlhšie a museli uplatňovať efektívnejšie metódy. „Skutočne môžeme použiť GPU, ktoré máme dlhšie, a preto môžeme kompenzovať niektoré rozdiely medzi tým, čo má priemysel,“ hovorí Kaufwal. „Je vzrušujúce vidieť, že môžete skutočne trénovať väčší model, ako by si vzali mnohí ľudia, a to aj s obmedzenými aritmetickými zdrojmi,“ hovorí Ji -ung Lee, neuroexplicitné modely na University of Saarland v Saarbrücken v Nemecku. Dodáva, že budúca práca by sa mohla pozrieť na skúsenosti priemyselných výskumných pracovníkov v malých spoločnostiach, ktoré tiež bojujú proti prístupu k aritmetickým zdrojom. „Nie je to tak, že každý, kto má prístup k neobmedzeniu výpočtovej sily, to skutočne dostane,“ hovorí. khandelwal, A. et al. Predtlač na Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).