Izračun pri AI Computing: Znanstveniki nimajo dostopa do močnih čipov za svoje raziskave
Izračun pri AI Computing: Znanstveniki nimajo dostopa do močnih čipov za svoje raziskave
Many university scientists are frustrated with the limited computing performance, which for their research in the field of Artificial intelligence (ki) je na voljo kot raziskava med akademiki na več deset institucijah po vsem svetu.
Rezultati 1 , ki so bili objavljeni na predrint Server ARXIV Najbolj napredne računalniške sisteme primanjkuje. To lahko vpliva Drugi raziskovalni projekti AI.
Zlasti akademski raziskovalci včasih nimajo virov, da bi lahko naredili močne Grafični procesorji (GPU) Da jih je treba kupiti čipe, ki se pogosto uporabljajo za usposabljanje modelov AI in lahko stanejo nekaj tisoč dolarjev. V nasprotju s tem imajo raziskovalci višji proračun v velikih tehnoloških podjetjih in lahko porabijo več za GPU. "Vsak GPU doda več moči," pravi Co -author študije Apoorv Khandelwal, računalnika na univerzi Brown v Providenceu, Rhode Island. "Medtem ko imajo ti industrijski velikani morda na tisoče GPU -jev, imajo akademiki le nekaj."
"Razkorak med akademskimi in industrijskimi modeli je velika, vendar bi lahko bila veliko manjša," pravi Stella Biderman, generalna direktorica Eleutherai, neprofitnega raziskovalnega inštituta AI v Washingtonu DC. Raziskave te neenakosti so "zelo pomembne", dodaja.
počasne čakalne dobe
Da bi ocenili razpoložljive računalniške vire za akademike, so Khandelwal in njegovi sodelavci anketirali 50 znanstvenikov iz 35 institucij. Od anketirancev jih je 66% ocenilo njihovo zadovoljstvo s svojo računalniško močjo s 3 ali manj na lestvici 5. "Sploh niso zadovoljne," pravi Khandelwal.
Univerze imajo različne predpise za dostop do GPU -jev. Nekateri bi lahko imeli osrednji računalnik, ki si ga delijo oddelki in študenti, kjer lahko raziskovalci zahtevajo čas GPU -ja. Druge institucije bi lahko kupile stroje, ki jih lahko neposredno uporabljajo člani laboratorija.
Nekateri znanstveniki so poročali, da morajo čakati dneve, da dobijo dostop do GPU -jev, in opazili, da so čakalne dobe še posebej visoke (glej "Sprejem virov za izračun"). Rezultati ponazarjajo tudi globalne neenakosti pri dostopu. Na primer, anketiranec je omenil težave pri iskanju GPU na Bližnjem vzhodu. Samo 10% anketirancev je navedlo, da dostop do
"Preprosto je pomembno imeti zdravo, konkurenčno akademsko raziskovalno okolje za dolgoročno rast in dolgoročni tehnološki razvoj," pravi soavtor Ellie Pavlick, ki na univerzi Brown preučuje računalništvo in jezikoslovje. "Če imate raziskave v industriji, obstaja jasen komercialni pritisk, ki vas včasih skuša uporabljati in raziskati manj hitreje." Učinkovite metode Raziskovalci so tudi preučili, kako bi akademiki lahko bolje uporabili manj močne računalniške vire. Izračunajo, koliko časa bi bilo potrebno za usposabljanje več LLM s strojno opremo z nizko porabo virov - med 1 in 8 GPU. Kljub tem omejenim virom je raziskovalcem uspelo uspešno usposobiti številne modele, čeprav je trajalo dlje in so morali uporabiti učinkovitejše metode. "Lahko dejansko uporabimo GPU -je, ki jih imamo dlje, in tako lahko nadomestimo nekatere razlike med tem, kar ima industrija," pravi Kaufwal. "Navdušujoče je videti, da lahko dejansko trenirate večji model, kot bi jih vzeli mnogi, tudi z omejenimi aritmetičnimi viri," pravi Ji -ung Lee, modeli NeuroExplicita na Univerzi v Saarlandu v Saarbrückenu v Nemčiji. Dodaja, da bi lahko prihodnje delo preučilo izkušnje industrijskih raziskovalcev v malih podjetjih, ki se tudi borijo proti dostopu do aritmetičnih virov. "Ne gre za to, da vsi, ki imajo dostop do neomejene računalniške moči, to dejansko prejmejo," pravi. Khandelwal, A. et al. Pretrint na arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024). >