Izračun na AI računarstvu: Znanstvenici nemaju pristup moćnim čipovima za svoje istraživanje
Izračun na AI računarstvu: Znanstvenici nemaju pristup moćnim čipovima za svoje istraživanje
Mnogi sveučilišni znanstvenici frustrirani su ograničenim računalnim performansama, koje su za svoje istraživanje u području 1 , koji su objavljeni na najprometnijim računalnim sustavima poslužitelja preprinta. To bi moglo utjecati na vašu sposobnost, Grafički procesori (GPUS) da se kupuju čipovi računala koji se često koriste za obuku AI modela i mogu koštati nekoliko tisuća dolara. Suprotno tome, istraživači imaju veći proračun u velikim tehnološkim tvrtkama i mogu potrošiti više za GPU -ove. "Svaki GPU dodaje više snage", kaže ko -autor studije Apoorv Khandelwal, računalni znanstvenik sa Sveučilišta Brown u Providenceu, Rhode Island. "Iako ti industrijski divovi mogu imati tisuće GPU -a, akademici mogu imati samo nekoliko."
"Jaz između akademskih i industrijskih modela je velik, ali mogao bi biti mnogo manji", kaže Stella Biderman, generalna direktorica Eleutherai-a, neprofitnog istraživačkog instituta AI u Washingtonu. Istraživanje ove nejednakosti je "vrlo važno", dodaje ona.
Sporo vrijeme čekanja
Da bi procijenili dostupne računalne resurse za akademike, Khandelwal i njegovi kolege anketirali su 50 znanstvenika iz 35 institucija. Od ispitanika 66% je procijenilo svoje zadovoljstvo njihovom računalnom snagom s 3 ili manje na skali od 5. "Uopće nisu zadovoljni", kaže Khandelwal.
Sveučilišta imaju različite propise za pristup GPU -u. Neki bi mogli imati središnji izračunski klaster koji dijele odjeli i studenti, gdje istraživači mogu zatražiti vrijeme GPU -a. Ostale institucije mogle bi kupiti strojeve koje mogu izravno koristiti članovi laboratorija.
Neki su znanstvenici izvijestili da moraju čekati danima kako bi dobili pristup GPU -u i primijetili da su vremena čekanja posebno visoka (vidi "Prihvaćanje resursa izračunavanja"). Rezultati također ilustriraju globalne nejednakosti u pristupu. Na primjer, ispitanik je spomenuo poteškoće u pronalaženju GPU -a na Bliskom Istoku. Samo 10% ispitanika izjavilo je da je pristup
"Jednostavno je važno imati zdravo, konkurentno akademsko istraživačko okruženje za dugoročni rast i dugoročni tehnološki razvoj", kaže Co -Author Ellie Pavlick, koja studira informatiku i lingvistiku na Sveučilištu Brown. "Ako imate istraživanje u industriji, postoji jasan komercijalni pritisak koji vas ponekad iskušava da koristite i istražite manje brže." Učinkovite metode Istraživači su također ispitali kako bi akademici mogli bolje koristiti manje moćne računalne resurse. Oni izračunavaju koliko će vremena biti potrebno za obuku nekoliko LLM -ova s hardverom s malom potrošnjom resursa - između 1 i 8 GPU -a. Unatoč tim ograničenim resursima, istraživači su uspjeli uspješno obučiti mnoge modele, iako su trajali duže i morali su primijeniti učinkovitije metode. "Zapravo možemo upotrijebiti GPU -ove koji imamo duže, pa možemo nadoknaditi neke razlike između onoga što industrija ima", kaže Kaufwal. "Uzbudljivo je vidjeti da zapravo možete trenirati veći model nego što bi mnogi ljudi uzeli, čak i s ograničenim aritmetičkim resursima", kaže Ji -ung Lee, modeli neuroexplicita na Sveučilištu u Saarlandu u Saarbrückenu u Njemačkoj. Dodaje da bi budući rad mogao pogledati iskustva industrijskih istraživača u malim tvrtkama koje se također bore protiv pristupa aritmetičkim resursima. "Nije slučaj da svi koji imaju pristup neograničenoj računalnoj moći zapravo to primaju", kaže on. Khandelwal, A. i sur. Preprint na arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).