AI Računarstvo Divide: Znanstvenici nemaju pristup moćnim čipovima za svoje istraživanje

AI Računarstvo Divide: Znanstvenici nemaju pristup moćnim čipovima za svoje istraživanje

Mnogi sveučilišni znanstvenici frustrirani su ograničenom računalnom snagom koja im je dostupna za njihovo istraživanje u području umjetna inteligencija (AI) je dostupan, kao istraživanje akademika na desecima institucija širom svijeta.

Rezultati 1, Objavljeno 30. listopada na preprint poslužitelju ARXIV, sugeriraju da akademici nemaju pristup najnaprednijim računalnim sustavima. To bi moglo utjecati na vašu sposobnost da Veliki jezični modeli (LLMS) razviti i provoditi druge AI istraživačke projekte.

Konkretno, akademski istraživači ponekad nemaju resurse da budu moćni Grafički procesori (GPU) Za kupnju - Računalni čipovi koji se obično koriste za obuku AI modela koji mogu koštati nekoliko tisuća dolara. Suprotno tome, istraživači u velikim tehnološkim tvrtkama imaju veći proračun i mogu potrošiti više na GPU -ove. "Svaki GPU dodaje više snage", kaže koautor studije Apoorv Khandelwal, informatičar sa Sveučilišta Brown u Providenceu, Rhode Island. "Iako ti industrijski divovi mogu imati tisuće GPU -a, akademici mogu imati samo nekoliko."

"Jaz između akademskih i industrijskih modela je velik, ali mogao bi biti mnogo manji", kaže Stella Biderman, izvršna direktorica Eleutherai -a, neprofitnog AI istraživačkog instituta u Washingtonu. Istraživanje ove nejednakosti je "vrlo važno", dodaje ona.

Sporo vrijeme čekanja

Da bi procijenili računalne resurse dostupne akademicima, Khandelwal i njegovi kolege anketirali su 50 znanstvenika iz 35 institucija. Od anketiranih, 66% je njihovo zadovoljstvo ocijenilo njihovom računalnom snagom kao 3 ili manje na skali od 5. "Uopće nisu zadovoljni", kaže Khandelwal.

Sveučilišta imaju različite propise za pristup GPU -u. Neki bi mogli imati središnji izračunski klaster koji se dijeli među odjelima i studentima gdje istraživači mogu zatražiti vrijeme GPU -a. Ostale institucije mogle bi kupiti strojeve koje mogu izravno koristiti članovi laboratorija.

Neki su znanstvenici izvijestili da moraju čekati dane kako bi dobili pristup GPU -u, napominjući da su vremena čekanja posebno visoka oko rokova projekta (vidi „Uskopalo izračunavanja resursa“). Rezultati također ističu globalne nejednakosti u pristupu. Na primjer, jedan ispitanik spomenuo je poteškoće u pronalaženju GPU -a na Bliskom Istoku. Samo 10% ispitanika reklo je da imaju pristup Nvidia H100 GPUS, imati moćne čipove dizajnirane za AI istraživanje.

Ova barijera čini postupak pred-treninga-unošenje velikih skupova podataka u LLMS-posebno izazovno. "Toliko je skupo da većina akademika uopće ne razmišlja o znanosti u pred-treningu", kaže Khandelwal. On i njegovi kolege vjeruju da akademici nude jedinstvenu perspektivu u istraživanju AI i da nedostatak pristupa računalnoj moći može ograničiti istraživačko polje.

"Jednostavno je važno imati zdravo, konkurentno akademsko istraživačko okruženje za dugoročni rast i dugoročni tehnološki razvoj", kaže koautor Ellie Pavlick, koja studira informatiku i lingvistiku na Sveučilištu Brown. "Kada imate istraživanje u industriji, postoje jasni komercijalni pritisci koji vas ponekad iskušavaju da brže iskoristite i manje istražite."

Učinkovite metode

Istraživači su također ispitali kako bi akademici mogli bolje koristiti manje moćne računalne resurse. Izračunali su koliko će vremena biti potrebno za prethodno vlak više LLM-ova pomoću hardvera s niskim resursima-između 1 i 8 GPU-a. Unatoč tim ograničenim resursima, istraživači su uspjeli uspješno obučiti mnoge modele, iako im je trebalo duže i zahtijevao od njih da koriste učinkovitije metode.

"Zapravo možemo koristiti GPU -ove koje imamo duže i tako možemo izgladiti neke razlike između onoga što industrija ima", kaže Khandelwal.

"Uzbudljivo je vidjeti da zapravo možete trenirati veći model nego što bi mnogi zamislili, čak i s ograničenim računalnim resursima", kaže Ji-ung Lee, koji proučava neuroeksplicitne modele na Sveučilištu Saarland u Saarbrückenu u Njemačkoj. Dodaje da bi budući rad mogao pogledati iskustva industrijskih istraživača u malim tvrtkama koje se također bore s pristupom računalnim resursima. "Nije kao da svi koji imaju pristup neograničenoj računalnoj moći zapravo dobivaju", kaže on.

1. Khandelwal, A. i sur. Preprint na arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Preuzmite reference