AI Computing Divide: Forskare saknar tillgång till kraftfulla chips för sin forskning

AI Computing Divide: Forskare saknar tillgång till kraftfulla chips för sin forskning

Många universitetsforskare är frustrerade över den begränsade datorkraften som finns tillgänglig för sin forskning inom området konstgjorda intelligens (AI) är tillgänglig, som en undersökning av akademiker på dussintals institutioner över hela världen.

Resultaten 1, publicerad den 30 oktober på PrePrint Server Arxiv, föreslår att akademiker saknar tillgång till de mest avancerade datorsystemen. Detta kan påverka din förmåga att Stora språkmodeller (LLMS) att utveckla och genomföra andra AI -forskningsprojekt.

I synnerhet har akademiska forskare ibland inte resurser att vara kraftfulla Grafikprocessorer (GPU) För att köpa - datorchips som vanligtvis används för att träna AI -modeller som kan kosta flera tusen dollar. Däremot har forskare på stora teknikföretag större budgetar och kan spendera mer på GPU: er. "Varje GPU lägger till mer makt", säger studieledare Apoorv Khandelwal, en datavetare vid Brown University i Providence, Rhode Island. "Även om dessa branschgiganter kan ha tusentals GPU: er, kan akademiker bara ha några."

"Klyftan mellan akademiska och industriella modeller är stor, men kan vara mycket mindre", säger Stella Biderman, verkställande direktör för Eleutherai, ett ideellt AI -forskningsinstitut i Washington DC. Forskning om denna ojämlikhet är "mycket viktig", tillägger hon.

Långsamma väntetider

För att bedöma de datorresurser som finns tillgängliga för akademiker undersökte Khandelwal och hans kollegor 50 forskare från 35 institutioner. Av de tillfrågade betygsatte 66% sin tillfredsställelse med sin datorkraft som 3 eller mindre på en skala från 5. "De är inte nöjda alls," säger Khandelwal.

Universitet har olika regler för tillgång till GPU: er. Vissa kan ha ett centralt datorkluster som delas mellan avdelningar och studenter där forskare kan begära GPU -tid. Andra institutioner kan köpa maskiner som kan användas direkt av medlemmarna i labbet.

Vissa forskare rapporterade att de måste vänta dagar för att få tillgång till GPU: er och noterade att väntetiderna var särskilt höga kring projektfristerna (se ”Beräkna resursflaskhals”). Resultaten belyser också globala ojämlikheter i tillgången. Till exempel nämnde en respondent svårigheten att hitta GPU: er i Mellanöstern. Endast 10% av de svarande sa att de hade tillgång till NVIDIA'S H100 GPUS, för att ha kraftfulla chips utformade för AI -forskning.

Denna barriär gör processen för förutbildning-utfodring av stora datamängder till LLMS-särskilt utmanande. "Det är så dyrt att de flesta akademiker inte ens överväger att göra vetenskap i förträning," säger Khandelwal. Han och hans kollegor tror att akademiker erbjuder ett unikt perspektiv i AI -forskning och att en brist på tillgång till datorkraft kan begränsa forskningsområdet.

"Det är bara riktigt viktigt att ha en hälsosam, konkurrenskraftig akademisk forskningsmiljö för långsiktig tillväxt och långsiktig teknisk utveckling," säger medförfattare Ellie Pavlick, som studerar datavetenskap och lingvistik vid Brown University. "När du har forskning inom branschen finns det tydliga kommersiella påtryckningar som ibland frestar dig att utnyttja snabbare och utforska mindre."

Effektiva metoder

Forskarna undersökte också hur akademiker kunde utnyttja mindre kraftfulla datorresurser bättre. De beräknade hur mycket tid som skulle krävas för att träna flera LLM med hjälp av hårdvara med låg resurs-mellan 1 och 8 GPU: er. Trots dessa begränsade resurser lyckades forskarna framgångsrikt utbilda många av modellerna, även om det tog längre tid och krävde att de använde mer effektiva metoder.

"Vi kan faktiskt använda GPU: erna vi har längre, och därför kan vi jämna ut några av skillnaderna mellan vad branschen har," säger Khandelwal.

"Det är spännande att se att du faktiskt kan träna en större modell än många skulle föreställa sig, även med begränsade datorresurser," säger Ji-Yung Lee, som studerar neuroexplicita modeller vid Saarland University i Saarbrücken, Tyskland. Han tillägger att framtida arbete kan titta på erfarenheterna från industriella forskare på små företag som också kämpar med tillgång till datorresurser. "Det är inte som alla som har tillgång till obegränsad datorkraft faktiskt får det," säger han.

1. Khandelwal, A. et al. Förtryck på Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Ladda ner referenser