Beräkning vid AI Computing: Forskare har ingen tillgång till kraftfulla chips för sin forskning
Beräkning vid AI Computing: Forskare har ingen tillgång till kraftfulla chips för sin forskning
Many university scientists are frustrated with the limited computing performance, which for their research in the field of Artificial intelligence (KI) är tillgänglig, som en undersökning bland akademiker på dussintals institutioner över hela världen.
Resultaten 1 , som publicerades på PrePrint Server ARXIV Most Advanced Computing Systems Lack. Detta kan påverka din förmåga,
In particular, academic researchers sometimes do not have the resources to make powerful Grafikprocessorer (GPU) Att köpas-datorchips som ofta används för att träna AI-modeller och kan kosta flera tusen dollar. Däremot har forskare högre budgetar i stora teknikföretag och kan spendera mer för GPU: er. "Varje GPU lägger till mer makt", säger medförfattaren till Apoorv Khandelwal -studien, en datavetare vid Brown University i Providence, Rhode Island. "Även om dessa industriella jättar kan ha tusentals GPU: er, kan akademiker bara ha några." "Klyftan mellan akademiska och industriella modeller är stor, men kan vara mycket mindre", säger Stella Biderman, verkställande direktör för Eleutherai, ett ideellt AI-forskningsinstitut i Washington DC. Forskning om denna ojämlikhet är "mycket viktig", tillägger hon. långsamma väntetider För att utvärdera de tillgängliga datorresurserna för akademiker undersökte Khandelwal och hans kollegor 50 forskare från 35 institutioner. Av de svarande utvärderade 66% sin tillfredsställelse med sin datorkraft med 3 eller mindre på en skala från 5. "De är inte nöjda alls," säger Khandelwal. Universiteten har olika förordningar för tillgång till GPU: er. Vissa kan ha ett centralt datorkluster som delas av avdelningar och studenter, där forskare kan begära GPU -tid. Andra institutioner kan köpa maskiner som kan användas direkt av laboratoriet. Vissa forskare rapporterade att de var tvungna att vänta i flera dagar för att få tillgång till GPU: er och märkte att väntetiderna var särskilt höga (se "beräkningsresurs acceptans"). Resultaten illustrerar också globala ojämlikheter i tillgången. Till exempel nämnde en respondent svårigheterna med att hitta GPU: er i Mellanöstern. Only 10% of the respondents stated that access to Nvidia’s H100 GPUS , kraftfulla chips som utvecklades för AI -forskning.
Denna barriär gör att processen för utformning-utfodring av stora dataposter i LLMS-särskilt utmanande. "Det är så dyrt att de flesta akademiker inte ens överväger att göra vetenskap i förträning", säger Kaufenwal. Han och hans kollegor anser att akademiker erbjuder ett unikt perspektiv i AI -forskning och att en brist på tillgång till datorkraft kan begränsa forskningsområdet. "Det är helt enkelt viktigt att ha en hälsosam, konkurrenskraftig akademisk forskningsmiljö för långsiktig tillväxt och långsiktig teknisk utveckling," säger Co -Author Ellie Pavlick, som studerar datavetenskap och lingvistik vid Brown University. "Om du har forskning inom branschen finns det tydligt kommersiellt tryck, som ibland frestar dig att använda och utforska mindre snabbare." Effektiva metoder Forskarna undersökte också hur akademiker bättre kunde använda mindre kraftfulla datorresurser. De beräknar hur mycket tid som skulle krävas för att träna flera LLM med hårdvara med låg resursförbrukning - mellan 1 och 8 GPU: er. Trots dessa begränsade resurser lyckades forskarna framgångsrikt utbilda många av modellerna, även om det tog längre tid och de var tvungna att tillämpa mer effektiva metoder. "Vi kan faktiskt använda GPU: erna som vi har längre, och därför kan vi kompensera för några av skillnaderna mellan vad branschen har," säger Kaufwal. "Det är spännande att se att du faktiskt kan träna en större modell än många skulle ta, även med begränsade aritmetiska resurser," säger Ji -ung Lee, Neuroexplicite -modellerna vid University of Saarland i Saarbrücken, Tyskland. Han tillägger att framtida arbete kan titta på erfarenheterna från industriella forskare i små företag som också bekämpar tillgång till aritmetiska resurser. "Det är inte så att alla som har tillgång till obegränsad datorkraft faktiskt får detta," säger han. Khandelwal, A. et al. Förtryck på Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).