Berekening bij AI Computing: wetenschappers hebben geen toegang tot krachtige chips voor hun onderzoek
Berekening bij AI Computing: wetenschappers hebben geen toegang tot krachtige chips voor hun onderzoek
Veel universitaire wetenschappers zijn gefrustreerd door de beperkte computerprestaties, die voor hun onderzoek op het gebied van 1 , die werden gepubliceerd op de PREPRINT SERVER ARXIV MEEST geavanceerde computersystemen missen. Dit kan van invloed zijn op uw vermogen,
In het bijzonder hebben academische onderzoekers soms niet de bronnen om krachtig te maken Graphics Processors (GPU's) Om chips van de computer te kopen die vaak worden gebruikt om AI-modellen te trainen en enkele duizenden dollars kunnen kosten. Onderzoekers hebben daarentegen hogere budgetten bij grote technologiebedrijven en kunnen meer uitgeven aan GPU's. "Elke GPU voegt meer macht toe", zegt de co -auteur van de Apoorv Khandelwal -studie, een computerwetenschapper aan de Brown University in Providence, Rhode Island. "Hoewel deze industriële reuzen misschien duizenden GPU's hebben, kunnen academici er maar een paar hebben." "De kloof tussen academische en industriële modellen is groot, maar kan veel kleiner zijn", zegt Stella Biderman, directeur van Eleutherai, een non-profit AI Research Institute in Washington DC. Onderzoek naar deze ongelijkheid is "erg belangrijk", voegt ze eraan toe. langzame wachttijden Om de beschikbare computerbronnen voor academici te evalueren, onderzocht Khandelwal en zijn collega's 50 wetenschappers van 35 instellingen. Van de respondenten evalueerde 66% hun tevredenheid over hun rekenkracht met 3 of minder op een schaal van 5. "Ze zijn helemaal niet tevreden", zegt Khandelwal. De universiteiten hebben verschillende voorschriften voor toegang tot GPU's. Sommigen kunnen een centraal rekencluster hebben dat wordt gedeeld door afdelingen en studenten, waar onderzoekers GPU -tijd kunnen aanvragen. Andere instellingen kunnen machines kopen die rechtstreeks door leden van het laboratorium kunnen worden gebruikt. Sommige wetenschappers meldden dat ze dagenlang moesten wachten om toegang te krijgen tot GPU's en merkten op dat de wachttijden bijzonder hoog waren (zie "Acceptatie van de berekening"). De resultaten illustreren ook globale ongelijkheden in toegang. Een respondent noemde bijvoorbeeld de moeilijkheden om GPU's in het Midden -Oosten te vinden. Slechts 10% van de respondenten verklaarde dat toegang tot NVIDES H100 GPUS H100 GPUSS HIPE TEST "> NVIDES H100 GPUSS HIPE TECTE TACKS ALTEXT"> NVIDES H100 GPUS HIPE TEST "> NVIDIAS H100 GPUS HIPE TEST"> NVIDE TECTSKOPPUS "> NVIDES H100 GPUSS TEST" , Krachtige chips die zijn ontwikkeld voor AI -onderzoek.
Deze barrière maakt het proces van pre-training-de voeding van grote gegevensrecords in LLMS-vooral uitdagend. "Het is zo duur dat de meeste academici niet eens overwegen om wetenschap te doen in pre-training", zegt Kaufenwal. Hij en zijn collega's zijn van mening dat academici een uniek perspectief bieden in AI -onderzoek en dat een gebrek aan toegang tot rekenkracht het onderzoeksgebied kan beperken. "Het is gewoon belangrijk om een gezonde, concurrerende academische onderzoeksomgeving te hebben voor langdurige groei en technologische ontwikkeling op lange termijn", zegt Co -auteur Ellie Pavlick, die informatica en taalkunde bestudeert aan de Brown University. "Als u onderzoek hebt in de industrie, is er een duidelijke commerciële druk, die u soms verleidt om minder sneller te gebruiken en te verkennen." efficiënte methoden De onderzoekers onderzochten ook hoe academici minder krachtige computerbronnen beter kunnen gebruiken. Ze berekenen hoeveel tijd nodig zou zijn om verschillende LLM's te trainen met hardware met een laag verbruik van middelen - tussen 1 en 8 GPU's. Ondanks deze beperkte middelen slaagden de onderzoekers erin om met succes veel van de modellen te trainen, hoewel het langer duurde en ze moesten efficiëntere methoden toepassen. "We kunnen de GPU's daadwerkelijk gebruiken dat we langer hebben, en dus kunnen we enkele van de verschillen tussen wat de industrie heeft compenseren", zegt Kaufwal. "Het is opwindend om te zien dat je daadwerkelijk een groter model kunt trainen dan veel mensen zouden nemen, zelfs met beperkte rekenmiddelen", zegt Ji -ung Lee, de Neuroexplicite -modellen aan de Universiteit van Saarland in Saurbrücken, Duitsland. Hij voegt eraan toe dat toekomstig werk zou kunnen kijken naar de ervaringen van industriële onderzoekers in kleine bedrijven die ook de toegang tot rekenmachines bestrijden. "Het is niet het geval dat iedereen die toegang heeft tot onbeperkte rekenkracht dit daadwerkelijk ontvangt", zegt hij. khandelwal, A. et al. Preprint op arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024). >
Kommentare (0)