Beregning ved AI Computing: Forskere har ingen adgang til magtfulde chips til deres forskning
Beregning ved AI Computing: Forskere har ingen adgang til magtfulde chips til deres forskning
Mange universitetsforskere er frustrerede over den begrænsede computerpræstation, som for deres forskning inden for (KI) er tilgængelig som en undersøgelse blandt akademikere på snesevis af institutioner over hele verden.
Resultaterne 1 , som blev offentliggjort på preprint-serveren arxiv mest avancerede computersystemer mangler. Dette kan påvirke din evne, Grafikprocessorer (GPU'er) skal købes-computerchips, der ofte bruges til at træne AI-modeller og kan koste flere tusinde dollars. I modsætning hertil har forskere højere budgetter i store teknologiselskaber og kan bruge mere på GPU'er. "Hver GPU tilføjer mere magt," siger co -forfatteren af Apoorv Khandelwal -undersøgelsen, en computerforsker ved Brown University i Providence, Rhode Island. "Mens disse industrielle giganter muligvis har tusinder af GPU'er, kan akademikere kun have nogle få."
"Kløften mellem akademiske og industrielle modeller er stor, men kan være meget mindre," siger Stella Biderman, administrerende direktør for Eleutherai, et non-profit AI Research Institute i Washington DC. Forskning om denne ulighed er "meget vigtig", tilføjer hun.
langsomme ventetider
For at evaluere de tilgængelige computerressourcer for akademikere undersøgte Khandelwal og hans kolleger 50 forskere fra 35 institutioner. Af de adspurgte vurderede 66% deres tilfredshed med deres computerkraft med 3 eller mindre på en skala fra 5. "De er overhovedet ikke tilfredse," siger Khandelwal.
Universiteterne har forskellige regler for adgang til GPU'er. Nogle kunne have en central computerklynge, der deles af afdelinger og studerende, hvor forskere kan anmode om GPU -tid. Andre institutioner kunne købe maskiner, der kan bruges direkte af medlemmer af laboratoriet.
Nogle forskere rapporterede, at de måtte vente i flere dage med at få adgang til GPU'er og bemærkede, at ventetiden var særlig høje (se "Beregningsressourceaccept"). Resultaterne illustrerer også globale uligheder i adgangen. For eksempel nævnte en respondent vanskelighederne ved at finde GPU'er i Mellemøsten. Kun 10% af de adspurgte oplyste, at adgang til >>>>>>>>>> nvidia Gpus , kraftfulde chips, der blev udviklet til AI -forskning.
Denne barriere gør processen med foruddannelse-fodring af store dataregistreringer i LLMS-partikulært udfordrende. "Det er så dyrt, at de fleste akademikere ikke engang overvejer at gøre videnskab i foruddannelse," siger Kaufenwal. Han og hans kolleger er af den opfattelse, at akademikere tilbyder et unikt perspektiv i AI -forskning, og at en mangel på adgang til computerkraft kan begrænse forskningsfeltet.
"Det er simpelthen vigtigt at have et sundt, konkurrencedygtigt akademisk forskningsmiljø til lang vækst og langvarig teknologisk udvikling," siger coautor Ellie Pavlick, der studerer datalogi og sprogvidenskab ved Brown University. "Hvis du har forskning i industrien, er der et klart kommercielt pres, som undertiden frister dig til at bruge og udforske mindre hurtigere."
effektive metoder
Forskerne undersøgte også, hvordan akademikere bedre kunne bruge mindre kraftfulde computerressourcer. De beregner, hvor lang tid der kræves for at træne flere LLM'er med hardware med lavt ressourceforbrug - mellem 1 og 8 GPU'er. På trods af disse begrænsede ressourcer lykkedes det forskerne med succes at træne mange af modellerne, skønt det tog længere tid, og de måtte anvende mere effektive metoder.
"Vi kan faktisk bruge de GPU'er, som vi har længere, og derfor kan vi kompensere for nogle af forskellene mellem hvad industrien har," siger Kaufwal.
"Det er spændende at se, at du faktisk kan træne en større model, end mange mennesker ville tage, selv med begrænsede aritmetiske ressourcer," siger Ji -ung Lee, NeuroExplicite -modellerne ved University of Saarland i Saarbrücken, Tyskland. Han tilføjer, at fremtidig arbejde kunne se på erfaringerne fra industrielle forskere i små virksomheder, der også bekæmper adgang til aritmetiske ressourcer. "Det er ikke tilfældet, at alle, der har adgang til ubegrænset computerkraft, faktisk modtager dette," siger han.
- >>
khandelwal, A. et al. Fortryk på arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).