AI Computing Divide: Forskere mangler adgang til kraftfulde chips til deres forskning

AI Computing Divide: Forskere mangler adgang til kraftfulde chips til deres forskning

Mange universitetsforskere er frustrerede over den begrænsede computerkraft, der er til rådighed for deres forskning inden for området kunstig intelligens (AI) er tilgængelig som en undersøgelse af akademikere på snesevis af institutioner over hele verden.

Resultaterne 1, offentliggjort den 30. oktober på Preprint Server ArXiv, antyder, at akademikere mangler adgang til de mest avancerede computersystemer. Dette kan påvirke din evne til Store sprogmodeller (LLMS) At udvikle og udføre andre AI -forskningsprojekter.

Især har akademiske forskere undertiden ikke ressourcerne til at være magtfulde Grafikprocessorer (GPU'er) At købe - computerchips, der ofte bruges til at træne AI -modeller, der kan koste flere tusinde dollars. I modsætning hertil har forskere hos store teknologiselskaber større budgetter og kan bruge mere på GPU'er. ”Hver GPU tilføjer mere magt,” siger studieforfatter Apoorv Khandelwal, en computerforsker ved Brown University i Providence, Rhode Island. ”Mens disse industrigiganter muligvis har tusinder af GPU'er, kan akademikere kun have nogle få.”

”Kløften mellem akademiske og industrielle modeller er stor, men kan være meget mindre,” siger Stella Biderman, administrerende direktør for Eleutherai, et nonprofit AI Research Institute i Washington DC. Forskning i denne ulighed er "meget vigtig", tilføjer hun.

Langsomt ventetider

For at vurdere de computerressourcer, der var tilgængelige for akademikere, undersøgte Khandelwal og hans kolleger 50 forskere fra 35 institutioner. Af de adspurgte vurderede 66% deres tilfredshed med deres computerkraft som 3 eller mindre på en skala fra 5. ”De er overhovedet ikke tilfredse,” siger Khandelwal.

Universiteter har forskellige regler for adgang til GPU'er. Nogle har måske en central computerklynge, der er delt mellem afdelinger og studerende, hvor forskere kan anmode om GPU -tid. Andre institutioner kunne købe maskiner, der kan bruges direkte af medlemmer af laboratoriet.

Nogle forskere rapporterede at skulle vente dage med at få adgang til GPU'er og bemærkede, at ventetider var særlig høje omkring projektfrister (se “Beregn ressourceflaskehals”). Resultaterne fremhæver også globale uligheder i adgangen. For eksempel nævnte en respondent vanskeligheden ved at finde GPU'er i Mellemøsten. Kun 10% af de adspurgte sagde, at de havde adgang til NVIDIAs H100 GPU'er, at have kraftfulde chips designet til AI -forskning.

Denne barriere gør processen med foruddannelse-fodring af store datasæt til LLM'er-især udfordrende. ”Det er så dyrt, at de fleste akademikere ikke engang overvejer at gøre videnskab i foruddannelse,” siger Khandelwal. Han og hans kolleger mener, at akademikere tilbyder et unikt perspektiv inden for AI -forskning, og at en mangel på adgang til computerkraft kan begrænse forskningsområdet.

”Det er bare virkelig vigtigt at have et sundt, konkurrencedygtigt akademisk forskningsmiljø for langsigtet vækst og langvarig teknologisk udvikling,” siger medforfatter Ellie Pavlick, der studerer datalogi og sprogvidenskab ved Brown University. ”Når du har forskning i industrien, er der et klart kommercielt pres, der undertiden frister dig til at udnytte hurtigere og udforske mindre.”

Effektive metoder

Forskerne undersøgte også, hvordan akademikere kunne gøre bedre brug af mindre kraftfulde computerressourcer. De beregnet, hvor lang tid der kræves til at tage flere LLM'er til at tage flere LLM'er ved hjælp af hardware med lav ressource-mellem 1 og 8 GPU'er. På trods af disse begrænsede ressourcer lykkedes det forskerne med succes at træne mange af modellerne, skønt det tog længere tid og krævede dem at bruge mere effektive metoder.

"Vi kan faktisk bruge de GPU'er, vi har i længere tid, og derfor kan vi udjævne nogle af forskellene mellem, hvad industrien har," siger Khandelwal.

”Det er spændende at se, at du faktisk kan træne en større model, end mange mennesker kunne forestille sig, selv med begrænsede computerressourcer,” siger Ji-Wung Lee, der studerer neuroeksplicit modeller ved Saarland University i Saarbrücken, Tyskland. Han tilføjer, at fremtidig arbejde kunne se på erfaringerne fra industrielle forskere hos små virksomheder, der også kæmper med adgang til computerressourcer. ”Det er ikke som alle, der har adgang til ubegrænset computerkraft, faktisk får det,” siger han.

1. Khandelwal, A. et al. Fortryk på arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Download referencer