AI databehandling skiller: Forskere mangler tilgang til kraftige brikker for sin forskning

AI databehandling skiller: Forskere mangler tilgang til kraftige brikker for sin forskning

Mange universitetsforskere er frustrerte over den begrensede datakraften som er tilgjengelig for dem for sin forskning innen kunstig intelligens (AI) er tilgjengelig, som en undersøkelse blant akademikere ved dusinvis av institusjoner over hele verden viser.

Resultatene 1, publisert 30. oktober på preprint-serveren arXiv, antyder at akademikere mangler tilgang til de mest avanserte datasystemene. Dette kan påvirke din evne til store språkmodeller (LLMs) å utvikle og gjennomføre andre AI-forskningsprosjekter.

Spesielt har akademiske forskere noen ganger ikke ressurser til å være mektige Grafikkprosessorer (GPUer) å kjøpe – databrikker som vanligvis brukes til å trene AI-modeller som kan koste flere tusen dollar. Derimot har forskere ved store teknologiselskaper større budsjetter og kan bruke mer på GPUer. "Hver GPU tilfører mer kraft," sier studiemedforfatter Apoorv Khandelwal, en dataforsker ved Brown University i Providence, Rhode Island. "Selv om disse bransjegigantene kan ha tusenvis av GPUer, har akademikere kanskje bare noen få."

"Gapet mellom akademiske og industrielle modeller er stort, men kan være mye mindre," sier Stella Biderman, administrerende direktør for EleutherAI, et nonprofit AI-forskningsinstitutt i Washington DC. Forskning på denne ulikheten er "veldig viktig," legger hun til.

Langsomme ventetider

For å vurdere dataressursene som er tilgjengelige for akademikere, undersøkte Khandelwal og hans kolleger 50 forskere fra 35 institusjoner. Av de spurte vurderte 66 % at tilfredsheten med datakraften deres var 3 eller mindre på en skala fra 5. «De er ikke fornøyde i det hele tatt,» sier Khandelwal.

Universiteter har ulike regler for tilgang til GPUer. Noen kan ha en sentral dataklynge som deles mellom avdelinger og studenter der forskere kan be om GPU-tid. Andre institusjoner kan kjøpe maskiner som kan brukes direkte av medlemmer av laboratoriet.

Noen forskere rapporterte at de måtte vente dager for å få tilgang til GPUer, og la merke til at ventetidene var spesielt høye rundt prosjekttidsfrister (se "Compute Resource Flaskehals"). Resultatene fremhever også globale ulikheter i tilgang. For eksempel nevnte en respondent vanskeligheten med å finne GPUer i Midtøsten. Bare 10 % av de spurte sa at de hadde tilgang til NVIDIAs H100 GPUer, for å ha kraftige brikker designet for AI-forskning.

Denne barrieren gjør prosessen med forhåndsopplæring – mating av store datasett til LLM – spesielt utfordrende. "Det er så dyrt at de fleste akademikere ikke engang vurderer å gjøre vitenskap i foropplæring," sier Khandelwal. Han og kollegene mener at akademikere tilbyr et unikt perspektiv innen AI-forskning og at mangel på tilgang til datakraft kan begrense forskningsfeltet.

"Det er bare veldig viktig å ha et sunt, konkurransedyktig akademisk forskningsmiljø for langsiktig vekst og langsiktig teknologisk utvikling," sier medforfatter Ellie Pavlick, som studerer informatikk og lingvistikk ved Brown University. "Når du har forskning i industrien, er det klare kommersielle press som noen ganger frister deg til å utnytte raskere og utforske mindre."

Effektive metoder

Forskerne undersøkte også hvordan akademikere kunne utnytte mindre kraftige dataressurser bedre. De beregnet hvor mye tid som ville kreves for å forhåndstrene flere LLM-er ved å bruke lite ressurs-maskinvare – mellom 1 og 8 GPUer. Til tross for disse begrensede ressursene, klarte forskerne å trene opp mange av modellene, selv om det tok lengre tid og krevde at de brukte mer effektive metoder.

"Vi kan faktisk bruke GPUene vi har lenger, og slik kan vi jevne ut noen av forskjellene mellom det bransjen har," sier Khandelwal.

"Det er spennende å se at du faktisk kan trene en større modell enn mange ville forestille seg, selv med begrensede dataressurser," sier Ji-Ung Lee, som studerer nevroeksplisitte modeller ved Saarland University i Saarbrücken, Tyskland. Han legger til at fremtidig arbeid kan se på erfaringene til industriforskere ved små bedrifter som også sliter med tilgang til dataressurser. "Det er ikke slik at alle som har tilgang til ubegrenset datakraft faktisk får det," sier han.

1. Khandelwal, A. et al. Fortrykk på arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Last ned referanser