Beregning på AI -databehandling: Forskere har ingen tilgang til kraftige brikker for forskningen deres
Beregning på AI -databehandling: Forskere har ingen tilgang til kraftige brikker for forskningen deres
Mange universitetsforskere er frustrerte over den begrensede databehandlingsytelsen, som for deres forskning innen
Resultatene 1 , som ble publisert på Preprint Server arxiv mest avanserte datasystemer mangler. Dette kan påvirke din evne, Grafikkprosessorer (GPUer) som skal kjøpes-datamaskinbrikker som ofte brukes til å trene AI-modeller og kan koste flere tusen dollar. Derimot har forskere høyere budsjetter i store teknologiselskaper og kan bruke mer på GPU -er. "Hver GPU legger til mer makt," sier medforfatter av Apoorv Khandelwal Study, en dataforsker ved Brown University i Providence, Rhode Island. "Selv om disse industrigigantene kan ha tusenvis av GPU -er, kan akademikere bare ha noen få." "Gapet mellom akademiske og industrielle modeller er stort, men kan være mye mindre," sier Stella Biderman, administrerende direktør i Eleutherai, et non-profit AI Research Institute i Washington DC. Forskning på denne ulikheten er "veldig viktig", legger hun til. langsomme ventetid For å evaluere de tilgjengelige databehandlingsressursene for akademikere, undersøkte Khandelwal og kollegene 50 forskere fra 35 institusjoner. Av respondentene evaluerte 66% deres tilfredshet med datakraften med 3 eller mindre i en skala på 5. "De er ikke fornøyd i det hele tatt," sier Khandelwal. Universitetene har forskjellige forskrifter for tilgang til GPU -er. Noen kan ha en sentral beregningsklynge som deles av avdelinger og studenter, der forskere kan be om GPU -tid. Andre institusjoner kan kjøpe maskiner som kan brukes direkte av medlemmer av laboratoriet. Noen forskere rapporterte at de måtte vente i dager for å få tilgang til GPU -er og la merke til at ventetidene var spesielt høye (se "beregningsressursaksept"). Resultatene illustrerer også globale ulikheter i tilgangen. For eksempel nevnte en respondent vanskene med å finne GPUer i Midt -Østen. Bare 10% av de spurte uttalte at tilgangen til
"Det er ganske enkelt viktig å ha et sunt, konkurransedyktig akademisk forskningsmiljø for langvarig vekst og langvarig teknologisk utvikling," sier co -Author Ellie Pavlick, som studerer informatikk og språkvitenskap ved Brown University. "Hvis du har forskning i industrien, er det klart kommersielt press, som noen ganger frister deg til å bruke og utforske mindre raskere." Effektive metoder Forskerne undersøkte også hvordan akademikere bedre kunne bruke mindre kraftige databehandlingsressurser. De beregner hvor mye tid som vil være nødvendig for å trene flere LLM -er med maskinvare med lavt ressursforbruk - mellom 1 og 8 GPUer. Til tross for disse begrensede ressursene, klarte forskerne å trene mange av modellene, selv om det tok lengre tid og de måtte bruke mer effektive metoder. "Vi kan faktisk bruke GPU -ene som vi har lenger, og derfor kan vi kompensere for noen av forskjellene mellom hva industrien har," sier Kaufwal. "Det er spennende å se at du faktisk kan trene en større modell enn mange mennesker vil ta, selv med begrensede aritmetiske ressurser," sier Ji -Sung Lee, Neuroexplicite -modellene ved University of Saarland i Saarbrücken, Tyskland. Han legger til at fremtidig arbeid kan se på erfaringene fra industrielle forskere i små selskaper som også kjemper mot tilgang til aritmetiske ressurser. "Det er ikke slik at alle som har tilgang til ubegrenset datakraft faktisk mottar dette," sier han. Khandelwal, A. et al. Forhåndtrykk på arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).