AI skaičiavimo skaičiavimas: mokslininkai neturi galimybės naudotis galingais lustais savo tyrimams
AI skaičiavimo skaičiavimas: mokslininkai neturi galimybės naudotis galingais lustais savo tyrimams
Daugelis universiteto mokslininkų nusivylė ribotu skaičiavimo rezultatais, kurie jų tyrimams yra (KI) galima rasti kaip apklausa tarp dešimčių institucijų visame pasaulyje rodo.
Rezultatai 1 , kurie buvo paskelbti „PrePrint Server Arxiv“ pažangiausiose skaičiavimo sistemose. Tai gali turėti įtakos jūsų sugebėjimui, dideli balso modeliai (LLMS) PG tyrimų projektai.
Visų pirma, akademiniai tyrėjai kartais neturi išteklių, kad būtų galima padaryti galingą Grafikos procesoriai (GPU) Turi būti perkami-kompiuterio lustai, kurie dažnai naudojami AI modeliams treniruoti ir gali kainuoti kelis tūkstančius dolerių. Priešingai, tyrėjai turi didesnį biudžetą didelėse technologijų įmonėse ir gali išleisti daugiau GPU. „Kiekvienas GPU prideda daugiau galios“, -sako „Apoorv Khandelwal“ tyrimo, Browno universiteto Providenso, Rodo saloje, kompiuterių mokslininkas. "Nors šie pramonės milžinai gali turėti tūkstančius GPU, akademikams gali būti tik keli."
"Akademinių ir pramoninių modelių atotrūkis yra didelis, tačiau gali būti daug mažesnis",-sako Stella Biderman, „Eleutherai“, ne pelno siekiančio AI tyrimų instituto Vašingtone, generalinė direktorė. Šios nelygybės tyrimai yra „labai svarbūs“, priduria ji.
Lėtas laukimo laikas
Siekdami įvertinti turimus akademikų skaičiavimo išteklius, Khandelwal ir jo kolegos apklausė 50 mokslininkų iš 35 institucijų. Iš respondentų 66% įvertino jų pasitenkinimą skaičiavimo galia 3 ar mažiau 5 skalėje. "Jie visai netenkina", - sako Khandelwal.
Universitetai turi skirtingas galimybes naudotis GPU. Kai kurie gali turėti centrinį skaičiavimo grupę, kuria dalijasi departamentai ir studentai, kur tyrėjai gali paprašyti GPU laiko. Kitos institucijos galėtų nusipirkti mašinas, kurias tiesiogiai gali naudotis laboratorijos nariai.
Kai kurie mokslininkai pranešė, kad jie turėjo laukti dienų, kad gautų prieigą prie GPU, ir pastebėjo, kad laukimo laikas buvo ypač didelis (žr. „Skaičiavimo šaltinių priėmimas“). Rezultatai taip pat iliustruoja visuotinę prieigos nelygybę. Pavyzdžiui, respondentas paminėjo sunkumus surasti GPU Viduriniuose Rytuose. Tik 10% respondentų teigė, kad prieiga prie , galingi lustai, kurie buvo sukurti AI tyrimams.
Šis barjeras daro didelių duomenų įrašų šėrimą išankstiniu mokymosi procesu LLMS, ypač iššūkiu. „Tai taip brangu, kad dauguma akademikų net nesvarsto daryti mokslo išankstinio mokymo metu“,-sako Kaufenwal. Jis ir jo kolegos laikosi nuomonės, kad akademikai siūlo unikalią PG tyrimų perspektyvą ir kad galimybės naudotis skaičiavimo galia gali apriboti tyrimų sritį. "Tiesiog svarbu turėti sveiką, konkurencingą akademinių tyrimų aplinką ilgalaikiam augimui ir ilgalaikei technologinei plėtrai", -sako Co -Author Ellie Pavlick, studijuojantis informatikos ir kalbotyros Browno universitete. "Jei turite tyrimų pramonėje, yra aiškus komercinis spaudimas, kuris kartais vilioja jus naudoti ir ištirti ne taip greičiau." Efektyvūs metodai Tyrėjai taip pat ištyrė, kaip akademikai galėtų geriau naudoti mažiau galingus skaičiavimo išteklius. Jie apskaičiuoja, kiek laiko reikės treniruoti keletą LLM su aparatine įranga su mažu išteklių sunaudojimu - nuo 1 iki 8 GPU. Nepaisant šių ribotų išteklių, tyrėjai sugebėjo sėkmingai išmokyti daugelį modelių, nors tai užtruko ilgiau ir jie turėjo naudoti efektyvesnius metodus. "Mes iš tikrųjų galime naudoti GPU, kuriuos turime ilgiau, ir todėl galime kompensuoti kai kuriuos skirtumus tarp to, ką turi pramonė", - sako Kaufwal. "Įdomu pastebėti, kad iš tikrųjų galite išmokyti didesnį modelį, nei imtųsi daugelis žmonių, net turėdami ribotus aritmetinius išteklius", -sako Ji -ung Lee, neuroeksplicito modeliai Sarlando universitete Sarbrückene, Vokietijoje. Jis priduria, kad būsimame darbe gali būti atsižvelgiama į mažų kompanijų pramonės tyrinėtojų patirtį, kuri taip pat kovoja su galimybe naudotis aritmetiniais ištekliais. „Ne taip, kad visi, turintys prieigą prie neribotos skaičiavimo galios, iš tikrųjų tai gauna“, - sako jis.