AI skaičiavimo atskirtis: mokslininkams trūksta galimybių naudotis galingais lustais savo tyrimams

AI skaičiavimo atskirtis: mokslininkams trūksta galimybių naudotis galingais lustais savo tyrimams

Daugelis universiteto mokslininkų nusivilia ribotą skaičiavimo galią, kurią jie turi atlikti tyrimams dirbtinis intelektas (AI) galima rasti kaip akademikų apklausa dešimtyse institucijų visame pasaulyje.

Rezultatai 1, paskelbtas spalio 30 d. „PrePrint Server Arxiv“, rodo, kad akademikams trūksta prieigos prie pažangiausių skaičiavimo sistemų. Tai gali turėti įtakos jūsų sugebėjimui Didelių kalbos modeliai (LLM) kurti ir vykdyti kitus AI tyrimų projektus.

Visų pirma, akademiniai tyrėjai kartais neturi išteklių, kad būtų galingi Grafikos procesoriai (GPU) Norėdami įsigyti - kompiuterio lustai, paprastai naudojami mokyti AI modelius, kurie gali kainuoti kelis tūkstančius dolerių. Priešingai, didelių technologijų bendrovių tyrėjai turi didesnį biudžetą ir gali daugiau išleisti GPU. „Kiekvienas GPU prideda daugiau galios“,-sako tyrimo bendraautorius Apoorv Khandelwal, Browno universiteto Providenso, Rodo saloje, kompiuterių mokslininkas. „Nors šie pramonės milžinai gali turėti tūkstančius GPU, akademikams gali būti tik keli“.

„Akademinių ir pramoninių modelių atotrūkis yra didelis, tačiau gali būti daug mažesnis“, - sako Stella Biderman, „Eleutherai“, ne pelno siekiančio AI tyrimų instituto Vašingtone, vykdantysis direktorius. Šios nelygybės tyrimai yra „labai svarbūs“, - priduria ji.

Lėtas laukimo laikas

Norėdami įvertinti akademikams prieinamus skaičiavimo išteklius, Khandelwal ir jo kolegos apklausė 50 mokslininkų iš 35 institucijų. Iš apklaustųjų 66% įvertino jų pasitenkinimą skaičiavimo galia kaip 3 ar mažiau 5 skalėje. „Jie visai netenkina“, - sako Khandelwal.

Universitetai turi skirtingas galimybes naudotis GPU. Kai kurie gali turėti centrinį skaičiavimo grupę, kuria dalijamasi tarp departamentų ir studentų, kur tyrėjai gali paprašyti GPU laiko. Kitos institucijos galėtų įsigyti mašinų, kurias tiesiogiai gali naudotis laboratorijos nariai.

Kai kurie mokslininkai pranešė, kad reikia laukti dienų, kad gautų prieigą prie GPU, pažymėdami, kad laukimo laikas buvo ypač aukštas atsižvelgiant į projekto terminus (žr. „Apskaičiuoti išteklių kliūtis“). Rezultatai taip pat pabrėžia visuotinę prieigos nelygybę. Pavyzdžiui, vienas respondentas paminėjo sunkumą rasti GPU Viduriniuose Rytuose. Tik 10% respondentų teigė, kad turi prieigą NVIDIA H100 GPU, turėti galingų žetonų, skirtų AI tyrimams.

Šis kliūtis daro išankstinio mokymo procesą-didelius duomenų rinkinius šerti LLM-ypač sudėtinga. „Tai yra taip brangu, kad dauguma akademikų net nesvarsto daryti mokslo išankstinio mokymo metu“,-sako Khandelwal. Jis ir jo kolegos mano, kad akademikai siūlo unikalią AI tyrimų perspektyvą ir kad galimybės naudotis skaičiavimo galia gali apriboti tyrimų sritį.

„Tiesiog labai svarbu turėti sveiką, konkurencingą akademinių tyrimų aplinką, skirtą ilgalaikiam augimui ir ilgalaikiam technologinei plėtrai“,-sako bendraautorė Ellie Pavlick, tirianti Browno universiteto informatikos ir kalbotyros kalbą. „Kai turite tyrimų pramonėje, yra aiškaus komercinio spaudimo, kuris kartais vilioja greičiau išnaudoti ir mažiau tyrinėti“.

Efektyvūs metodai

Tyrėjai taip pat ištyrė, kaip akademikai galėtų geriau panaudoti mažiau galingus skaičiavimo išteklius. Jie apskaičiavo, kiek laiko reikės iš anksto išmokyti kelis LLM, naudojant mažo išteklių aparatinę įrangą-nuo 1 iki 8 GPU. Nepaisant šių ribotų išteklių, tyrėjai sugebėjo sėkmingai išmokyti daugelį modelių, nors tai užtruko ilgiau ir reikalavo, kad jie galėtų naudoti efektyvesnius metodus.

„Mes iš tikrųjų galime naudoti GPU, kurį turime ilgiau, ir todėl galime išlyginti kai kuriuos skirtumus tarp to, ką turi pramonė“, - sako Khandelwal.

„Įdomu matyti, kad jūs iš tikrųjų galite išmokyti didesnį modelį, nei daugelis žmonių įsivaizduotų, net turėdami ribotus skaičiavimo išteklius“,-sako Ji-Ung Lee, tiriantis neuroeksplicinius modelius Sarlando universitete Sarbrückene, Vokietijoje. Jis priduria, kad būsimame darbe gali būti atsižvelgiama į mažų kompanijų pramonės tyrinėtojų patirtį, kuri taip pat kovoja su galimybe naudotis skaičiavimo ištekliais. „Tai nėra taip, kaip visi, kurie turi prieigą prie neribotos skaičiavimo galios, iš tikrųjų ją gauna“, - sako jis.

1. Khandelwal, A. ir kt. Išankstinis spausdinimas „Arxiv“ https://doi.org/10.48550/arxiv.2410.23261 (2024).

Atsisiųskite nuorodas