AI skaitļošanas plaisa: zinātniekiem trūkst piekļuves jaudīgām mikroshēmām viņu pētījumiem

AI skaitļošanas plaisa: zinātniekiem trūkst piekļuves jaudīgām mikroshēmām viņu pētījumiem

Daudzi universitāšu zinātnieki ir neapmierināti ar ierobežoto skaitļošanas jaudu, kas viņiem ir pieejama pētījumiem mākslīgais intelekts (AI) ir pieejams kā akadēmiķu aptauja desmitiem iestāžu izstādēs visā pasaulē.

Rezultāti Viens, publicēts 30. oktobrī par Prepint Server arXIV, liek domāt, ka akadēmiķiem trūkst piekļuves vismodernākajām skaitļošanas sistēmām. Tas varētu ietekmēt jūsu spēju Lielu valodu modeļi (LLMS) attīstīt un veikt citus AI pētniecības projektus.

Jo īpaši akadēmiskajiem pētniekiem dažreiz nav resursu, lai tie būtu spēcīgi Grafikas procesori (GPU) pirkšanai - datoru mikroshēmas, ko parasti izmanto, lai apmācītu AI modeļus, kas var maksāt vairākus tūkstošus dolāru. Turpretī lielo tehnoloģiju uzņēmumu pētniekiem ir lielāks budžets un viņi var vairāk tērēt GPU. “Katrs GPU pievieno lielāku jaudu,” saka pētījuma līdzautors Apoorv Khandelwal, datorzinātnieks Brauna universitātē Providence, Rodas salā. "Lai gan šiem rūpniecības milžiem var būt tūkstošiem GPU, akadēmiķiem var būt tikai daži."

“Plaisa starp akadēmiskajiem un rūpnieciskajiem modeļiem ir liela, taču tā varētu būt daudz mazāka,” saka Stella Biderman, bezpeļņas AI pētniecības institūta Eleutherai, Vašingtonas DC izpilddirektore. Šīs nevienlīdzības izpēte ir “ļoti svarīga”, viņa piebilst.

Lēni gaidīšanas laiki

Lai novērtētu akadēmiķiem pieejamos skaitļošanas resursus, Khandelwal un viņa kolēģi aptaujāja 50 zinātniekus no 35 institūcijām. No aptaujātajiem 66% novērtēja savu apmierinātību ar skaitļošanas jaudu kā 3 vai mazāku skalā 5. “Viņi vispār nav apmierināti,” saka Khandelwal.

Universitātēm ir dažādi noteikumi par piekļuvi GPU. Dažiem varētu būt centrālais aprēķināšanas klasteris, kas dalīts starp departamentiem un studentiem, kur pētnieki var pieprasīt GPU laiku. Citas iestādes varētu iegādāties mašīnas, kuras var tieši izmantot laboratorijas locekļi.

Daži zinātnieki ziņoja, ka ir jāgaida dienas, lai piekļūtu GPU, atzīmējot, ka gaidīšanas laiki bija īpaši augsti projekta termiņos (sk. “Compute Resource Futleneck”). Rezultāti arī izceļ arī piekļuves nevienlīdzību globālo nevienlīdzību. Piemēram, viens respondents pieminēja grūtības atrast GPU Tuvajos Austrumos. Tikai 10% respondentu teica, ka viņiem ir piekļuve NVIDIA H100 GPU, lai būtu jaudīgas mikroshēmas, kas paredzētas AI izpētei.

Šī barjera padara pirms apmācības procesu-lielu datu kopu barošanu LLM-īpaši izaicinošu. “Tas ir tik dārgi, ka vairums akadēmiķu pat neuzskata par zinātni pirms apmācības,” saka Khandelwal. Viņš un viņa kolēģi uzskata, ka akadēmiķi piedāvā unikālu perspektīvu AI pētījumos un ka piekļuves trūkums skaitļošanas jaudai varētu ierobežot pētījumu jomu.

“Tas ir vienkārši svarīgi, lai būtu veselīga, konkurētspējīga akadēmiskā pētniecības vide ilgtermiņa izaugsmei un ilgtermiņa tehnoloģiskajai attīstībai,” saka līdzautore Ellija Pavlika, kura pēta datorzinātnes un valodniecību Brauna universitātē. "Kad jums ir pētījumi rūpniecībā, ir skaidrs komerciālais spiediens, kas dažreiz kārdina jūs ātrāk izmantot un mazāk izpētīt."

Efektīvas metodes

Pētnieki arī pārbaudīja, kā akadēmiķi varētu labāk izmantot mazāk jaudīgus skaitļošanas resursus. Viņi aprēķināja, cik daudz laika būtu nepieciešams, lai iepriekš apmācītu vairākus LLM, izmantojot zemu resursu aparatūru-no 1 līdz 8 GPU. Neskatoties uz šiem ierobežotajiem resursiem, pētniekiem izdevās veiksmīgi apmācīt daudzus modeļus, lai gan tas prasīja ilgāku laiku un prasīja viņiem izmantot efektīvākas metodes.

"Mēs faktiski varam izmantot GPU, kas mums ir ilgāk, un tāpēc mēs varam izlīdzināt dažas atšķirības starp nozari," saka Khandelwal.

“Ir aizraujoši redzēt, ka jūs faktiski varat apmācīt lielāku modeli, nekā daudzi cilvēki varētu iedomāties, pat ar ierobežotiem skaitļošanas resursiem,” saka Ji-and Lee, kurš pēta neiroekslicētos modeļus Sārlandes universitātē Saarbrücken, Vācijā. Viņš piebilst, ka turpmākajā darbā varētu aplūkot rūpniecisko pētnieku pieredzi mazos uzņēmumos, kuri arī cīnās ar piekļuvi skaitļošanas resursiem. "Tas nav tā, kā to iegūst visi, kuriem ir pieejama neierobežota skaitļošanas jauda," viņš saka.

1. Khandelwal, A. et al. Priekšraide arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Lejupielādēt atsauces