Aprēķins AI skaitļošanā: zinātniekiem nav piekļuves jaudīgām mikroshēmām viņu pētījumiem
Aprēķins AI skaitļošanā: zinātniekiem nav piekļuves jaudīgām mikroshēmām viņu pētījumiem
Daudzi universitāšu zinātnieki ir neapmierināti ar ierobežoto skaitļošanas veiktspēju, kas par pētījumiem 1 , kas tika publicēts preprint servera arxiv vismodernākajām skaitļošanas sistēmām. Tas varētu ietekmēt jūsu spējas,
Jo īpaši akadēmiskajiem pētniekiem dažreiz nav resursu, lai padarītu jaudīgu Grafikas procesori (GPU) Lai iegādātos datora mikroshēmas, kuras bieži izmanto AI modeļu apmācībai un var maksāt vairākus tūkstošus dolāru. Turpretī pētniekiem ir lielāks budžets lielos tehnoloģiju uzņēmumos un viņi var vairāk tērēt GPU. "Katrs GPU pievieno lielāku jaudu," saka Apoorv Khandelwal pētījuma līdzautors, datorzinātnieks Brauna universitātē Providence, Rodas salā. "Kamēr šiem rūpniecības milžiem var būt tūkstošiem GPU, akadēmiķiem var būt tikai daži." "Plaisa starp akadēmiskajiem un rūpnieciskajiem modeļiem ir liela, taču tā varētu būt daudz mazāka," saka Stella Biderman, bezpeļņas AI pētniecības institūta Eleutherai rīkotājdirektore Vašingtonā. Šīs nevienlīdzības pētījumi ir "ļoti svarīgi", viņa piebilst. lēns gaidīšanas laiks Lai novērtētu akadēmiķu pieejamos skaitļošanas resursus, Khandelwal un viņa kolēģi aptaujāja 50 zinātniekus no 35 institūcijām. No respondentiem 66% novērtēja viņu apmierinātību ar skaitļošanas jaudu ar 3 vai mazāk skalā 5. "Viņi vispār nav apmierināti," saka Khandelwal. Universitātēm ir dažādi noteikumi par piekļuvi GPU. Dažiem varētu būt centrālais aprēķināšanas klasteris, kuru dala departamenti un studenti, kur pētnieki var pieprasīt GPU laiku. Citas iestādes varētu iegādāties mašīnas, kuras var tieši izmantot laboratorijas locekļi. Daži zinātnieki ziņoja, ka viņiem ir jāgaida vairākas dienas, lai piekļūtu GPU, un pamanīja, ka gaidīšanas laiki ir īpaši augsts (sk. "Aprēķina resursu pieņemšana"). Rezultāti arī ilustrē piekļuves nevienlīdzību globālo nevienlīdzību. Piemēram, respondents pieminēja grūtības atrast GPU Tuvajos Austrumos. Tikai 10% respondentu paziņoja, ka piekļuve
"Ir vienkārši svarīgi, lai būtu veselīga, konkurētspējīga akadēmiskā pētniecības vide ilgtermiņa izaugsmei un ilgtermiņa tehnoloģiskajai attīstībai," saka Co -autores Ellija Pavlika, kura pēta datorzinātnes un valodniecību Brauna universitātē. "Ja jums ir pētījumi rūpniecībā, ir skaidrs komerciālais spiediens, kas dažreiz vilina jūs izmantot un izpētīt mazāk ātrāku." Efektīvas metodes Pētnieki arī pārbaudīja, kā akadēmiķi varētu labāk izmantot mazāk jaudīgus skaitļošanas resursus. Viņi aprēķina, cik daudz laika būtu nepieciešams, lai apmācītu vairākus LLM ar aparatūru ar zemu resursu patēriņu - no 1 līdz 8 GPU. Neskatoties uz šiem ierobežotajiem resursiem, pētniekiem izdevās veiksmīgi apmācīt daudzus modeļus, lai gan tas prasīja ilgāku laiku, un viņiem bija jāpiemēro efektīvākas metodes. "Mēs faktiski varam izmantot GPU, kas mums ir garāks, un tāpēc mēs varam kompensēt dažas atšķirības starp to, kas ir nozarē," saka Kaufwal. "Ir aizraujoši redzēt, ka jūs faktiski varat apmācīt lielāku modeli, nekā daudzi cilvēki ņemtu, pat ar ierobežotiem aritmētiskajiem resursiem," saka Ji -Ug Lee, neiroeksplicīta modeļi Sārlandes universitātē Sārbrikenā, Vācijā. Viņš piebilst, ka turpmākajā darbā varētu aplūkot rūpniecisko pētnieku pieredzi mazos uzņēmumos, kuri arī cīnās ar piekļuvi aritmētiskajiem resursiem. "Nav tā, ka visi, kuriem ir piekļuve neierobežotai skaitļošanas jaudai, to faktiski saņem," viņš saka. Khandelwal, A. et al. Priekšraide arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).