Arvutamine AI -arvutlusel: teadlastel pole nende uurimistöö jaoks juurdepääsu võimsatele kiipidele
Arvutamine AI -arvutlusel: teadlastel pole nende uurimistöö jaoks juurdepääsu võimsatele kiipidele
Paljud ülikooli teadlased on pettunud piiratud arvutuse tulemuslikkuse pärast, mis nende uurimistöö jaoks
Tulemused 1. See võib mõjutada teie võimet,
Eelkõige pole akadeemilistel teadlastel mõnikord ressursse võimsateks saamiseks Graafikaprotsessorid (GPU-d) Ostetakse-arvukaid kiibid, mida sageli kasutatakse AI-mudelite koolitamiseks ja mis võivad maksta mitu tuhat dollarit. Seevastu teadlastel on suurtes tehnoloogiaettevõtetes suurem eelarve ja nad saavad GPU -deks rohkem kulutada. "Iga GPU lisab rohkem jõudu," ütleb Rhode Islandi Providence'i Browni ülikooli arvutiteadlase Aporv Khandelwali uuringu Co -autor. "Kuigi nendel tööstushiiglastel võivad olla tuhandeid GPU -sid, võib akadeemikutel olla vaid vähe." "Akadeemiliste ja tööstusmudelite vahe on suur, kuid võib olla palju väiksem," ütleb Stella Biderman, Washingtoni DC mittetulundusühingu Eleutherai tegevdirektor. Selle ebavõrdsuse uuringud on "väga olulised", lisab ta. aeglane ooteajad Akadeemikute olemasolevate arvutusressursside hindamiseks küsitlesid Khandelwal ja tema kolleegid 50 teadlast 35 asutusest. Vastajatest hindas 66% nende rahulolu arvutusvõimsusega 3 või vähem skaalal 5. "Need pole üldse rahul," ütleb Khandelwal. Ülikoolidel on GPU -dele juurdepääsu jaoks erinevad eeskirjad. Mõnel võiks olla keskne arvutusklastr, mida jagavad osakonnad ja õpilased, kus teadlased saavad GPU -aega taotleda. Teised asutused võiksid osta masinaid, mida labori liikmed saavad otse kasutada. Mõned teadlased teatasid, et nad peavad GPU -dele juurdepääsu saamiseks ootama päevi, ja märkasid, et ooteajad on eriti suured (vt "Arvutusressursside aktsepteerimine"). Tulemused illustreerivad ka juurdepääsu globaalset ebavõrdsust. Näiteks mainis vastaja Lähis -Idas GPU -de leidmise raskusi. Ainult 10% vastanutest väitis, et juurdepääs
"Pikaajalise kasvu ja pikaajalise tehnoloogilise arengu saavutamiseks on lihtsalt oluline tervislik ja konkurentsivõimeline akadeemiline teaduskeskkond," ütleb Co -autor Ellie Pavlick, kes uurib Browni ülikoolis arvutiteadust ja keeleteadust. "Kui teil on tööstuses uuringuid, on selge äriline surve, mis mõnikord kiusab teid vähem kiiremini kasutama ja uurima." tõhusad meetodid Teadlased uurisid ka seda, kuidas akadeemikud saaksid paremini kasutada vähem võimsaid arvutusressursse. Nad arvutavad, kui palju aega oleks vaja mitme ressursside tarbimisega riistvaraga LLM -i koolitamiseks - vahemikus 1 kuni 8 GPU -d. Vaatamata nendele piiratud ressurssidele suutsid teadlased paljusid mudeleid edukalt koolitada, ehkki see võttis kauem aega ja nad pidid rakendama tõhusamaid meetodeid. "Saame tegelikult kasutada GPU -sid, mis meil on kauem, ja seetõttu saame kompenseerida mõned erinevused tööstuse vahel," ütleb Kaufwal. "Põnev on näha, et saate tegelikult treenida suuremat mudelit, kui paljud inimesed võtaksid, isegi piiratud aritmeetiliste ressurssidega," ütleb Ji -ung Lee, Saarbrückenis asuva Saarbrückeni ülikooli Neuroexplicite mudelid Saksamaal. Ta lisab, et tulevane töö võiks vaadata väikeste ettevõtete tööstusuuringute kogemusi, mis võitlevad ka aritmeetilistele ressurssidele. "Pole nii, et kõik, kellel on juurdepääs piiramatule arvutusvõimsusele, saavad selle tegelikult vastu," ütleb ta. Khandelwal, A. et al. Eeltrükk aadressil arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).