Számítás az AI számítástechnikában: A tudósok nem férnek hozzá erőteljes chipekhez kutatásukhoz

Számítás az AI számítástechnikában: A tudósok nem férnek hozzá erőteljes chipekhez kutatásukhoz

Sok egyetemi tudós csalódott a korlátozott számítástechnikai teljesítmény miatt, amely a "adatok kategóriájának"> "adatt követési kategóriájának"> "adatok kategóriájának" clote-je. (KI) elérhető, mint a tucatnyi intézmény világszerte történő felmérése.

Az eredmények 1 , amelyeket az ARXIV legfejlettebb számítási rendszereiben közzétettek. Ez befolyásolhatja az Ön képességét, nagy hangmodellek (llms) AI kutatási projektek.

In particular, academic researchers sometimes do not have the resources to make powerful Graphics processzorok (GPU) Vásárolható computer chipek, amelyeket gyakran használnak az AI modellek kiképzésére, és több ezer dollárba kerülhetnek. Ezzel szemben a kutatók magasabb költségvetéssel rendelkeznek a nagy technológiai vállalatokban, és többet költenek a GPU -kra. "Minden GPU nagyobb hatalmat ad hozzá" -mondja az Apoorv Khandelwal Study, a Rhode Island -i Providence -i Brown Egyetem számítógépes tudósa. "Noha ezeknek az ipari óriásoknak több ezer GPU -ja lehet, a tudósoknak csak kevés lehet."

"Az akadémiai és az ipari modellek közötti különbség nagy, de sokkal kisebb lehet"-mondja Stella Biderman, az Eleutherai, a washingtoni Nonprofit AI kutatóintézet ügyvezető igazgatója. Az egyenlőtlenség kutatása "nagyon fontos" - tette hozzá.

lassú várakozási idő

Az akadémikusok számára rendelkezésre álló számítástechnikai források értékelése érdekében Khandelwal és kollégái 35 intézmény 50 tudósát vizsgálták meg. A válaszadók közül 66% -uk értékelte elégedettségét a számítástechnikájukkal 3 vagy annál kevesebb, 5 -ös skálán. "Egyáltalán nem elégedettek" - mondja Khandelwal.

Az egyetemek eltérő szabályokkal rendelkeznek a GPU -khoz való hozzáféréshez. Néhányan rendelkezhetnek egy központi számítási klaszterrel, amelyet az osztályok és a hallgatók megosztanak, ahol a kutatók kérhetik a GPU időt. Más intézmények olyan gépeket vásárolhatnak, amelyeket a laboratórium tagjai közvetlenül felhasználhatnak.

Egyes tudósok arról számoltak be, hogy napokig kell várniuk, hogy hozzáférjenek a GPU -khoz, és észrevették, hogy a várakozási idő különösen magas (lásd: "Számítási erőforrás -elfogadás"). Az eredmények a hozzáférés globális egyenlőtlenségeit is szemléltetik. Például egy válaszadó megemlítette a GPU -k megtalálásának nehézségeit a Közel -Keleten. A válaszadók mindössze 10% -a kijelentette, hogy a nvida of Data Track = "testületi link". , erőteljes chipek, amelyeket az AI kutatáshoz fejlesztettek ki.

Ez a gát az előzetes edzés folyamatát-a nagy adatrekordok táplálkozását az LLMS-particularis kihívásokkal. "Annyira drága, hogy a legtöbb tudós nem is fontolja meg a tudományt az edzés előtt"-mondja Kaufenwal. Ő és kollégái azon a véleményen vannak, hogy az akadémikusok egyedülálló perspektívát kínálnak az AI kutatásban, és hogy a számítástechnikai hatalomhoz való hozzáférés hiánya korlátozhatja a kutatási területet.

"Egyszerűen fontos, hogy egészséges, versenyképes tudományos kutatási környezetet éljünk a hosszú távú növekedés és a hosszú távú technológiai fejlődés érdekében" -mondja Ellie Pavlick, a Co -Author, aki számítástechnikát és nyelvészetet tanulmányoz a Brown Egyetemen. "Ha az iparágban kutatást végez, akkor egyértelmű kereskedelmi nyomás van, amely néha kísérti Önt, hogy kevésbé használja és fedezze fel."

Hatékony módszerek

A kutatók azt is megvizsgálták, hogy az akadémikusok hogyan tudják jobban felhasználni a kevésbé hatékony számítástechnikai forrásokat. Számítják ki, hogy mennyi időre lenne szükség több LLM edzéséhez alacsony erőforrás -fogyasztással rendelkező hardverrel - 1 és 8 GPU között. E korlátozott erőforrások ellenére a kutatóknak sikerült sikeresen kiképeznie a sok modellt, bár hosszabb ideig tartott, és hatékonyabb módszereket kellett alkalmazniuk.

"Valójában használhatjuk a hosszabb GPU -kat, és így kompenzálhatjuk az iparág közötti különbségeket" - mondja Kaufwal.

"Izgalmas látni, hogy valóban egy nagyobb modellt képezhet, mint sok ember, még korlátozott számtani erőforrásokkal is" -mondja Ji -ung Lee, a Saarland Egyetem neuroexplicit modelljei, a német Saarbrückenben. Hozzáteszi, hogy a jövőbeli munka megvizsgálhatja a kisvállalatok ipari kutatóinak tapasztalatait, amelyek szintén küzdenek a számtani erőforrásokhoz való hozzáféréssel. "Nem az a helyzet, hogy mindenki, aki korlátlan számítástechnikai teljesítményhez fér hozzá, ezt valóban megkapja" - mondja.

1. khandelwal, A. et al. Előre nyomja meg az ARXIV https://doi.org/10.48550/ARXIV.2410.23261 (2024).

Referenciák letöltése