AI Computing Divide: A tudósok nem férnek hozzá erőteljes chipekhez kutatásukhoz

AI Computing Divide: A tudósok nem férnek hozzá erőteljes chipekhez kutatásukhoz

Sok egyetemi tudós csalódott a számukra rendelkezésre álló korlátozott számítástechnikai erő miatt mesterséges intelligencia Az (AI) elérhető a tudósok felméréseként tucatnyi intézmény világszerte.

Az eredmények 1, október 30 -án, az ARXIV Preprint Server -en közzétett, azt sugallja, hogy az akadémikusok nem férnek hozzá a legfejlettebb számítástechnikai rendszerekhez. Ez befolyásolhatja a képességét Nagy nyelvi modellek (LLM) Más AI kutatási projektek kidolgozása és végrehajtása.

Különösen a tudományos kutatóknak néha nincsenek erőforrásaik ahhoz, hogy erősek legyenek Grafikus processzorok (GPU) Vásárlás - számítógépes chipek, amelyeket általában az AI modellek kiképzésére használnak, amelyek több ezer dollárba kerülhetnek. Ezzel szemben a nagy technológiai vállalatok kutatói nagyobb költségvetéssel rendelkeznek, és többet költenek a GPU -ra. "Minden egyes GPU nagyobb hatalmat ad hozzá"-mondja APOORV KHANDELWAL, a Rhode Island-i Providence-i Brown Egyetem számítógépes tudósa. "Noha ezeknek az iparági óriásoknak több ezer GPU -ja lehet, a tudósoknak csak kevés lehet."

„Az akadémiai és az ipari modellek közötti különbség nagy, de sokkal kisebb lehet” - mondta Stella Biderman, az Eleutherai, a nonprofit AI kutatóintézet Washington DC -ben. Ennek az egyenlőtlenségnek a kutatása „nagyon fontos” - tette hozzá.

Lassú várakozási idő

A tudósok számára elérhető számítástechnikai erőforrások felmérése érdekében Khandelwal és kollégái 35 intézmény 50 tudósát vizsgálták meg. A megkérdezettek közül 66% -uk 3 vagy annál kevesebbnek értékelte elégedettségét a számítási erejével, 5 -ös skálán. „Egyáltalán nem elégedettek” - mondja Khandelwal.

Az egyetemek eltérő szabályokkal rendelkeznek a GPU -khoz való hozzáféréshez. Néhányan lehet, hogy egy központi számítási klaszter megosztható az osztályok és a hallgatók között, ahol a kutatók kérhetik a GPU időt. Más intézmények olyan gépeket vásárolhatnak, amelyeket a laboratórium tagjai közvetlenül felhasználhatnak.

Egyes tudósok arról számoltak be, hogy napokig kell várniuk a GPU -khoz való hozzáférést, megjegyezve, hogy a várakozási idők különösen magas voltak a projekt határideje körül (lásd: „Compute Resource Compute Botteck”). Az eredmények kiemelik a hozzáférés globális egyenlőtlenségeit is. Például egy válaszadó megemlítette a GPU -k megtalálásának nehézségét a Közel -Keleten. A válaszadók mindössze 10% -a mondta, hogy hozzáférhetnek Nvidia H100 GPU -ja, hogy az AI kutatáshoz tervezett erőteljes chipek legyen.

Ez a gát az előmozdítás folyamatát-a nagy adatkészleteket az LLM-ekbe táplálja-különösen kihívást jelent. "Annyira drága, hogy a legtöbb tudós nem is fontolja meg a tudományt az edzés előtt"-mondja Khandelwal. Ő és kollégái úgy vélik, hogy az akadémikusok egyedülálló perspektívát kínálnak az AI kutatásban, és hogy a számítástechnikai hatalomhoz való hozzáférés hiánya korlátozhatja a kutatási területet.

„Nagyon fontos, hogy egészséges, versenyképes tudományos kutatási környezetet teremtsünk a hosszú távú növekedés és a hosszú távú technológiai fejlődés érdekében”-mondta Ellie Pavlick társszerző, aki a Brown Egyetemen a számítógépes tudományt és a nyelvészetet tanulmányozza. "Ha ipari kutatást végez, egyértelmű kereskedelmi nyomás van, amelyek néha kísértik, hogy gyorsabban kihasználják és kevesebbet fedezzenek fel."

Hatékony módszerek

A kutatók azt is megvizsgálták, hogy az akadémikusok hogyan tudják jobban kihasználni a kevésbé hatékony számítástechnikai forrásokat. Kiszámították, hogy mennyi időre lenne szükség a több LLM előkészítéséhez alacsony forrású hardver használatával-1 és 8 GPU között. E korlátozott erőforrások ellenére a kutatóknak sikerült sikeresen kiképeznie a sok modellt, bár hosszabb ideig tartott, és megkövetelte őket a hatékonyabb módszerek alkalmazására.

"Valójában hosszabb ideig használhatjuk a GPU -kat, és így ki tudjuk alakítani az iparág közötti különbségeket" - mondja Khandelwal.

"Izgalmas látni, hogy valóban egy nagyobb modellt képezhet, mint sok ember elképzelne, még korlátozott számítási erőforrásokkal is"-mondja Ji-Ang Lee, aki a németországi Saarbrücken Saarland Egyetem neuro-pompicit modelljeit vizsgálja. Hozzáteszi, hogy a jövőbeli munka megvizsgálhatja az ipari kutatók tapasztalatait a kisvállalatoknál, akik szintén küzdenek a számítási erőforrásokhoz való hozzáféréssel. "Nem olyan, mint mindenki, aki hozzáfér a korlátlan számítástechnikai teljesítményhez, valójában megkapja" - mondja.

1. Khandelwal, A. et al. Előre nyomja meg az ARXIV https://doi.org/10.48550/ARXIV.2410.23261 (2024).

Töltse le a referenciákat