الحساب في حوسبة الذكاء الاصطناعى: لا يمكن للعلماء الوصول إلى رقائق قوية لأبحاثهم

Akademiker weltweit kämpfen mit unzureichender Rechenleistung für KI-Forschung. Umfrage zeigt große Unterschiede im Zugang zu GPUs.
يكافح الأكاديميون في جميع أنحاء العالم مع قوة الحوسبة غير الكافية لأبحاث الذكاء الاصطناعي. يظهر الاستطلاع اختلافات كبيرة في الوصول إلى وحدات معالجة الرسومات. (Symbolbild/natur.wiki)

الحساب في حوسبة الذكاء الاصطناعى: لا يمكن للعلماء الوصول إلى رقائق قوية لأبحاثهم

يشعر العديد من علماء الجامعة بالإحباط من أداء الحوسبة المحدودة ، والذي بالنسبة لبحثهم في مجال 1 ، والتي تم نشرها على خادم PrepRint Arxiv الأكثر تطوراً. قد يؤثر ذلك على قدرتك ،

على وجه الخصوص ، لا يملك الباحثون الأكاديميون في بعض الأحيان الموارد اللازمة لجعل معالجات الرسومات (GPUS) لشراء رقائق الحاسوب التي يتم استخدامها غالبًا لتدريب نماذج الذكاء الاصطناعي ويمكن أن تكلف عدة آلاف من الدولارات. في المقابل ، يتمتع الباحثون بميزانيات أعلى في شركات التكنولوجيا الكبيرة ويمكنهم إنفاق المزيد على وحدات معالجة الرسومات. يقول المشترك لدراسة Apoorv Khandelwal ، عالم الكمبيوتر بجامعة براون في بروفيدنس ، رود آيلاند: "كل GPU يضيف المزيد من القوة". "في حين أن هؤلاء العمالقة الصناعية قد يكون لديهم الآلاف من وحدات معالجة الرسومات ، إلا أن الأكاديميين قد يكون لديهم عدد قليل فقط."

يقول ستيلا بيدرمان ، المدير الإداري لشركة Eleutherai ، وهو معهد أبحاث الذكاء الاصطناعي غير الربحي في واشنطن العاصمة: "إن الفجوة بين النماذج الأكاديمية والصناعية كبيرة ، ولكنها قد تكون أصغر بكثير". وتضيف أن الأبحاث حول عدم المساواة "مهمة للغاية".

أوقات انتظار بطيئة

من أجل تقييم موارد الحوسبة المتاحة للأكاديميين ، قام Khandelwal وزملاؤه بمسح 50 عالمًا من 35 مؤسسة. من بين المجيبين ، قام 66 ٪ بتقييم رضاهم عن قوتهم الحاسوبية مع 3 أو أقل على مقياس 5. "إنهم غير راضين على الإطلاق" ، كما يقول Khandelwal.

لدى الجامعات لوائح مختلفة للوصول إلى وحدات معالجة الرسومات. يمكن أن يكون لدى البعض مجموعة حسابية مركزية تتقاسمها الإدارات والطلاب ، حيث يمكن للباحثين طلب وقت GPU. يمكن للمؤسسات الأخرى شراء آلات يمكن استخدامها مباشرة من قبل أعضاء المختبر.

أفاد

بعض العلماء أنهم اضطروا إلى الانتظار لأيام للوصول إلى وحدات معالجة الرسومات ولاحظوا أن أوقات الانتظار كانت عالية بشكل خاص (انظر "قبول موارد الحساب"). توضح النتائج أيضًا عدم المساواة العالمية في الوصول. على سبيل المثال ، ذكر المدعى عليه صعوبات العثور على وحدات معالجة الرسومات في الشرق الأوسط. ذكر 10 ٪ فقط من المجيبين أن الوصول إلى ، رقائق قوية تم تطويرها لأبحاث الذكاء الاصطناعي.

يجعل هذا الحاجز عملية ما قبل التدريب-تغذية سجلات البيانات الكبيرة في تحدي LLMS بشكل خاص. يقول كوفنوال: "إنه مكلف للغاية لدرجة أن معظم الأكاديميين لا يفكرون في القيام بالعلوم في التدريب قبل التدريب". يرى هو وزملاؤه أن الأكاديميين يقدمون منظوراً فريدًا في أبحاث الذكاء الاصطناعى وأن عدم الوصول إلى قوة الحوسبة يمكن أن يقيد مجال البحث.

يقول إيلي بافليك ، الذي يدرس علوم الكمبيوتر في جامعة براون ، إن

"من المهم ببساطة أن يكون لديك بيئة بحث أكاديمية صحية ونافسية للنمو طويل المدى والتطور التكنولوجي طويل المدى". "إذا كان لديك بحث في الصناعة ، فهناك ضغط تجاري واضح ، والذي يغريك أحيانًا باستخدام واستكشاف أقل أسرع."

طرق فعالة

فحص الباحثون أيضًا كيف يمكن للأكاديميين استخدام موارد الحوسبة الأقل قوة. يحسبون مقدار الوقت المطلوب لتدريب العديد من LLMs مع الأجهزة ذات الاستهلاك المنخفض للموارد - بين 1 و 8 وحدات معالجة الرسومات. على الرغم من هذه الموارد المحدودة ، تمكن الباحثون من تدريب العديد من النماذج بنجاح ، على الرغم من أن الأمر استغرق وقتًا أطول وكان عليهم تطبيق طرق أكثر كفاءة.

"يمكننا في الواقع استخدام وحدات معالجة الرسومات التي لدينا لفترة أطول ، وبالتالي يمكننا تعويض بعض الاختلافات بين ما هي الصناعة" ، كما يقول كوفوال.

يقول Ji -ung Lee ، نماذج Neuroxplicite في جامعة سارلاند في Saarbrücken ، ألمانيا: "من المثير أن ترى أنه يمكنك بالفعل تدريب نموذج أكبر مما سيأخذه العديد من الأشخاص ، حتى مع موارد الحساب المحدودة". ويضيف أن العمل المستقبلي يمكن أن ينظر إلى تجارب الباحثين الصناعيين في الشركات الصغيرة التي تحارب أيضًا الوصول إلى الموارد الحسابية. يقول: "ليس الأمر كذلك أن كل من لديه إمكانية الوصول إلى قوة الحوسبة غير المحدودة يتلقى هذا بالفعل".

  1. khandelwal ، A. et al. preprint في Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

  2. تنزيل المراجع