فجوة حوسبة الذكاء الاصطناعي: يفتقر العلماء إلى إمكانية الوصول إلى الرقائق القوية لأبحاثهم

فجوة حوسبة الذكاء الاصطناعي: يفتقر العلماء إلى إمكانية الوصول إلى الرقائق القوية لأبحاثهم

يشعر العديد من علماء الجامعات بالإحباط بسبب القدرة الحاسوبية المحدودة المتاحة لهم لإجراء أبحاثهم في هذا المجال الذكاء الاصطناعي (الذكاء الاصطناعي) متاح، كما يظهر استطلاع للأكاديميين في عشرات المؤسسات في جميع أنحاء العالم.

النتائج 1 ، الذي تم نشره في 30 أكتوبر على خادم ما قبل الطباعة arXiv، يشير إلى أن الأكاديميين يفتقرون إلى الوصول إلى أنظمة الحوسبة الأكثر تقدمًا. وهذا يمكن أن يؤثر على قدرتك على نماذج اللغات الكبيرة (LLMs) لتطوير وتنفيذ مشاريع بحثية أخرى في مجال الذكاء الاصطناعي.

وعلى وجه الخصوص، لا يملك الباحثون الأكاديميون في بعض الأحيان الموارد اللازمة ليكونوا أقوياء معالجات الرسومات (GPUs) للشراء – رقائق الكمبيوتر المستخدمة عادة لتدريب نماذج الذكاء الاصطناعي والتي يمكن أن تكلف عدة آلاف من الدولارات. في المقابل، يتمتع الباحثون في شركات التكنولوجيا الكبرى بميزانيات أكبر ويمكنهم إنفاق المزيد على وحدات معالجة الرسومات. يقول المؤلف المشارك في الدراسة أبورف خاندلوال، وعالم الكمبيوتر في جامعة براون في بروفيدنس، رود آيلاند: "تضيف كل وحدة معالجة رسومات المزيد من القوة". "في حين أن عمالقة الصناعة هذه قد يكون لديهم الآلاف من وحدات معالجة الرسوميات، فقد لا يمتلك الأكاديميون سوى عدد قليل منها."

تقول ستيلا بيدرمان، المديرة التنفيذية لمعهد EleutherAI، وهو معهد غير ربحي لأبحاث الذكاء الاصطناعي في واشنطن العاصمة: "الفجوة بين النماذج الأكاديمية والصناعية كبيرة، لكنها قد تكون أصغر بكثير". وتضيف أن البحث في هذا التفاوت "مهم للغاية".

أوقات الانتظار بطيئة

ولتقييم موارد الحوسبة المتاحة للأكاديميين، قام خاندلوال وزملاؤه باستطلاع آراء 50 عالمًا من 35 مؤسسة. من بين الذين شملهم الاستطلاع، قيّم 66% رضاهم عن قدراتهم الحاسوبية بـ 3 أو أقل على مقياس من 5. ويقول خاندلوال: "إنهم غير راضين على الإطلاق".

الجامعات لديها لوائح مختلفة للوصول إلى وحدات معالجة الرسومات. قد يكون لدى البعض مجموعة حوسبة مركزية مشتركة بين الأقسام والطلاب حيث يمكن للباحثين طلب وقت وحدة معالجة الرسومات. يمكن لمؤسسات أخرى شراء آلات يمكن لأعضاء المختبر استخدامها مباشرة.

أفاد بعض العلماء أنهم اضطروا إلى الانتظار لأيام للوصول إلى وحدات معالجة الرسومات، مشيرين إلى أن أوقات الانتظار كانت مرتفعة بشكل خاص قرب المواعيد النهائية للمشروع (انظر "اختناق موارد الحساب"). وتسلط النتائج الضوء أيضًا على التفاوتات العالمية في إمكانية الوصول. على سبيل المثال، ذكر أحد المشاركين صعوبة العثور على وحدات معالجة الرسومات في الشرق الأوسط. وقال 10% فقط من المشاركين أنهم يستطيعون الوصول إليها وحدات معالجة الرسومات NVIDIA H100 ، للحصول على شرائح قوية مصممة لأبحاث الذكاء الاصطناعي.

وهذا الحاجز يجعل عملية التدريب المسبق - تغذية مجموعات كبيرة من البيانات في ماجستير إدارة الأعمال - صعبة بشكل خاص. يقول خاندلوال: "إنها مكلفة للغاية لدرجة أن معظم الأكاديميين لا يفكرون حتى في ممارسة العلوم في مرحلة ما قبل التدريب". ويعتقد هو وزملاؤه أن الأكاديميين يقدمون منظورًا فريدًا في أبحاث الذكاء الاصطناعي وأن عدم الوصول إلى القدرة الحاسوبية يمكن أن يحد من مجال البحث.

يقول المؤلف المشارك إيلي بافليك، الذي يدرس علوم الكمبيوتر واللغويات في جامعة براون: "من المهم حقًا أن تكون لديك بيئة بحثية أكاديمية صحية وتنافسية لتحقيق النمو على المدى الطويل والتطور التكنولوجي على المدى الطويل". "عندما يكون لديك بحث في الصناعة، هناك ضغوط تجارية واضحة تغريك أحيانًا بالاستغلال بشكل أسرع والاستكشاف بشكل أقل."

أساليب فعالة

كما درس الباحثون كيف يمكن للأكاديميين الاستفادة بشكل أفضل من موارد الحوسبة الأقل قوة. لقد حسبوا مقدار الوقت المطلوب للتدريب المسبق للعديد من حاملي الماجستير في القانون باستخدام أجهزة منخفضة الموارد - ما بين 1 و8 وحدات معالجة رسوميات. وعلى الرغم من هذه الموارد المحدودة، تمكن الباحثون من تدريب العديد من النماذج بنجاح، على الرغم من أن الأمر استغرق وقتًا أطول وتطلب منهم استخدام أساليب أكثر كفاءة.

يقول خاندلوال: "يمكننا في الواقع استخدام وحدات معالجة الرسومات المتوفرة لدينا لفترة أطول، وبالتالي يمكننا تخفيف بعض الاختلافات بين ما تمتلكه الصناعة".

يقول جي أونج لي، الذي يدرس النماذج العصبية الصريحة في جامعة سارلاند في ساربروكن بألمانيا: "من المثير أن نرى أنه يمكنك بالفعل تدريب نموذج أكبر مما يتخيله كثير من الناس، حتى مع موارد الحوسبة المحدودة". ويضيف أن العمل المستقبلي يمكن أن ينظر في تجارب الباحثين الصناعيين في الشركات الصغيرة الذين يعانون أيضًا من الوصول إلى موارد الحوسبة. ويقول: "ليس الأمر وكأن كل من لديه إمكانية الوصول إلى قوة حاسوبية غير محدودة يحصل عليها بالفعل".

1. خاندلوال، A. وآخرون. طبعة أولية على arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

تحميل المراجع