الحساب في حوسبة الذكاء الاصطناعى: لا يمكن للعلماء الوصول إلى رقائق قوية لأبحاثهم
الحساب في حوسبة الذكاء الاصطناعى: لا يمكن للعلماء الوصول إلى رقائق قوية لأبحاثهم
يشعر العديد من علماء الجامعة بالإحباط من أداء الحوسبة المحدودة ، والذي بالنسبة لبحثهم في مجال 1 ، والتي تم نشرها على خادم PrepRint Arxiv الأكثر تطوراً. قد يؤثر ذلك على قدرتك ،
على وجه الخصوص ، لا يملك الباحثون الأكاديميون في بعض الأحيان الموارد اللازمة لجعل معالجات الرسومات (GPUS) لشراء رقائق الحاسوب التي يتم استخدامها غالبًا لتدريب نماذج الذكاء الاصطناعي ويمكن أن تكلف عدة آلاف من الدولارات. في المقابل ، يتمتع الباحثون بميزانيات أعلى في شركات التكنولوجيا الكبيرة ويمكنهم إنفاق المزيد على وحدات معالجة الرسومات. يقول المشترك لدراسة Apoorv Khandelwal ، عالم الكمبيوتر بجامعة براون في بروفيدنس ، رود آيلاند: "كل GPU يضيف المزيد من القوة". "في حين أن هؤلاء العمالقة الصناعية قد يكون لديهم الآلاف من وحدات معالجة الرسومات ، إلا أن الأكاديميين قد يكون لديهم عدد قليل فقط."
أوقات انتظار بطيئة
من أجل تقييم موارد الحوسبة المتاحة للأكاديميين ، قام Khandelwal وزملاؤه بمسح 50 عالمًا من 35 مؤسسة. من بين المجيبين ، قام 66 ٪ بتقييم رضاهم عن قوتهم الحاسوبية مع 3 أو أقل على مقياس 5. "إنهم غير راضين على الإطلاق" ، كما يقول Khandelwal.
لدى الجامعات لوائح مختلفة للوصول إلى وحدات معالجة الرسومات. يمكن أن يكون لدى البعض مجموعة حسابية مركزية تتقاسمها الإدارات والطلاب ، حيث يمكن للباحثين طلب وقت GPU. يمكن للمؤسسات الأخرى شراء آلات يمكن استخدامها مباشرة من قبل أعضاء المختبر.
أفاد بعض العلماء أنهم اضطروا إلى الانتظار لأيام للوصول إلى وحدات معالجة الرسومات ولاحظوا أن أوقات الانتظار كانت عالية بشكل خاص (انظر "قبول موارد الحساب"). توضح النتائج أيضًا عدم المساواة العالمية في الوصول. على سبيل المثال ، ذكر المدعى عليه صعوبات العثور على وحدات معالجة الرسومات في الشرق الأوسط. ذكر 10 ٪ فقط من المجيبين أن الوصول إلى ، رقائق قوية تم تطويرها لأبحاث الذكاء الاصطناعي.
يجعل هذا الحاجز عملية ما قبل التدريب-تغذية سجلات البيانات الكبيرة في تحدي LLMS بشكل خاص. يقول كوفنوال: "إنه مكلف للغاية لدرجة أن معظم الأكاديميين لا يفكرون في القيام بالعلوم في التدريب قبل التدريب". يرى هو وزملاؤه أن الأكاديميين يقدمون منظوراً فريدًا في أبحاث الذكاء الاصطناعى وأن عدم الوصول إلى قوة الحوسبة يمكن أن يقيد مجال البحث. "من المهم ببساطة أن يكون لديك بيئة بحث أكاديمية صحية ونافسية للنمو طويل المدى والتطور التكنولوجي طويل المدى". "إذا كان لديك بحث في الصناعة ، فهناك ضغط تجاري واضح ، والذي يغريك أحيانًا باستخدام واستكشاف أقل أسرع." طرق فعالة فحص الباحثون أيضًا كيف يمكن للأكاديميين استخدام موارد الحوسبة الأقل قوة. يحسبون مقدار الوقت المطلوب لتدريب العديد من LLMs مع الأجهزة ذات الاستهلاك المنخفض للموارد - بين 1 و 8 وحدات معالجة الرسومات. على الرغم من هذه الموارد المحدودة ، تمكن الباحثون من تدريب العديد من النماذج بنجاح ، على الرغم من أن الأمر استغرق وقتًا أطول وكان عليهم تطبيق طرق أكثر كفاءة. "يمكننا في الواقع استخدام وحدات معالجة الرسومات التي لدينا لفترة أطول ، وبالتالي يمكننا تعويض بعض الاختلافات بين ما هي الصناعة" ، كما يقول كوفوال.
-
khandelwal ، A. et al. preprint في Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).