Kluft bei KI-Computing: Wissenschaftler haben keinen Zugang zu leistungsstarken Chips für ihre Forschung

Viele Universitätswissenschaftler sind frustriert über die begrenzte Rechenleistung, die ihnen für ihre Forschung im Bereich der künstlichen Intelligenz (KI) zur Verfügung steht, wie eine Umfrage unter Akademikern an Dutzenden von Institutionen weltweit zeigt.

Die Ergebnisse1, die am 30. Oktober auf dem Preprint-Server arXiv veröffentlicht wurden, deuten darauf hin, dass es Akademikern an Zugriff auf die fortschrittlichsten Rechensysteme mangelt. Dies könnte ihre Fähigkeit beeinträchtigen, große Sprachmodelle (LLMs) zu entwickeln und andere KI-Forschungsprojekte durchzuführen.

Insbesondere haben akademische Forscher manchmal nicht die Ressourcen, um leistungsstarke Grafikprozessoren (GPUs) zu erwerben – Computerchips, die häufig zum Trainieren von KI-Modellen verwendet werden und mehrere tausend Dollar kosten können. Im Gegensatz dazu haben Forscher in großen Technologieunternehmen höhere Budgets und können mehr für GPUs ausgeben. „Jede GPU fügt mehr Leistung hinzu“, sagt der Mitautor der Studie Apoorv Khandelwal, ein Informatiker an der Brown University in Providence, Rhode Island. „Während diese Industrie-Riesen vielleicht Tausende von GPUs besitzen, haben Akademiker möglicherweise nur einige wenige.“

„Die Kluft zwischen akademischen und industriellen Modellen ist groß, könnte aber viel kleiner sein“, sagt Stella Biderman, Geschäftsführerin des EleutherAI, eines gemeinnützigen KI-Forschungsinstituts in Washington DC. Die Forschung zu dieser Ungleichheit sei „sehr wichtig“, fügt sie hinzu.

Langsame Wartezeiten

Um die verfügbaren Rechenressourcen für Akademiker zu bewerten, befragten Khandelwal und seine Kollegen 50 Wissenschaftler aus 35 Institutionen. Von den Befragten bewerteten 66% ihre Zufriedenheit mit ihrer Rechenleistung mit 3 oder weniger auf einer Skala von 5. „Sie sind überhaupt nicht zufrieden“, sagt Khandelwal.

Die Universitäten haben unterschiedliche Regelungen für den Zugriff auf GPUs. Einige könnten einen zentralen Compute-Cluster haben, der von Abteilungen und Studenten geteilt wird, wo Forscher GPU-Zeit anfordern können. Andere Institutionen könnten Maschinen kaufen, die direkt von Mitgliedern des Labors genutzt werden können.

Einige Wissenschaftler berichteten, dass sie Tage warten mussten, um Zugang zu GPUs zu erhalten, und bemerkten, dass die Wartezeiten insbesondere um Projektfristen besonders hoch waren (siehe „Rechenressourcen-Engpass“). Die Ergebnisse verdeutlichen auch globale Ungleichheiten im Zugang. Beispielsweise erwähnte ein Befragter die Schwierigkeiten, GPUs im Nahen Osten zu finden. Nur 10% der Befragten gaben an, Zugang zu NVIDIA’s H100 GPUs, leistungsstarke Chips, die für die KI-Forschung entwickelt wurden, zu haben.

Diese Barriere macht den Prozess des Pre-Trainings – das Einfüttern großer Datensätze in LLMs – besonders herausfordernd. „Es ist so teuer, dass die meisten Akademiker nicht einmal in Betracht ziehen, Wissenschaft im Pre-Training zu betreiben“, sagt Khandelwal. Er und seine Kollegen sind der Meinung, dass Akademiker eine einzigartige Perspektive in der KI-Forschung bieten und dass ein Mangel an Zugang zu Rechenleistung das Forschungsfeld einschränken könnte.

„Es ist einfach wirklich wichtig, ein gesundes, wettbewerbsfähiges akademisches Forschungsumfeld für langfristiges Wachstum und langfristige technologische Entwicklung zu haben“, sagt Mitautorin Ellie Pavlick, die Informatik und Linguistik an der Brown University studiert. „Wenn Sie Forschung in der Industrie haben, gibt es klaren kommerziellen Druck, der manchmal dazu verleitet, schneller zu nutzen und weniger zu erkunden.“

Effiziente Methoden

Die Forscher untersuchten auch, wie Akademiker weniger leistungsstarke Rechenressourcen besser nutzen könnten. Sie berechneten, wie viel Zeit erforderlich wäre, um mehrere LLMs mit Hardware mit niedrigem Ressourcenverbrauch – zwischen 1 und 8 GPUs – vorzutrainieren. Trotz dieser begrenzten Ressourcen gelang es den Forschern, viele der Modelle erfolgreich zu trainieren, obwohl es länger dauerte und sie effizientere Methoden anwenden mussten.

„Wir können eigentlich die GPUs, die wir haben, länger verwenden, und so können wir einige der Unterschiede zwischen dem, was die Industrie hat, ausgleichen,“ sagt Khandelwal.

„Es ist spannend zu sehen, dass man tatsächlich ein größeres Modell trainieren kann, als viele Menschen annehmen würden, selbst mit begrenzten Rechenressourcen“, sagt Ji-Ung Lee, der neuroexplicite Modelle an der Universität Saarland in Saarbrücken, Deutschland, studiert. Er fügt hinzu, dass zukünftige Arbeiten die Erfahrungen von Industrie-Forschern in kleinen Unternehmen betrachten könnten, die ebenfalls mit dem Zugang zu Rechenressourcen kämpfen. „Es ist nicht so, dass jeder, der Zugang zu unbegrenzter Rechenleistung hat, dies tatsächlich erhält“, sagt er.

1. Khandelwal, A. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Referenzen herunterladen