Produceren AI -modellen meer originele ideeën dan onderzoekers?
Produceren AI -modellen meer originele ideeën dan onderzoekers?
Een ideeëngeneratorsysteem aangedreven door kunstmatige intelligentie (AI) heeft meer originele onderzoeksbenaderingen ontwikkeld in een recente prop op Arxiv dan 50 wetenschappers die onafhankelijk van elkaar werkten 1 .
De ideeën gegenereerd door mensen en AI werden geëvalueerd door experts die niet wisten wie of wat elk idee deed. De experts beoordeelden de door AI gegenereerde concepten als een opwindende in vergelijking met de ideeën geschreven door mensen, hoewel de voorstellen van de AI een beetje slechter doen in termen van haalbaarheid.
De wetenschappers wijzen er echter op dat de studie, die nog niet is beoordeeld, beperkingen heeft. Ze concentreerde zich op een specifiek onderzoeksgebied en vereiste dat de menselijke deelnemers de ideeën spontaan ontwikkelden, wat waarschijnlijk hun vermogen om de beste concepten te produceren, aantastte.
kunstmatige intelligentie in de wetenschap
Er is Write articles , en Literatuuronderzoek kan worden gebruikt. Het was echter moeilijk om te beoordelen of deze AI -tools nieuwe onderzoeksbenaderingen op een vergelijkbaar niveau konden genereren als mensen. Dit komt omdat de evaluatie van ideeën Stanford University in Californië. "De beste manier om dergelijke vaardigheden te contextualiseren, is door een directe vergelijking te maken", zegt SI.
Het eenjarige project is een van de grootste projecten voor het evalueren, of grote taalmodellen-de technologie achter tools zoals Chatgpt -Inovatieve onderzoeksbenaderingen, Tom Hope, computerwetenschapper bij alle instituten voor AI in Jeruzalem. "Er moet meer werk zijn", zegt hij.
Het team rekruteerde meer dan 100 onderzoekers op het gebied van natuurlijke taalverwerking, een sub -gebied van informatica dat zich bezighoudt met communicatie tussen AI en mensen. Deelnemers van negenden hebben de opdracht gegeven om ideeën te ontwikkelen en binnen tien dagen te formuleren op basis van een van de zeven onderwerpen. Als stimulans ontvingen de onderzoekers $ 300 voor elk idee, met een bonus van $ 1.000 voor de vijf beste ideeën.
Tegelijkertijd ontwikkelden de onderzoekers een idee -generator met Claude 3.5, een LLM ontwikkeld door Anthropic in San Francisco, Californië. De onderzoekers vroegen hun AI-tool om relevante artikelen te vinden over de zeven onderzoeksonderwerpen via Semantic Scholar, een AI-gebaseerde literatuurzoekmachine. Op basis van deze artikelen vroegen de onderzoekers hun AI -agenten om 4.000 ideeën te genereren voor elk onderzoeksonderwerp en om de meest originele te evalueren.
menselijke expert
Vervolgens hebben de onderzoekers willekeurig de mens en de AI gegenereerd ideeën 79 experts die elk idee evalueerden met betrekking tot nieuwheid, spanning, haalbaarheid en verwachte effectiviteit. Om ervoor te zorgen dat de makers van de ideeën de experts onbekend bleven, gebruikten de onderzoekers een andere LLM om beide soorten tekst te bewerken, zodat de schrijfstijl en het geluid gestandaardiseerd waren zonder de ideeën zelf te veranderen.
Gemiddeld beoordeelden de experts de AI gegenereerden ideeën als origineler en spannender dan die van menselijke deelnemers. Toen we naar de 4.000 ideeën werden geproduceerd door LLM, vonden de onderzoekers slechts ongeveer 200, die echt uniek waren, wat aangeeft dat de AI minder origineel werd naarmate het meer ideeën genereerde.
Toen de geïnterviewde deelnemers de meesten gaven dat hun ingediende ideeën slechts gemiddeld waren in vergelijking met de ideeën die in het verleden werden geproduceerd.
De resultaten geven aan dat LLMS gemakkelijk ideeën kan genereren dan de bestaande literatuur, zegt Cong Lu, onderzoeker voor machine learning aan de Universiteit van British Columbia in Vancouver, Canada. Of u echter beter kunt presteren dan de meest baanbrekende menselijke ideeën blijft een open vraag.
Een verdere beperking van de studie is dat de vergeleken schriftelijke ideeën werden verwerkt door een LLM, die de taal en de lengte van de inzendingen veranderden, zegt Jevin West, computerwetenschapper van de sociale wetenschappen aan de Universiteit van Washington in Seattle. Dergelijke veranderingen hadden subtiel kunnen zijn, zoals de experts de nieuwigheid waarnamen, voegt hij eraan toe. West voegt eraan toe dat het misschien geen volledig eerlijke vergelijking is om onderzoekers te laten concurreren met een LLM die binnen enkele uren duizenden ideeën kan genereren. "Je moet appels vergelijken met appels", zegt hij.
SI en zijn collega's zijn van plan om door AI gegenereerde ideeën te vergelijken met leidende conferentiebijdragen om een beter inzicht te krijgen in hoe LLMS het doet in vergelijking met menselijke creativiteit. "We proberen de gemeenschap te stimuleren om meer na te denken over hoe de toekomst eruit zou moeten zien als AI een actievere rol kan spelen in het onderzoeksproces", zegt hij.
- >
-
si, C., Yang, D. & Hashimoto, T. Preprint at arxiv https://doi.org/10.48550/arxiv.24109 (2024).