Ger AI -modeller mer originella idéer än forskare?
Ger AI -modeller mer originella idéer än forskare?
Ett idéergeneratorsystem som drivs av Artificial Intelligence (AI) har utvecklat mer originella forskningsmetoder i en ny rekvisita på ARXIV än 50 forskare som arbetade oberoende av varandra 1 .
Idéerna som genererades av människor och AI utvärderades av experter som inte visste vem eller vad som gjorde varje idé. Experterna bedömde de AI-genererade koncepten som en spännande jämfört med de idéer som skrivits av människor, även om AI: s förslag gör lite värre när det gäller genomförbarhet.
Forskarna påpekar emellertid att studien, som ännu inte har granskats peer-granskad, har begränsningar. Hon fokuserade på ett specifikt forskningsområde och krävde att de mänskliga deltagarna utvecklade idéerna spontant, vilket troligen försämrar deras förmåga att producera de bästa koncepten.
Artificial Intelligence in Science
Det finns , Generate Code and litteratur forskning Stanford University i Kalifornien. "Det bästa sättet att kontextualisera sådana färdigheter är att göra en direkt jämförelse," säger SI.
The one-year project is one of the largest projects for evaluating, whether large language models-the technology behind tools such as Chatgpt -Innovative Research-strategier, Tom Hope, datavetare vid alla institut för AI i Jerusalem. "Det måste finnas mer arbete", säger han.
Teamet rekryterade mer än 100 forskare inom området naturligt språkbearbetning, ett underområde för datavetenskap som handlar om kommunikation mellan AI och människor. Nio -end deltagare fick i uppdrag att utveckla idéer och formulera inom tio dagar baserat på ett av sju ämnen. Som ett incitament fick forskarna $ 300 för varje idé, med en bonus på $ 1 000 för de fem bästa idéerna.
Samtidigt utvecklade forskarna en idégenerator med Claude 3.5, en LLM utvecklad av Anthropic i San Francisco, Kalifornien. Forskarna bad sitt AI-verktyg för att hitta relevanta artiklar om de sju forskningsämnen via Semantic Scholar, en AI-baserad litteratursökmotor. Baserat på dessa artiklar bad forskarna sina AI -agenter att generera 4 000 idéer för varje forskningsämne och att utvärdera de mest originella.
mänsklig expert
Då tilldelade forskarna slumpmässigt de mänskliga och AI genererade idéerna 79 experter som utvärderade varje idé med avseende på nyhet, spänning, genomförbarhet och förväntad effektivitet. För att säkerställa att skaparna av idéerna förblev okända för experterna, använde forskarna en annan LLM för att redigera båda typerna av text så att skrivstilen och ljudet standardiserades utan att ändra idéerna själva.
I genomsnitt bedömde experterna AI -genererade idéer som mer originella och mer spännande än för mänskliga deltagare. När forskarna tittade på de 4 000 idéerna som producerats av LLM hittade forskarna bara cirka 200, som var riktigt unika, vilket indikerar att AI blev mindre original desto fler idéer som den genererade.
När deltagarna intervjuade, medgav de flesta att deras inlämnade idéer endast var genomsnittliga jämfört med de idéer som producerats tidigare.
Resultaten indikerar att LLMS lätt kan generera idéer än den befintliga litteraturen, säger Cong Lu, forskare för maskininlärning vid University of British Columbia i Vancouver, Kanada. Huruvida du kan överträffa de mest banbrytande mänskliga idéerna förblir en öppen fråga.
En ytterligare begränsning av studien är att de jämförda skriftliga idéerna behandlades av en LLM, vilket förändrade språket och längden på inlämningarna, säger Jevin West, samhällsvetenskaplig datavetare vid University of Washington i Seattle. Sådana förändringar kunde ha varit subtila, eftersom experterna uppfattade nyheten, tillägger han. West tillägger att det kanske inte är en helt rättvis jämförelse för att få forskare som tävlar mot en LLM som kan generera tusentals idéer på några timmar. "Du måste jämföra äpplen med äpplen," säger han.
SI och hans kollegor planerar att jämföra AI-genererade idéer med ledande konferensbidrag för att få en bättre förståelse för hur LLM: er gör jämfört med mänsklig kreativitet. "Vi försöker stimulera samhället att tänka mer på hur framtiden ska se ut om AI kan ta en mer aktiv roll i forskningsprocessen," säger han.
-
si, C., yang, D. & hashimoto, T. preprint på arxiv https://doi.org/10.48550/arxiv.24109 (2024).