Produserer AI -modeller mer originale ideer enn forskere?
Produserer AI -modeller mer originale ideer enn forskere?
Et ideegeneratorsystem drevet av kunstig intelligens (AI) har utviklet mer originale forskningsmetoder i en fersk rekvisitt på ARXIV enn 50 forskere som jobbet uavhengig av hverandre 1 .
Ideene generert av mennesker og AI ble evaluert av eksperter som ikke visste hvem eller hva som gjorde enhver ide. Ekspertene vurderte de AI-genererte konseptene som en spennende sammenlignet med ideene som er skrevet av mennesker, selv om forslagene til AI gjør det litt verre når det gjelder gjennomførbarhet.
Forskerne påpeker imidlertid at studien, som ennå ikke er fagfellevurdert, har begrensninger. Hun fokuserte på et spesifikt forskningsområde og krevde de menneskelige deltakerne å utvikle ideene spontant, noe som sannsynligvis svekker deres evne til å produsere de beste konseptene.
kunstig intelligens i vitenskap
Det er /www.nature.com/articles/d41556-02-01 Skriv artikler , Stanford University i California. "Den beste måten å kontekstualisere slike ferdigheter er å gjøre en direkte sammenligning," sier Si.
Det ettårige prosjektet er et av de største prosjektene for evaluering, enten det "https://www.nature.com/articles/d41586-024-01042-3" Data-track-category = "Body Text Link"> Chatgpt -Innovative Research Approaches, Tom Hope, Computer Scientist at All Institutes for AI in Jerusalem. "Det må være mer arbeid," sier han.
Teamet rekrutterte mer enn 100 forskere innen naturlig språkbehandling, en underområde av informatikk som omhandler kommunikasjon mellom AI og mennesker. Ni -end -deltakere fikk i oppdrag å utvikle ideer og formulere innen ti dager basert på ett av syv temaer. Som et insentiv mottok forskerne $ 300 for hver idé, med en bonus på $ 1000 for de fem beste ideene.
Samtidig utviklet forskerne en idégenerator med Claude 3.5, en LLM utviklet av antropisk i San Francisco, California. Forskerne ba AI-verktøyet sitt om å finne relevante artikler om de syv forskningsemnene via Semantic Scholar, en AI-basert litteratursøkemotor. Basert på disse artiklene ba forskerne AI -agentene sine om å generere 4000 ideer for hvert forskningsemne og evaluere de mest originale.
Menneskelig ekspert
Da tildelte forskerne tilfeldig menneskene og AI genererte ideer 79 eksperter som evaluerte alle ideer med hensyn til nyhet, spenning, gjennomførbarhet og forventet effektivitet. For å sikre at skaperne av ideene forble ukjente for ekspertene, brukte forskerne en annen LLM for å redigere begge teksttyper slik at skrivestilen og lyden ble standardisert uten å endre ideene selv.
I gjennomsnitt vurderte ekspertene at AI genererte ideer som mer originale og mer spennende enn menneskelige deltakere. Når de ser på de 4000 ideene produsert av LLM, fant forskerne bare rundt 200, som virkelig var unike, noe som indikerer at AI ble mindre originale jo flere ideer den genererte.
Da deltakerne intervjuet, innrømmet de fleste at deres innsendte ideer bare var gjennomsnittlig sammenlignet med ideene som ble produsert tidligere.
Resultatene indikerer at LLM -er lett kan generere ideer enn den eksisterende litteraturen, sier Cong Lu, forsker for maskinlæring ved University of British Columbia i Vancouver, Canada. Hvorvidt du kan overgå de mest banebrytende menneskelige ideene, er imidlertid et åpent spørsmål.
En ytterligere begrensning av studien er at de sammenlignede skriftlige ideene ble behandlet av en LLM, som endret språket og lengden på innsendingene, sier Jevin West, samfunnsvitenskapelig dataforsker ved University of Washington i Seattle. Slike endringer kunne ha vært subtile, ettersom ekspertene oppfattet nyheten, legger han til. West legger til at det kanskje ikke er en helt rettferdig sammenligning å ha forskere som konkurrerer mot en LLM som kan generere tusenvis av ideer på noen få timer. "Du må sammenligne epler med epler," sier han.
Si og kollegene planlegger å sammenligne AI-genererte ideer med ledende konferansebidrag for å få en bedre forståelse av hvordan LLM-er gjør sammenlignet med menneskelig kreativitet. "Vi prøver å stimulere samfunnet til å tenke mer på hvordan fremtiden skal se ut hvis AI kan ta på seg en mer aktiv rolle i forskningsprosessen," sier han.
-
si, C., Yang, D. & Hashimoto, T. Preprint at arxiv https://doi.org/10.48550/arxiv.24109 (2024).