Ali AI modeli proizvajajo bolj izvirne ideje kot raziskovalci?

Ali AI modeli proizvajajo bolj izvirne ideje kot raziskovalci?

sistem za generatorje idej, ki ga poganja umetna inteligenca (AI), je v nedavnem podpornem podpornem podpornem programu razvil bolj izvirne raziskovalne pristope kot 50 znanstvenikov, ki so delali neodvisno drug od drugega 1

Ideje, ki so jih ustvarili ljudje in AI, so ocenili strokovnjaki, ki niso vedeli, kdo ali kaj je naredil vsako idejo. Strokovnjaki so koncepte, ustvarjene z AI, ocenili kot vznemirljive v primerjavi z idejami, ki so jih napisali ljudje, čeprav predlogi AI naredijo nekoliko slabše glede na izvedljivost.

There is Increasing efforts to investigate how large language models (LLMS) for Avtomatizacija raziskovalnih nalog, kot je , Generate Code and literature o literaturih . Vendar je bilo težko oceniti, ali lahko ta orodja AI ustvarijo sveže raziskovalne pristope na podobni ravni kot ljudje. This is because the evaluation of ideas is very subjective and requires Strokovnjaki, ki jih lahko natančno ocenijo, pravi Chenglei Si, soavtor študije in računalnikov na univerzi Stanford v Kaliforniji. "Najboljši način za kontekstualizacijo takšnih veščin je neposredna primerjava," pravi SI.

Enoletni projekt je eden največjih projektov za ocenjevanje, ne glede na to, ali so veliki jezikovni modeli-tehnologija za orodji, kot je chatgpt -invativni raziskovalni pristopi, Tom Hope, računalniški znanstvenik na vseh inštitutih za AI v Jeruzalemu. "Delo mora biti več," pravi.

Ekipa je zaposlila več kot 100 raziskovalcev na področju obdelave naravnega jezika, podrejenega računalništva, ki se ukvarja s komunikacijo med AI in ljudmi. Devet -udeleženci so bili naročeni, da v desetih dneh razvijejo ideje in formulirajo na podlagi ene od sedmih tem. Kot spodbuda so raziskovalci prejeli 300 dolarjev za vsako idejo, z bonusom 1.000 dolarjev za pet najboljših idej.

Hkrati so raziskovalci razvili generator idej s Claude 3.5, LLM, ki ga je razvil antropic v San Franciscu v Kaliforniji. Raziskovalci so svoje orodje AI prosili, naj poišče ustrezne članke o sedmih raziskovalnih temah prek Semantic Scholar, iskalnika literature, ki temelji na AI. Na podlagi teh člankov so raziskovalci prosili svoje agente AI, naj ustvarijo 4000 idej za vsako raziskovalno temo in ocenijo najbolj izvirne.

človeški strokovnjak

Nato so raziskovalci naključno dodelili človeške in AI ustvarjene ideje 79 strokovnjakov, ki so ocenili vsako idejo glede na novost, napetost, izvedljivost in pričakovano učinkovitost. Da bi zagotovili, da ustvarjalci idej strokovnjakom ostanejo neznani, so raziskovalci uporabili še eno LLM za urejanje obeh vrst besedila, tako da sta bila slog pisanja in zvok standardizirana, ne da bi sami spremenili ideje.

V povprečju so strokovnjaki za AI ustvarili ideje kot bolj izvirne in bolj vznemirljive kot pri človeških udeležencih. Ko so si ogledali 4.000 idej, ki jih je ustvaril LLM, so raziskovalci našli le približno 200, kar je bilo res edinstvenih, kar kaže na to, da je AI postal manj izviren, več idej, ki jih je ustvaril.

Ko so se udeleženci pogovarjali, je večina priznala, da so bile njihove predložene ideje le povprečne v primerjavi z idejami, ustvarjenimi v preteklosti.

Rezultati kažejo, da lahko LLM zlahka ustvarijo ideje kot obstoječa literatura, pravi Cong Lu, raziskovalec strojnega učenja na Univerzi v Britanski Kolumbiji v Vancouvru v Kanadi. Vendar, ali lahko presegate najbolj prelomne človeške ideje, ostaja odprto vprašanje.

Nadaljnja omejitev študije je, da je primerjane pisne ideje obdelal LLM, ki je spremenil jezik in dolžino prispevkov, pravi Jevin West, družboslovni računalniški znanstvenik na Univerzi v Washingtonu v Seattlu. Takšne spremembe bi lahko bile subtilne, kot so strokovnjaki zaznali novost, dodaja. West dodaja, da morda ni povsem poštena primerjava, če bi raziskovalci tekmovali proti LLM, ki lahko v nekaj urah ustvari na tisoče idej. "Jabolka morate primerjati z jabolki," pravi.

Si in njegovi sodelavci načrtujejo primerjavo idej, ki jih ustvari AIS z vodilnimi prispevki konference, da bi bolje razumeli, kako to počnejo LLM v primerjavi s človeško ustvarjalnostjo. "Trudimo se spodbuditi skupnosti, da bi bolj razmislila o tem, kako naj bi izgledala prihodnost, če bi AI lahko prevzel bolj aktivno vlogo v raziskovalnem procesu," pravi.

>

1. si, c., yang, d. & hashimoto, t. predprint pri arxiv https://doi.org/10.48550/arxiv.24109 (2024).

Prenesite reference