Modelele AI produc mai multe idei originale decât cercetătorii?

Modelele AI produc mai multe idei originale decât cercetătorii?

Un sistem de generator de idei condus de inteligența artificială (AI) a dezvoltat abordări de cercetare mai originale într-un nou propriu pe arxiv decât 50 de oameni de știință care au lucrat independent unul de altul 1 .

Ideile generate de oameni și AI au fost evaluate de experți care nu știau cine sau ce a făcut fiecare idee. Experții au evaluat conceptele generate de AI ca un interesant în comparație cu ideile scrise de oameni, deși propunerile AI fac un pic mai rău în ceea ce privește fezabilitatea.

Cu toate acestea, oamenii de știință subliniază că studiul, care nu a fost încă revizuit de la egal la egal, are restricții. Ea s -a concentrat pe o zonă de cercetare specifică și a cerut participanților umani să dezvolte ideile spontan, ceea ce probabil le afectează capacitatea de a produce cele mai bune concepte.

inteligență artificială în știință

Există Creșterea eforturilor pentru a investiga modul în care modele mari de limbaj (llm) Sarcini de cercetare, cum ar fi Generat cod și Generat cod "https://www.nature.com/articles/d41586-02842-3" data-track = "Click" data-label = "https://www.nature.com/articles/d41586-02842-3" Data-track-category text text "> Cercetare de literatură poate fi utilizat. Cu toate acestea, a fost dificil de evaluat dacă aceste instrumente AI ar putea genera abordări noi de cercetare la un nivel similar cu oamenii. Acest lucru se datorează faptului că evaluarea ideilor

Proiectul de un an este unul dintre cele mai mari proiecte de evaluare, indiferent dacă modele de limbaj mare-tehnologia din spatele instrumentelor precum chatgpt -abordări de cercetare innovative, Tom Hope, informatician la toate institutele pentru AI în Ierusalim. „Trebuie să fie mai multă muncă”, spune el.

Echipa a recrutat peste 100 de cercetători în domeniul procesării limbajului natural, o sub -are a informaticii care se ocupă de comunicarea dintre AI și oameni. Nouă participanți au fost însărcinați să dezvolte idei și să se formuleze în termen de zece zile pe baza unuia dintre cele șapte subiecte. Ca stimulent, cercetătorii au primit 300 de dolari pentru fiecare idee, cu un bonus de 1.000 de dolari pentru cele mai bune cinci idei.

În același timp, cercetătorii au dezvoltat un generator de idei cu Claude 3.5, un LLM dezvoltat de Anthropic în San Francisco, California. Cercetătorii au solicitat instrumentului AI să găsească articole relevante pe cele șapte subiecte de cercetare prin semantic Scholar, un motor de căutare de literatură bazat pe AI. Pe baza acestor articole, cercetătorii au cerut agenților AI să genereze 4.000 de idei pentru fiecare subiect de cercetare și să le evalueze pe cele mai originale.

expert uman

Apoi, cercetătorii au atribuit la întâmplare ideile omului și AI au generat 79 de experți care au evaluat fiecare idee în ceea ce privește noutatea, tensiunea, fezabilitatea și eficacitatea preconizată. Pentru a se asigura că creatorii ideilor au rămas necunoscuți experților, cercetătorii au folosit un alt LLM pentru a edita ambele tipuri de text, astfel încât stilul de scriere și sunetul să fie standardizate fără a schimba ideile în sine.

În medie, experții au evaluat ideile generate de AI ca fiind mai originale și mai interesante decât cele ale participanților umani. Când se uită la cele 4.000 de idei produse de LLM, cercetătorii au găsit doar aproximativ 200, care erau cu adevărat unice, ceea ce indică faptul că AI a devenit mai puțin originală cu atât mai multe idei a generat.

Când participanții au intervievat, cei mai mulți au recunoscut că ideile depuse au fost medii doar în comparație cu ideile produse în trecut.

Rezultatele indică faptul că LLM -urile pot genera cu ușurință idei decât literatura existentă, spune Cong Lu, cercetător pentru învățare automată la Universitatea din Columbia Britanică din Vancouver, Canada. Cu toate acestea, dacă puteți depăși cele mai inovatoare idei umane rămâne o întrebare deschisă.

O restricție suplimentară a studiului este aceea că ideile scrise comparate au fost procesate de un LLM, care a schimbat limba și lungimea trimiterilor, spune Jevin West, informatician de științe sociale la Universitatea Washington din Seattle. Astfel de schimbări ar fi putut fi subtile, după cum au perceput experții noutatea, adaugă el. West adaugă că este posibil să nu fie o comparație complet corectă pentru ca cercetătorii să concureze împotriva unui LLM care poate genera mii de idei în câteva ore. „Trebuie să comparați merele cu merele”, spune el.

SI și colegii săi intenționează să compare ideile generate de AI cu contribuțiile conferinței de frunte pentru a înțelege mai bine modul în care LLM-urile fac în comparație cu creativitatea umană. „Încercăm să stimulăm comunitatea să se gândească mai mult la cum ar trebui să arate viitorul dacă AI poate prelua un rol mai activ în procesul de cercetare”, spune el.

1. si, C., Yang, D. & Hashimoto, T. Preprint at arxiv https://doi.org/10.48550/arxiv.24109 (2024).

Descărcați referințe