Produkují modely AI více původních nápadů než vědci?
Produkují modely AI více původních nápadů než vědci?
Systém generátoru nápadů poháněný umělou inteligencí (AI) vyvinul původní výzkumné přístupy v nedávné podpěře na Arxiv než 50 vědců, kteří pracovali nezávisle na sobě navzájem .
Myšlenky generované lidmi a AI byly hodnoceny odborníky, kteří nevěděli, kdo nebo co udělal každý nápad. Odborníci hodnotili koncepty generované AI jako vzrušující ve srovnání s myšlenkami napsanými lidmi, ačkoli návrhy AI dělají trochu horší, pokud jde o proveditelnost.
Vědci však poukazují na to, že studie, která dosud nebyla recenzována, má omezení. Zaměřila se na konkrétní oblast výzkumu a vyžadovala, aby se lidští účastníci spontánně rozvíjeli, což pravděpodobně zhoršuje jejich schopnost produkovat nejlepší koncepty.
Umělá inteligence ve vědě
existuje , . Bylo však obtížné posoudit, zda tyto nástroje AI mohou generovat čerstvé výzkumné přístupy na podobné úrovni jako lidé. Je to proto, že hodnocení nápadů > "a>" angaristics a a angaristie a a a angaritive a aarticles/d41586-02989-z " jsou schopni je pečlivě vyhodnotit, říká Chenglei Si, spoluautor studie a počítačového vědce na Stanfordské univerzitě v Kalifornii. „Nejlepší způsob, jak takové dovednosti kontextovat, je provést přímé srovnání,“ říká SI.
Jednoroční projekt je jedním z největších projektů pro hodnocení, ať už velké jazykové modely-technologie za nástroji, jako je CHATGPT -Invovativní výzkumné přístupy, Tom Hope, počítačový vědec ve všech ústavech pro AI v Jeruzalémě. „Musí existovat více práce,“ říká.
Tým najal více než 100 vědců v oblasti zpracování přirozeného jazyka, pododstavce informatiky, která se zabývá komunikací mezi AI a lidmi. Devět účastníků bylo pověřeno rozvíjet myšlenky a formulovat do deseti dnů na základě jednoho ze sedmi témat. Jako motivaci dostali vědci 300 $ za každý nápad, s bonusem 1 000 $ za pět nejlepších nápadů.
Současně vědci vyvinuli generátor nápadů s Claude 3.5, LLM vyvinutý společností Antropic v San Franciscu v Kalifornii. Vědci požádali svůj nástroj AI, aby našli relevantní články o sedmi výzkumných tématech prostřednictvím sémantického učence, vyhledávače literatury založeného na AI. Na základě těchto článků vědci požádali své agenty AI, aby vytvořili 4 000 nápadů pro každé téma výzkumu a vyhodnotili ty nejoriginálnější.
Human Expert
Pak vědci náhodně přiřadili člověka a AI vygenerovali nápady 79 odborníků, kteří hodnotili každou myšlenku s ohledem na novosti, napětí, proveditelnost a očekávanou účinnost. Aby se zajistilo, že tvůrci nápadů zůstali odborníkům neznámí, vědci použili další LLM k úpravě obou typů textu tak, aby styl psaní a zvuk byly standardizovány bez změny samotných myšlenek.
V průměru odborníci hodnotili myšlenky AI jako originální a více vzrušující než myšlenky lidských účastníků. Při pohledu na 4 000 myšlenek vytvořených LLM vědci našli pouze asi 200, což bylo opravdu jedinečné, což naznačuje, že AI se stala méně originální, tím více nápadů vytvořila.
Když účastníci dotazovali, nejvíce připustila, že jejich předložené nápady byly ve srovnání s myšlenkami vytvořenými v minulosti průměrné.
Výsledky naznačují, že LLMS může snadno generovat nápady než stávající literatura, říká Cong Lu, výzkumný pracovník pro strojové učení na University of British Columbia ve Vancouveru v Kanadě. Otevřenou otázkou však zůstává, zda můžete překonat nejpřísnější lidské myšlenky.
Dalším omezením studie je, že porovnávací písemné myšlenky byly zpracovány LLM, který změnil jazyk a délku podání, říká Jevin West, počítačový vědec v sociální vědě na University of Washington v Seattlu. Takové změny mohly být jemné, jak odborníci vnímali novinku, dodává. West dodává, že to nemusí být zcela spravedlivé srovnání, že vědci soutěží s LLM, který dokáže za pár hodin generovat tisíce nápadů. „Musíte porovnat jablka s jablky,“ říká.
Si a jeho kolegové plánují porovnat myšlenky generované AI s předními příspěvky na konferenci, aby se lépe porozumělo tomu, jak LLM ve srovnání s lidskou kreativitou. "Snažíme se stimulovat komunitu, aby přemýšlela více o tom, jak by měla vypadat budoucnost, pokud by AI mohla převzít aktivnější roli ve výzkumném procesu," říká.
-
Si, C., Yang, D. & Hashimoto, T. Preprint na arxiv https://doi.org/10.48550/arxiv.24109 (2024).