Az AI modellek eredeti ötleteket hoznak -e, mint a kutatók?

Eine neue Studie zeigt, dass KI-Modelle mehr originelle Forschungsideen generieren können als 50 Wissenschaftler. Experten bewerten diese Ansätze.
Egy új tanulmány azt mutatja, hogy az AI modellek eredeti kutatási ötleteket hozhatnak létre, mint 50 tudós. A szakértők értékelik ezeket a megközelítéseket. (Symbolbild/natur.wiki)

Az AI modellek eredeti ötleteket hoznak -e, mint a kutatók?

A mesterséges intelligencia (AI) által vezérelt ötletek generátorrendszere eredeti kutatási megközelítéseket dolgozott ki egy nemrégiben az ARXIV-ről szóló prop-ban, mint az 50 tudós, akik egymástól függetlenül dolgoztak. 1 .

Az emberek és az AI által generált ötleteket olyan szakértők értékelték, akik nem tudták, ki vagy mit tett minden ötlet. A szakértők az AI által generált fogalmakat izgalmasnak értékelték az emberek által írt ötletekhez képest, bár az AI javaslatai kissé rosszabb helyzetben vannak a megvalósíthatóság szempontjából.

A tudósok azonban rámutatnak, hogy a még nem vizsgált tanulmánynak még nem volt korlátozása. Egy adott kutatási területre összpontosított, és megkövetelte az emberi résztvevőket, hogy spontán módon fejlesztsék ki az ötleteket, ami valószínűleg rontja a képességüket a legjobb fogalmak előállítására.

Mesterséges intelligencia a tudományban

Van Text Link"> Bizonyítványos erőfeszítések. olyan kutatási feladatokból, mint például a Comm , Generate Text "> Generate Comate" "https://www.nature.com/articles/d41586-02842-3" data-track = "kattintás" data-label = "https://www.nater.com/articles/d41586-02842-3" Data-Track-Kategória Link link "> Irodalmi kutatás . Nehéz volt azonban felmérni, hogy ezek az AI -eszközök új kutatási megközelítéseket generálhatnak -e hasonló szinten, mint az emberek. Ennek oka az, hogy az ötletek értékelése testi link"> nagyon tárgy. Képesek körültekintően értékelni őket-mondja Chenglei SI, a kaliforniai Stanfordi Egyetem tanulmányának és számítógépes tudósának társszerzője. "Az ilyen készségek kontextualizálásának legjobb módja a közvetlen összehasonlítás megteremtése" - mondja Si.

Az egyéves projekt az egyik legnagyobb projekt az értékeléshez, függetlenül attól, hogy a nagy nyelvi modellek-az olyan eszközök mögött, mint a Chatgpt -Innovatív Kutatási megközelítések, Tom Hope, a Jeruzsálemi AI összes intézetének számítógépes tudósa. "Több munkának kell lennie" - mondja.

A csoport több mint 100 kutatót toborzott a természetes nyelvfeldolgozás területén, a számítástechnika alsó részén, amely az AI és az emberek közötti kommunikációval foglalkozik. A kilenc -end résztvevőt megbízták az ötletek kidolgozására és a hét téma egyike alapján. Ösztönzésként a kutatók minden ötletért 300 dollárt kaptak, 1000 dollár bónuszt az öt legjobb ötletért.

Ugyanakkor a kutatók egy ötletgenerátort fejlesztettek ki a Claude 3.5 -rel, az Antropic által kifejlesztett LLM -rel, San Francisco -ban, Kaliforniában. A kutatók megkérdezték AI eszközüket, hogy találjanak releváns cikkeket a hét kutatási témáról a Semantic Scholar-on keresztül, egy AI-alapú irodalmi keresőmotoron keresztül. Ezen cikkek alapján a kutatók arra kérték AI -ügynökeiket, hogy készítsenek 4000 ötletet minden kutatási témához, és értékeljék a legeredetibbeket.

Emberi szakértő

Ezután a kutatók véletlenszerűen kinevezték az embert, és az AI generált ötleteket generáltak 79 szakértő, akik minden ötletet értékeltek az újdonság, a feszültség, a megvalósíthatóság és a várható hatékonyság szempontjából. Annak biztosítása érdekében, hogy az ötletek alkotói a szakértők számára ismeretlenek maradjanak, a kutatók egy másik LLM -et használtak mindkét típusú szövegszerkesztéshez, hogy az írási stílus és a hang szabványossá váljon, anélkül, hogy az ötleteket maguk megváltoztatnák.

A szakértők átlagosan az AI által generált ötleteket eredeti és izgalmasabbnak értékelték, mint az emberi résztvevők. Az LLM által készített 4000 ötlet áttekintésekor a kutatók csak körülbelül 200 -at találtak, amelyek valóban egyediek voltak, ami azt jelzi, hogy az AI kevésbé eredeti lett, annál több ötletet generált.

Amikor a résztvevők megkérdezték, a legtöbb beismerte, hogy benyújtott ötleteik csak átlagosak voltak a múltban előállított ötletekhez képest.

Az eredmények azt mutatják, hogy az LLM -ek könnyen ötleteket generálhatnak, mint a meglévő irodalom - mondja Cong Lu, a kanadai Vancouverben található Brit Columbia Egyetem gépi tanulásának kutatója. Azonban továbbra is nyitott kérdés az, hogy felülmúlja -e a legtöbb úttörő emberi ötletet.

A tanulmány további korlátozása az, hogy az összehasonlított írásbeli ötleteket egy LLM feldolgozta, amely megváltoztatta a beadványok nyelvét és hosszát - mondja Jevin West, a Seattle -i washingtoni egyetem társadalomtudományi számítógépes tudós. Az ilyen változások finomak lehetnek, ahogy a szakértők észlelték az újdonságot - tette hozzá. West hozzáteszi, hogy nem lehet teljesen tisztességes összehasonlítás, ha a kutatók versenyeznek egy LLM ellen, amely néhány órán belül több ezer ötletet generálhat. "Össze kell hasonlítania az almát az almával" - mondja.

A

si és kollégái azt tervezik, hogy összehasonlítják az AI által generált ötleteket a vezető konferencia-hozzájárulásokkal annak érdekében, hogy jobban megértsék az LLM-eket az emberi kreativitáshoz képest. "Megpróbáljuk ösztönözni a közösséget arra, hogy jobban gondolkodjon azon, hogy hogyan kell a jövőnek kinéznie, ha az AI aktívabb szerepet vállalhat a kutatási folyamatban" - mondja.

  1. si, C., Yang, D. és Hashimoto, T. Preprint az arxiv https://doi.org/10.48550/arxiv.24109 (2024).

  2. Referenciák letöltése