Az AI modellek eredeti ötleteket hoznak -e, mint a kutatók?
Az AI modellek eredeti ötleteket hoznak -e, mint a kutatók?
A mesterséges intelligencia (AI) által vezérelt ötletek generátorrendszere eredeti kutatási megközelítéseket dolgozott ki egy nemrégiben az ARXIV-ről szóló prop-ban, mint az 50 tudós, akik egymástól függetlenül dolgoztak. 1 .
Az emberek és az AI által generált ötleteket olyan szakértők értékelték, akik nem tudták, ki vagy mit tett minden ötlet. A szakértők az AI által generált fogalmakat izgalmasnak értékelték az emberek által írt ötletekhez képest, bár az AI javaslatai kissé rosszabb helyzetben vannak a megvalósíthatóság szempontjából.
A tudósok azonban rámutatnak, hogy a még nem vizsgált tanulmánynak még nem volt korlátozása. Egy adott kutatási területre összpontosított, és megkövetelte az emberi résztvevőket, hogy spontán módon fejlesztsék ki az ötleteket, ami valószínűleg rontja a képességüket a legjobb fogalmak előállítására.
Mesterséges intelligencia a tudományban
Van Text Link"> Bizonyítványos erőfeszítések. olyan kutatási feladatokból, mint például a Comm , Generate Text "> Generate Comate" "https://www.nature.com/articles/d41586-02842-3" data-track = "kattintás" data-label = "https://www.nater.com/articles/d41586-02842-3" Data-Track-Kategória Link link "> Irodalmi kutatás . Nehéz volt azonban felmérni, hogy ezek az AI -eszközök új kutatási megközelítéseket generálhatnak -e hasonló szinten, mint az emberek. Ennek oka az, hogy az ötletek értékelése testi link"> nagyon tárgy. Képesek körültekintően értékelni őket-mondja Chenglei SI, a kaliforniai Stanfordi Egyetem tanulmányának és számítógépes tudósának társszerzője. "Az ilyen készségek kontextualizálásának legjobb módja a közvetlen összehasonlítás megteremtése" - mondja Si.
Az egyéves projekt az egyik legnagyobb projekt az értékeléshez, függetlenül attól, hogy a nagy nyelvi modellek-az olyan eszközök mögött, mint a Chatgpt -Innovatív Kutatási megközelítések, Tom Hope, a Jeruzsálemi AI összes intézetének számítógépes tudósa. "Több munkának kell lennie" - mondja.
A csoport több mint 100 kutatót toborzott a természetes nyelvfeldolgozás területén, a számítástechnika alsó részén, amely az AI és az emberek közötti kommunikációval foglalkozik. A kilenc -end résztvevőt megbízták az ötletek kidolgozására és a hét téma egyike alapján. Ösztönzésként a kutatók minden ötletért 300 dollárt kaptak, 1000 dollár bónuszt az öt legjobb ötletért.
Ugyanakkor a kutatók egy ötletgenerátort fejlesztettek ki a Claude 3.5 -rel, az Antropic által kifejlesztett LLM -rel, San Francisco -ban, Kaliforniában. A kutatók megkérdezték AI eszközüket, hogy találjanak releváns cikkeket a hét kutatási témáról a Semantic Scholar-on keresztül, egy AI-alapú irodalmi keresőmotoron keresztül. Ezen cikkek alapján a kutatók arra kérték AI -ügynökeiket, hogy készítsenek 4000 ötletet minden kutatási témához, és értékeljék a legeredetibbeket.
Emberi szakértő
Ezután a kutatók véletlenszerűen kinevezték az embert, és az AI generált ötleteket generáltak 79 szakértő, akik minden ötletet értékeltek az újdonság, a feszültség, a megvalósíthatóság és a várható hatékonyság szempontjából. Annak biztosítása érdekében, hogy az ötletek alkotói a szakértők számára ismeretlenek maradjanak, a kutatók egy másik LLM -et használtak mindkét típusú szövegszerkesztéshez, hogy az írási stílus és a hang szabványossá váljon, anélkül, hogy az ötleteket maguk megváltoztatnák.A szakértők átlagosan az AI által generált ötleteket eredeti és izgalmasabbnak értékelték, mint az emberi résztvevők. Az LLM által készített 4000 ötlet áttekintésekor a kutatók csak körülbelül 200 -at találtak, amelyek valóban egyediek voltak, ami azt jelzi, hogy az AI kevésbé eredeti lett, annál több ötletet generált.
Amikor a résztvevők megkérdezték, a legtöbb beismerte, hogy benyújtott ötleteik csak átlagosak voltak a múltban előállított ötletekhez képest.
Az eredmények azt mutatják, hogy az LLM -ek könnyen ötleteket generálhatnak, mint a meglévő irodalom - mondja Cong Lu, a kanadai Vancouverben található Brit Columbia Egyetem gépi tanulásának kutatója. Azonban továbbra is nyitott kérdés az, hogy felülmúlja -e a legtöbb úttörő emberi ötletet.
A tanulmány további korlátozása az, hogy az összehasonlított írásbeli ötleteket egy LLM feldolgozta, amely megváltoztatta a beadványok nyelvét és hosszát - mondja Jevin West, a Seattle -i washingtoni egyetem társadalomtudományi számítógépes tudós. Az ilyen változások finomak lehetnek, ahogy a szakértők észlelték az újdonságot - tette hozzá. West hozzáteszi, hogy nem lehet teljesen tisztességes összehasonlítás, ha a kutatók versenyeznek egy LLM ellen, amely néhány órán belül több ezer ötletet generálhat. "Össze kell hasonlítania az almát az almával" - mondja. Asi és kollégái azt tervezik, hogy összehasonlítják az AI által generált ötleteket a vezető konferencia-hozzájárulásokkal annak érdekében, hogy jobban megértsék az LLM-eket az emberi kreativitáshoz képest. "Megpróbáljuk ösztönözni a közösséget arra, hogy jobban gondolkodjon azon, hogy hogyan kell a jövőnek kinéznie, ha az AI aktívabb szerepet vállalhat a kutatási folyamatban" - mondja.
-
si, C., Yang, D. és Hashimoto, T. Preprint az arxiv https://doi.org/10.48550/arxiv.24109 (2024).