Моделите AI произвеждат ли повече оригинални идеи от изследователите?
Моделите AI произвеждат ли повече оригинални идеи от изследователите?
Система за генератор на идеи, задвижвана от изкуствен интелект (AI), разработи по-оригинални изследователски подходи в скорошна опора за ARXIV, отколкото 50 учени, които са работили независимо един от друг 1 .
Идеите, генерирани от хора и AI, бяха оценени от експерти, които не знаеха кой или какво направи всяка идея. Експертите оцениха генерираните от AI концепции като вълнуващи в сравнение с идеите, написани от хората, въпреки че предложенията на AI правят малко по-лошо по отношение на осъществимостта.
Въпреки това, учените посочват, че изследването, което все още не е прегледано, има ограничения. Тя се съсредоточи върху конкретна изследователска област и изискваше от човешките участници да разработят идеите спонтанно, което вероятно нарушава способността им да произвеждат най -добрите концепции.
Изкуствен интелект в науката
Има Увеличаване на изследователски задачи като изследване на литературата Може да се използва. Въпреки това беше трудно да се прецени дали тези AI инструменти могат да генерират свежи изследователски подходи на подобно ниво като хората. Това е така, защото оценката на идеите е много субективно Bleiben Sie informiert: Jeden Abend senden wir Ihnen die Artikel des Tages aus der Kategorie Allgemein – übersichtlich als Liste. Едногодишният проект е един от най-големите проекти за оценка, независимо дали са големи езикови модели-технологията зад инструменти като Chatgpt -иновативни изследователски подходи, Том Хоуп, компютърен учен във всички институти за AI в Йерусалим. "Трябва да има повече работа", казва той. Екипът набира повече от 100 изследователи в областта на обработката на естествения език, под -едрата на компютърните науки, която се занимава с комуникацията между AI и хората. Девет -And участници бяха възложени да разработят идеи и да формулират в рамките на десет дни въз основа на една от седемте теми. Като стимул, изследователите получиха 300 долара за всяка идея, с бонус от 1000 долара за петте най -добри идеи. В същото време изследователите разработиха генератор на идеи с Claude 3.5, LLM, разработен от Anthropic в Сан Франциско, Калифорния. Изследователите поискаха техния инструмент за AI, за да намерят подходящи статии по седемте изследователски теми чрез Semantic Scholar, AI-базирана литературна търсачка. Въз основа на тези статии изследователите помолиха своите агенти за ИИ да генерират 4000 идеи за всяка изследователска тема и да оценят най -оригиналните. Тогава изследователите на случаен принцип назначиха човешки и AI, генерираха идеи 79 експерти, които оцениха всяка идея по отношение на новостта, напрежението, осъществимостта и очакваната ефективност. За да гарантират, че създателите на идеите остават непознати за експертите, изследователите използваха друг LLM, за да редактират двата типа текст, така че стилът на писане и звука да бъдат стандартизирани, без да променят самите идеи. Средно експертите оцениха ИИ, генерираха идеи като по -оригинални и по -вълнуващи от тези на човешките участници. Когато разглеждаха 4000 идеи, произведени от LLM, изследователите откриха само около 200, които бяха наистина уникални, което показва, че AI стана по -малко оригинална, толкова повече идеи генерира. Когато участниците интервюираха, повечето признаха, че техните представени идеи са били средни само в сравнение с идеите, произведени в миналото. Резултатите показват, че LLMS може лесно да генерира идеи от съществуващата литература, казва Конг Лу, изследовател за машинно обучение в Университета на Британска Колумбия във Ванкувър, Канада. Въпреки това, дали можете да надминете най -новаторските човешки идеи, остава отворен въпрос. По -нататъшно ограничаване на проучването е, че сравнените писмени идеи са обработени от LLM, който промени езика и продължителността на подаването, казва Йевин Уест, социална научен компютърен учен в Университета на Вашингтон в Сиатъл. Подобни промени биха могли да бъдат фини, тъй като експертите възприемат новостта, добавя той. Уест добавя, че може да не е напълно справедливо сравнение, за да се състезават изследователи срещу LLM, който може да генерира хиляди идеи за няколко часа. „Трябва да сравнявате ябълки с ябълки“, казва той. SI и неговите колеги планират да сравнят генерираните от AI идеи с водещи приноси на конференцията, за да постигнат по-добро разбиране за това как се справят LLMS в сравнение с човешкото творчество. „Опитваме се да стимулираме общността да помисли повече за това как трябва да изглежда бъдещето, ако AI може да поеме по -активна роля в процеса на изследване“, казва той. si, C., Yang, D. & Hashimoto, T. Preprint at arxiv https://doi.org/10.48550/arxiv.24109 (2024).
Човешки експерт