Czy modele AI wytwarzają więcej oryginalnych pomysłów niż badacze?

Czy modele AI wytwarzają więcej oryginalnych pomysłów niż badacze?

System generatora pomysłów napędzany sztuczną inteligencją (AI) opracował bardziej oryginalne podejścia badawcze w ostatnim rekwizycie ARXIV niż 50 naukowców, którzy pracowali niezależnie od siebie

Pomysły generowane przez ludzi i sztuczną inteligencję zostały ocenione przez ekspertów, którzy nie wiedzieli, kto ani co zrobił każdy pomysł. Eksperci ocenili koncepcje generowane przez AI jako ekscytujące w porównaniu z pomysłami napisanymi przez ludzi, chociaż propozycje AI są nieco gorsze pod względem wykonalności.

Istnieje , wyznacz kod i < „https://www.nature.com/articles/d41586-02842-3” data-track = "kliknij" data-label = "https://www.nature.com/articles/d41586-02842-3" link do tekstu data-track-category " Trudno jednak ocenić, czy te narzędzia AI mogą wygenerować nowe podejścia badawcze na podobnym poziomie jak ludzie. Wynika to z faktu, że ocena pomysłów jest bardzo fragmentyficzny i wymaga specjalistów. są w stanie je dokładnie ocenić, mówi Chenglei Si, współautor badania i informatyka na Uniwersytecie Stanforda w Kalifornii. „Najlepszym sposobem na kontekstualizację takich umiejętności jest bezpośrednie porównanie” - mówi SI.

Projekt roczny jest jednym z największych projektów do oceny, czy duże modele językowe-technologia za narzędziami, takimi jak Chatgpt -Podejścia badawcze, Tom Hope, informatyk we wszystkich instytutach sztucznej inteligencji w Jerozolimie. „Musi być więcej pracy” - mówi.

Zespół zrekrutował ponad 100 badaczy w dziedzinie przetwarzania języka naturalnego, podsekwatu informatyki, który zajmuje się komunikacją między AI a ludźmi. Dziewięciu uczestników zostało zleconych na opracowanie pomysłów i sformułowanie w ciągu dziesięciu dni w oparciu o jeden z siedmiu tematów. Jako zachęta naukowcy otrzymali 300 USD za każdy pomysł, z premią 1000 USD za pięć najlepszych pomysłów.

Jednocześnie naukowcy opracowali generator pomysłów z Claude 3.5, LLM opracowanym przez Anthropic w San Francisco w Kalifornii. Naukowcy poprosili swoje narzędzie AI o znalezienie odpowiednich artykułów na siedem tematów badawczych za pośrednictwem Semantic Scholar, wyszukiwarki literatury opartej na AI. Na podstawie tych artykułów naukowcy poprosili swoich agentów AI o wygenerowanie 4000 pomysłów na każdy temat badań i oceny najbardziej oryginalnych.

Human Expert

Następnie naukowcy losowo przydzielili ludzkiego i AI, generowali pomysły 79 ekspertów, którzy ocenili każdy pomysł w odniesieniu do nowości, napięcia, wykonalności i oczekiwanej skuteczności. Aby zapewnić, że twórcy pomysłów pozostali nieznani ekspertom, naukowcy używali kolejnego LLM do edytowania obu rodzajów tekstu, aby styl pisania i dźwięk były znormalizowane bez zmiany pomysłów.

Eksperci ocenili pomysły generowane przez AI jako bardziej oryginalne i bardziej ekscytujące niż pomysły ludzkie. Patrząc na 4000 pomysłów wyprodukowanych przez LLM, naukowcy znaleźli tylko około 200, które były naprawdę wyjątkowe, co wskazuje, że sztuczna inteligencja stała się mniej oryginalna, tym więcej pomysłów.

Kiedy uczestnicy z udziałem, większość przyznała, że ​​ich przesłane pomysły były tylko średnie w porównaniu z pomysłami wyprodukowanymi w przeszłości.

Wyniki wskazują, że LLM mogą łatwo generować pomysły niż istniejąca literatura, mówi Cong Lu, badacz uczenia maszynowego na University of British Columbia w Vancouver w Kanadzie. Jednak to, czy możesz przewyższyć najbardziej przełomowe pomysły ludzkie, pozostaje otwartym pytaniem.

Kolejnym ograniczeniem badania polega na tym, że porównane pomysły pisemne zostały przetworzone przez LLM, które zmieniło język i długość zgłoszeń, mówi Jevin West, informatyk nauk społecznych na University of Washington w Seattle. Dodaje, że takie zmiany mogły być subtelne, jak eksperci zauważyli nowość. West dodaje, że może nie być całkowicie uczciwe porównanie, aby naukowcy konkurują z LLM, który może wygenerować tysiące pomysłów w ciągu kilku godzin. „Musisz porównywać jabłka z jabłkami” - mówi.

Si i jego koledzy planują porównać pomysły generowane przez AI z wiodącym wkładem konferencyjnym, aby lepiej zrozumieć, jak LLMS w porównaniu z ludzką kreatywnością. „Staramy się stymulować społeczność, aby zastanowić się więcej o tym, jak powinna wyglądać przyszłość, jeśli AI może przyjąć bardziej aktywną rolę w procesie badawczym” - mówi.

1. si, C., Yang, D. & Hashimoto, T. Preprint w arxiv https://doi.org/10.48550/arxiv.24109 (2024).