AI će uskoro preuzeti projekte koji uzimaju ljude tjednima

AI će uskoro preuzeti projekte koji uzimaju ljude tjednima

Današnji sustavi umjetne inteligencije (AI) ne mogu nadmašiti ljude na dugim zadacima, ali oni se razvijaju brzo Nadalje i mogao bi zatvoriti jaz brže nego što se mnogi očekivali, prema analizi vodećih modela 1.

Neprofitni met sa sjedištem u Berkeleyu, u Kaliforniji, razvio je gotovo 170 zadataka u stvarnom svijetu u programiranju, cyber-sigurnosti, općem rasuđivanju i strojnom učenju, a zatim je uspostavio "ljudsku osnovu" mjerenjem vremena koje je trebalo stručnjacima da ispune te zadatke.

Tim je tada razvio metriku za procjenu napretka AI modeli, koji se naziva "horizont vremena dovršetka zadatka." Ovo je vrijeme koje je obično potrebno da programeri ispune zadatke koje AI modeli mogu ispuniti s određenom stopom uspjeha.

U pretintu objavljenom ovog tjedna na ARXIV-u, Metr izvještava da je GPT-2, rani model velikog jezika (LLM) koji je OpenAi objavio 2019. godine, u svim zadacima koji su uzeli ljudske stručnjake više od minute. Claude 3.7 sonet, koji je u veljači objavio u veljači američki startup antrop, dovršio je 50% zadataka koji bi ljudi oduzeli 59 minuta.

Sveukupno, vremenski horizont 13 vodećih AI modela udvostručio se otprilike svakih sedam mjeseci od 2019. godine, navodi se u studiji. Eksponencijalni rast vremenskih horizonata AI ubrzao se 2024. godine, a najnoviji modeli udvostručuju svoj horizont otprilike svaka tri mjeseca. Rad još nije formalno pregledano.

Krećući se naprijed od 2019. do 2024., Metr sugerira da će AI modeli moći dovršiti zadatke koji ljudi uzimaju oko mjesec dana s 50% pouzdanosti do 2029. godine, možda čak i prije.

Jedan mjesec predane ljudske stručnosti, sugerira rad, može biti dovoljan da pokrene novu tvrtku ili napravi znanstvena otkrića.

Međutim, Joshua Gans, profesor menadžmenta na Sveučilištu u Torontu u Kanadi, koji je pisao o ekonomiji AI, objašnjava da takva predviđanja nisu osobito korisna. "Ekstrapolacije su primamljive, ali još uvijek postoji toliko toga što ne znamo o tome kako će se AI zapravo koristiti za ta predviđanja kako bi imalo smisla", kaže on.

Sudeći ljudi nasuprot AI

Tim je odabrao stopu uspjeha od 50%, jer je bio najjači na male promjene u raspodjeli podataka. "Ako odaberete vrlo niske ili vrlo visoke pragove, dodavanje ili uklanjanje jedinstvenog uspješnog ili neuspjelog zadatka u skladu s tim uvelike promijeni procjenu", objašnjava koautor Lawrence Chan.

Povećavanje pouzdanosti s 50% na 80% smanjilo je prosječni vremenski horizont za faktor pet - iako su ukupno vrijeme udvostručenja i linija trenda bili slični.

Tijekom posljednjih pet godina poboljšana su poboljšanja Opće vještine LLMS -a Pokreće se prvenstveno povećanjem razmjera - količinom podataka o treningu, vremenu treninga i broju parametara modela. Rad pripisuje napredak u metrini vremenskog horizonta prvenstveno poboljšanjima logičkog rasuđivanja, uporabe alata, korekcije pogrešaka i pouzdanja zadatka.

METR-ov pristup procjeni vremenskih horizonta bavi se nekim ograničenjima postojećih AI referentnih vrijednosti, koja samo lagano odgovaraju u stvarnom radu i brzo postaju "zasićeni" kako se modeli poboljšavaju. Omogućuje kontinuiranu, intuitivnu mjeru koja bolje bilježi značajan napredak s vremenom, kaže koautor Ben West.

Vodeći AI modeli postižu nadljudske performanse u mnogim Benchmark testiranje, ali do sada su imali relativno mali ekonomski utjecaj, objašnjava zapad. Najnovije istraživanje Metroa nudi djelomični odgovor na ovu zagonetku: najbolji modeli pokazuju vremenski okvir od oko 40 minuta, a ne postoji mnogo ekonomski vrijedan posao koji osoba može obaviti u to vrijeme, rekao je West.

Međutim, Anton Troynikov, istraživač AI i poduzetnik iz San Francisca u Kaliforniji, objašnjava da bi AI imao veći ekonomski utjecaj ako bi organizacije bile spremnije eksperimentirati i ulagati u učinkovito korištenje modela.

1. KWA, T. i sur. Pretisak na ARXIV https://doi.org/10.48550/arxiv.2503.14499 (2025).

Preuzmite reference