AI drīz pārņems projektus, kas pārņem cilvēku nedēļas

AI drīz pārņems projektus, kas pārņem cilvēku nedēļas

Mūsdienu mākslīgā intelekta (AI) sistēmas nevar pārspēt cilvēkus ilgos uzdevumos, bet tās attīstās ātri tālāk un varētu novērst plaisu ātrāk, nekā daudzi gaidīja, saskaņā ar vadošo modeļu analīzi Viens Apvidū

Berkeley, Kalifornijā bāzētais bezpeļņas metr, izstrādāja gandrīz 170 reālās pasaules uzdevumus programmēšanā, kiberdrošībā, vispārējā argumentācijā un mašīnmācībā, pēc tam izveidoja "cilvēku bāzes līniju", izmērot laiku, kas ekspertiem vajadzēja šo uzdevumu izpildi.

Pēc tam komanda izstrādāja metriku, lai novērtētu progresu AI modeļi, ko sauc par “uzdevuma pabeigšanas laika horizontu”. Šis ir laiks, kas parasti prasa programmētājiem, lai pabeigtu uzdevumus, kurus AI modeļi var pabeigt ar noteiktu panākumu līmeni.

Pirmizrādījumā, kas šonedēļ tika publicēts vietnē ArXIV, METR ziņo, ka GPT-2, agrīnajam lielās valodas modelim (LLM), kuru 2019. gadā izlaida Openai, neizdevās visos uzdevumos, kas cilvēku ekspertus aizņēma vairāk nekā minūti. Claude 3.7 Sonnet, ko februārī atbrīvoja ASV Startup Anthropic, izpildīja 50% no uzdevumiem, kas cilvēkiem prasīs 59 minūtes.

Kopumā 13 vadošo AI modeļu laika horizonts kopš 2019. gada ir dubultojies aptuveni reizi septiņos mēnešos, liecina pētījums. AI laika horizontu eksponenciālais pieaugums paātrinājās 2024. gadā, jaunākajiem modeļiem divkāršojot savu horizontu aptuveni ik pēc trim mēnešiem. Darbs vēl nav oficiāli pārskatīts.

Virzoties uz priekšu no 2019. līdz 2024. gadam, Metr norāda, ka AI modeļi spēs pabeigt uzdevumus, kas cilvēkiem uzņemas apmēram mēnesi ar 50% uzticamību līdz 2029. gadam, iespējams, pat ātrāk.

Darba liecina, ka viens mēnesis, kas paredzēts speciālai cilvēku kompetencei, var būt pietiekams, lai dibinātu jaunu uzņēmumu vai veiktu zinātniskus atklājumus.

Tomēr Joshua Gans, Toronto universitātes vadības profesors Kanādā, kurš ir rakstījis par AI ekonomiku, skaidro, ka šādas prognozes nav īpaši noderīgas. "Ekstrapolācija ir vilinoša, taču joprojām ir tik daudz, ka mēs nezinām par to, kā AI faktiski tiks izmantots, lai šīm prognozēm būtu jēga," viņš saka.

Cilvēku vērtēšana pret AI

Komanda izvēlējās 50% panākumu līmeni, jo tā bija visspēcīgākā pret nelielām izmaiņām datu sadalījumā. “Ja jūs izvēlaties ļoti zemu vai ļoti augstu slieksni, pievienojot vai noņemot vienu veiksmīgu vai neveiksmīgu uzdevumu, attiecīgi mainiet aprēķinu,” skaidro līdzautors Lawrence Chan.

Palielināta ticamība no 50% līdz 80% samazināja vidējo laika horizontu par koeficientu pieciem - kaut arī kopējais dubultošanās laiks un tendenču līnija bija līdzīgi.

Pēdējo piecu gadu laikā ir veikti uzlabojumi LLM vispārējās prasmes galvenokārt virzīts, palielinoties mērogam - apmācības datu apjomam, apmācības laikam un modeļa parametru skaitam. Papīrs attiecina uz laiku horizonta metrikā galvenokārt uz loģiskās spriešanas, instrumentu izmantošanas, kļūdu korekcijas un uzdevuma uzticības uzlabojumiem.

Metr pieeja laika horizontu novērtēšanai pievēršas dažiem esošo AI etalonu ierobežojumiem, kas tikai brīvi atbilst reālās pasaules darbam un ātri kļūst "piesātināti", uzlabojoties modeļiem. Tas nodrošina nepārtrauktu, intuitīvu pasākumu, kas laika gaitā labāk atspoguļo ievērojamu progresu, saka līdzautors Bens Vests.

Vadošie AI modeļi daudzos sasniedz pārcilvēcisku sniegumu Etalona pārbaude, bet līdz šim ir bijusi salīdzinoši maza ekonomiskā ietekme, skaidro Rietumi. Metr jaunākais pētījums piedāvā daļēju atbildi uz šo mīklu: labākie modeļi parāda apmēram 40 minūtes laika grafiku, un tajā laikā cilvēks tajā laikā var paveikt daudz ekonomiski vērtīgu darbu, sacīja Rietumi.

Tomēr Antons Troynikov, AI pētnieks un uzņēmējs no Sanfrancisko, Kalifornijā, skaidro, ka AI būtu lielāka ekonomiskā ietekme, ja organizācijas labprātāk eksperimentētu un ieguldītu efektīvu modeļu izmantošanu.

1. Kwa, T. et al. Priekšraide arxiv https://doi.org/10.48550/arxiv.2503.14499 (2025).

Lejupielādēt atsauces