AI netrukus perims projektus, kuriems truks žmones savaites

AI netrukus perims projektus, kuriems truks žmones savaites

Šiandienos dirbtinio intelekto (AI) sistemos negali pralenkti žmonių dėl ilgų užduočių, tačiau jos vystosi greitai Remiantis pirmaujančių modelių analize 1.

Berkeley, Kalifornijoje įsikūrusi ne pelno siekianti METR sukūrė beveik 170 realaus pasaulio užduočių programavimo, kibernetinio saugumo, bendrojo samprotavimo ir mašinų mokymosi užduočių, tada nustatė „žmogaus bazinę liniją“, matuojant laiką, kurio ekspertai prireikė atlikti šias užduotis.

Tada komanda sukūrė metriką, skirtą įvertinti pažangą AI modeliai, kuris vadinamas „Užduočių atlikimo laiko horizonte“. Paprastai programuotojams paprastai reikia atlikti užduotis, kurias AI modeliai gali atlikti su tam tikra sėkmės procentu.

Šią savaitę „Arxiv“ paskelbtame atspaude „MetR“ praneša, kad 2019 m. „Openai“ išleistas ankstyvasis didelės kalbos modelis GPT-2 nepavyko atlikti visų užduočių, kurios priėmė žmonių ekspertus daugiau nei minutę. „Claude 3.7 Sonnet“, kurį vasario mėn. Išleido JAV startuolio „Anthropic“, atliko 50% užduočių, kurios užtruks 59 minutes.

Apskritai, „13 pirmaujančių AI modelių“ laiko horizontas padidėjo maždaug kas septynis mėnesius nuo 2019 m., Remiantis tyrimu. Eksponentinis AI laiko horizonto augimas pagreitėjo 2024 m., O naujausi modeliai padidėjo jų horizonte maždaug kas tris mėnesius. Darbas dar nebuvo oficialiai peržiūrėtas.

Žengdamas į priekį nuo 2019 iki 2024 m., METR siūlo, kad AI modeliai galės atlikti užduotis, kuriose žmonės truks maždaug mėnesį ir iki 2029 m. Patikimumas 50%, galbūt net greičiau.

Straipsnio siūloma vienos mėnesio specialios žinios apie žmonių kompetenciją gali pakakti įkurti naują įmonę ar padaryti mokslinius atradimus.

Tačiau Joshua Gans, Kanados Toronto universiteto vadybos profesorius, parašęs apie AI ekonomiką, paaiškina, kad tokios prognozės nėra ypač naudingos. „Ekstrapoliacijos vilioja, tačiau vis dar yra tiek daug, kad nežinome, kaip AI iš tikrųjų bus naudojama šioms prognozėms, kad būtų prasminga“, - sako jis.

Vertinant žmones prieš AI

Komanda pasirinko 50% sėkmės procentą, nes ji buvo patikimiausiems mažiems duomenų paskirstymo pokyčiams. „Jei pasirinksite labai žemas ar labai aukštas slenksčius, pridedant ar pašalindami vieną sėkmingą ar nesėkmingą užduotį, atitinkamai labai pakeis sąmatą“,-aiškina bendraautorius Lawrence'as Chanas.

Padidėjęs patikimumas nuo 50% iki 80% sumažino vidutinį laiko horizontą - penkis - nors bendras dvigubinimo laikas ir tendencijų linija buvo panašūs.

Per pastaruosius penkerius metus buvo patobulinti Bendrieji LLM įgūdžiai Svarbus masto padidėjimas - mokymo duomenų kiekis, mokymo laikas ir modelio parametrų skaičius. Straipsnyje priskiriama pažanga „Time Horizon Metric“ pirmiausia loginių samprotavimų, įrankių naudojimo, klaidų taisymo ir užduoties pasitikėjimo gerinimu.

METR požiūris į laiko horizonto vertinimą apima kai kuriuos esamų AI etalonų apribojimus, kurie tik laisvai atitinka realaus pasaulio darbus ir greitai tampa „prisotintais“, tobulėjant modeliams. Tai suteikia nuolatinę, intuityvią priemonę, kuri geriau užfiksuoja didelę pažangą bėgant laikui, sako bendraautorius Benas Westas.

Pagrindiniai AI modeliai pasiekia superžmogišką našumą daugeliui Etaloninis bandymas, tačiau iki šiol turėjo palyginti mažai ekonominio poveikio, aiškina Westas. Naujausi „MetR“ tyrimai siūlo dalinį atsakymą į šį galvosūkį: Geriausi modeliai rodo maždaug 40 minučių laiko tarpą, ir nėra daug ekonomiškai vertingo darbo, kurį žmogus gali padaryti tuo metu, sakė West.

Tačiau AI tyrėjas ir verslininkas Anton Troynikov iš San Francisko, Kalifornijoje, paaiškina, kad AI turės didesnį ekonominį poveikį, jei organizacijos labiau norėtų eksperimentuoti ir investuoti į modelius efektyviai.

1. Kwa, T. et al. Išankstinis spausdinimas „Arxiv“ https://doi.org/10.48550/arxiv.2503.14499 (2025).

Atsisiųskite nuorodas