AI võtab peagi üle projektid, mis võtavad inimesi nädalaid

AI võtab peagi üle projektid, mis võtavad inimesi nädalaid

Tänapäeva tehisintellekti (AI) süsteemid ei saa pikkade ülesannete korral inimesi edestada, kuid need arenevad kiiresti kaugemal ja suudab lünka kiiremini, kui paljud arvasid, vastavalt juhtivate mudelite analüüsile 1.

Californias asuv Berkeley mittetulundusühing METR töötas välja ligi 170 reaalmaailma ülesannet programmeerimise, küberturvalisuse, üldise mõttekäigu ja masinõppe alal, seejärel kehtestas "inimliku lähtejoone", mõõtes nende ülesannete täitmiseks eksperte.

Seejärel töötas meeskond välja mõõdiku, et hinnata edusamme AI mudelid, mida nimetatakse ülesande täitmise ajahorisondiks. See on aeg, mis tavaliselt kulub programmeerijatelt ülesannete täitmiseks, mida AI -mudelid saavad teatud edukuse määraga täita.

Sellel nädalal ARXIV-is avaldatud eeltrükis teatas METR, et 2019. aastal OpenAi poolt välja antud varajane suur keelemudel (LLM) GPT-2 ebaõnnestus kõigil ülesannetel, mis viisid inimeksperte rohkem kui minut. Claude 3.7 Sonnet, mille veebruaris välja andis USA startup Anthropic, täitis 50% ülesannetest, mis võtaksid inimesi 59 minutit.

Üldiselt on uuringu kohaselt 13 juhtiva AI mudeli ajahorisont kahekordistunud umbes iga seitsme kuu tagant. AI ajahorisondi eksponentsiaalne kasv kiirenes 2024. aastal, viimased mudelid kahekordistusid nende silmapiiril umbes iga kolme kuu tagant. Teos pole veel ametlikult üle vaadatud.

Ajavahemikul 2019 kuni 2024 edasi liikudes soovitab METR, et AI mudelid saavad täita ülesandeid, mis võtavad inimesi umbes kuu aega 50% töökindlusega 2029. aastaks, võib -olla veelgi varem.

Üks kuu pühendunud inimteadmised, mida paberil soovitab, võib olla piisav uue ettevõtte asutamiseks või teaduslike avastuste tegemiseks.

Kanada Toronto ülikooli juhtimisprofessor Joshua Gans, kes on kirjutanud AI majandusest, selgitab, et sellised ennustused pole eriti kasulikud. "Ekstrapolatsioonid on ahvatlevad, kuid veel on nii palju, et me ei tea, kuidas AI -d nende ennustuste jaoks tegelikult mõistlikuks kasutamiseks kasutatakse," ütleb ta.

Inimeste versus AI üle otsustada

Meeskond valis 50% -lise edukuse, kuna see oli kõige tugevam andmete jaotuse väikestele muutustele. "Kui valite väga madalad või väga kõrged künnised, muudab ühe eduka või ebaõnnestunud ülesande lisamine või eemaldamine vastavalt hinnangule suuresti," selgitab kaasautor Lawrence Chan.

Usaldusväärsuse suurendamine 50% -lt 80% -ni vähendas keskmist ajahorisondi koefitsiendiga - ehkki üldine kahekordistumisaeg ja trendiliin olid sarnased.

Viimase viie aasta jooksul on tehtud parandusi LLM -ide üldoskused ajendatud peamiselt ulatuse suurenemise tõttu - koolitusandmete, treeninguaja ja mudeli parameetrite arv. Paberi atribuudid edenevad ajahorisondi mõõdiku osas peamiselt loogiliste mõttekäikude, tööriistade kasutamise, vigade korrigeerimise ja ülesannete usalduse paranemisele.

METRi lähenemisviis ajahorisondi hindamiseks käsitleb mõnda olemasolevate AI-võrdlusaluste piiranguid, mis vastavad ainult reaalmaailma tööle ja muutuvad kiiresti "küllastunud", kui mudelite paranemine paraneb. See pakub pidevat, intuitiivset meetme, mis aja jooksul paremini saavutab olulisi edusamme, ütles kaasautor Ben West.

AI -mudeli juhtimine saavutab paljudes üliinimliku jõudluse Võrdlusaluste testimine, kuid seni on olnud suhteliselt vähe majanduslikku mõju, selgitab West. METRi uusim uurimistöö pakub sellele mõistatusele osalist vastust: parimad mudelid näitavad umbes 40 -minutist ajaraamistikku ja seal pole palju majanduslikult väärtuslikku tööd, mida inimene sel ajal teha saab, ütles West.

Californias San Franciscost pärit AI -teadlane ja ettevõtja Anton Troynikov selgitab aga, et AI -l oleks suurem majanduslik mõju, kui organisatsioonid oleksid rohkem nõus katsetama ja investeerima mudeleid tõhusalt.

1. Kwa, T. jt. Eeltrükk Arxivis https://doi.org/10.48550/arxiv.2503.14499 (2025).

Laadige alla viited