AI kommer snart att ta över projekt som tar människor veckor

AI kommer snart att ta över projekt som tar människor veckor

Dagens system för konstgjord intelligens (AI) kan inte överträffa människor på långa uppgifter, men de utvecklas snabbt vidare och kunde stänga gapet snabbare än många förväntade, enligt en analys av ledande modeller 1.

Berkeley, Kalifornien-baserade ideella MetR utvecklade nästan 170 verkliga uppgifter inom programmering, cybersäkerhet, allmän resonemang och maskininlärning och etablerade sedan en "mänsklig baslinje" genom att mäta den tid det tog experter att slutföra dessa uppgifter.

Teamet utvecklade sedan en metrisk för att bedöma framstegen i AI -modeller, som kallas "Uppgiftens slutförande tidshorisont." Detta är den tid det vanligtvis tar för programmerare att slutföra de uppgifter som AI -modeller kan slutföra med en viss framgångsgrad.

I ett förtryck som publicerades denna vecka om Arxiv rapporterar MetR att GPT-2, en tidig stor språkmodell (LLM) som släpptes av OpenAI 2019, misslyckades vid alla uppgifter som tog mänskliga experter mer än en minut. Claude 3.7 Sonnet, släppt i februari av US Startup Anthropic, slutförde 50% av uppgifterna som skulle ta människor 59 minuter.

Sammantaget har tidshorisonten för de 13 ledande AI -modellerna fördubblats ungefär var sju månad sedan 2019, enligt studien. Den exponentiella tillväxten av AI -tidshorisonter accelererade 2024, med de senaste modellerna som fördubblade sin horisont ungefär var tredje månad. Arbetet har ännu inte formellt granskats.

Genom att gå vidare från 2019 till 2024 föreslår MetR att AI -modeller kommer att kunna utföra uppgifter som tar människor ungefär en månad med 50% tillförlitlighet fram till 2029, kanske till och med förr.

En månad med dedikerad mänsklig expertis, föreslår papperet, kan räcka för att starta ett nytt företag eller göra vetenskapliga upptäckter.

Men Joshua Gans, professor i ledning vid University of Toronto i Kanada som har skrivit om AI: s ekonomi, förklarar att sådana förutsägelser inte är särskilt användbara. "Extrapolationer är frestande, men det finns fortfarande så mycket att vi inte vet om hur AI faktiskt kommer att användas för att dessa förutsägelser är vettiga," säger han.

Bedöma människor kontra AI

Teamet valde 50% framgångsgrad eftersom det var mest robust för små förändringar i datadistributionen. "Om du väljer mycket låga eller mycket höga trösklar, lägger du till eller tar bort en enda framgångsrik eller misslyckad uppgift följaktligen uppskattningen kraftigt," förklarar medförfattare Lawrence Chan.

Ökande tillförlitlighet från 50% till 80% minskade den genomsnittliga tidshorisonten med en faktor fem - även om den totala fördubblingstiden och trendlinjen var liknande.

Under de senaste fem åren har förbättringar gjorts till allmänna färdigheter för LLMS drivs främst av ökningar i skala - mängden träningsdata, träningstid och antal modellparametrar. Uppsatsen tillskriver framsteg under tidshorisontmetriken främst till förbättringar av logisk resonemang, verktygsanvändning, felkorrigering och uppgiftsförtroende.

MetR: s strategi för att bedöma tidshorisonter behandlar några av begränsningarna för befintliga AI-riktmärken, som bara löst matchar verkliga arbeten och snabbt blir "mättade" när modellerna förbättras. Det ger en kontinuerlig, intuitiv åtgärd som bättre fångar betydande framsteg över tid, säger medförfattare Ben West.

Ledande AI -modeller uppnår övermänsklig prestanda i många Riktmärke, men hittills har haft relativt liten ekonomisk inverkan, förklarar West. Metrs senaste forskning erbjuder ett partiellt svar på detta pussel: de bästa modellerna visar en tidsram på cirka 40 minuter, och det finns inte mycket ekonomiskt värdefullt arbete som en person kan göra under den tiden, sa West.

Anton Troynikov, en AI -forskare och entreprenör från San Francisco, Kalifornien, förklarar emellertid att AI skulle ha en större ekonomisk inverkan om organisationer var mer villiga att experimentera och investera i att använda modellerna effektivt.

1. Kwa, T. et al. Förtryck på Arxiv https://doi.org/10.48550/arxiv.2503.14499 (2025).

Ladda ner referenser