AI čoskoro prevezme projekty, ktoré budú stáť ľudí týždne

AI čoskoro prevezme projekty, ktoré budú stáť ľudí týždne

Súčasné systémy umelej inteligencie (AI) nemôžu presiahnuť ľudí na dlhých úlohách, Rýchle A mohol mať medzeru rýchlejšie, ako mnohí očakávali, podľa analýzy vedúcich modelov 1 .

Nezisková organizácia Metreley v Kalifornii vyvinula takmer 170 skutočných úloh v oblastiach programovania, kybernetickej bezpečnosti, všeobecného myslenia a mechanického učenia a potom určila „ľudskú základnú líniu“ tým, že si vyžaduje čas, ktorý potreboval expertov na dokončenie týchto úloh.

Tím potom vyvinul kľúčovú hodnotu na vyhodnotenie pokroku AI modely , ktoré sa nazýva„ úlohy času, časový horizont “. Toto je čas, ktorý programátori zvyčajne potrebujú na dokončenie úloh, môžu vykonávať modely AI s určitou mierou úspešnosti.

V predprinte uverejnenej tento týždeň v Arxiv uvádza, že GPT-2, skorý veľký hlasový model (LLM), ktorý vydal OpenAI v roku 2019, zlyhal vo všetkých úlohách, ktoré ľudskí odborníci stáli viac ako minútu. Claude 3.7 Sonnet, ktorý vydal americká začínajúca antropia vo februári, dokončila 50 % úloh, ktoré ľudia trvajú 59 minút.

Celkovo sa podľa štúdie časový horizont 13 popredných modelov AI zdvojnásobil každých sedem mesiacov od roku 2019. Exponenciálny rast časových horizontov AI sa zrýchlil v roku 2024, pričom najnovšie modely zdvojnásobili svoje obzory okolo každé tri mesiace. Práca ešte nebola formálne vyšetrená.

V pokroku od roku 2019 do roku 2024 METR naznačuje, že modely AI môžu do roku 2029 riadiť úlohy, ktoré ľudia potrebujú asi mesiac, so spoľahlivosťou 50 %, pravdepodobne ešte skôr.

Mesiac odhodlaných ľudských odborných znalostí podľa príspevku môže stačiť na založenie novej spoločnosti alebo na vedecké objavy.

Joshua Gans, profesor manažmentu na University of Toronto v Kanade, ktorý písal o ekonomike AI, vysvetľuje, že takéto predpovede nie sú zvlášť užitočné. „Extrapolácie sú lákavé, ale stále je toľko, že nevieme, ako sa AI skutočne používa, takže tieto predpovede majú zmysel,“ hovorí.

Hodnotenie ľudských verzus ki

Tím si vybral mieru úspešnosti 50 %, pretože bol naj robustnejší v porovnaní s malými zmenami v distribúcii údajov. „Ak si vyberiete veľmi nízke alebo veľmi vysoké prahové hodnoty, pridanie alebo odstránenie jedinej úspešnej alebo neúspešnej úlohy zmeníte odhad podľa toho,“ vysvetľuje Co -Auttor Lawrence Chan.

Zvýšenie spoľahlivosti z 50 % na 80 % znížilo priemerný časový horizont o päť - hoci všeobecný čas zdvojnásobenia a trendová čiara boli podobné.

V posledných piatich rokoch vylepšenia Hlavne poháňané mierkou Zvyšuje množstvo údajov o školení, čas tréningu a počet parametrov modelu. Príspevok vedie pokrok v kľúčovom čísle časového horizontu hlavne k zlepšeniu logického argumentu, použitiu nástrojov, korekcie chýb a sebavedomia pri plnení úloh.

Vedúce modely AI dosahujú nadľudský výkon na mnohých Anton Troynikov, výskumný pracovník a podnikateľ AI zo San Francisca v Kalifornii, vysvetľuje, že AI by mala väčší ekonomický vplyv, ak by organizácie boli lepšie ochotné experimentovať a investovať do efektívneho používania modelov.

1. kwa, T. et al. Predtlač v Arxiv Stiahnite si referencie