AI-teknik med slumpmässiga värden ger nästan lika bra modeller – drastiskt lägre kostnad

Genvägar till AI-excellens som ingen såg komma

När forskare frös alla parametrar i neurala nätverk till slumpmässiga värden och endast tränade små adapter-moduler, förväntade de sig troligen inte resultaten som kom. Över nio olika benchmarks uppnådde metoden, kallad LottaLoRA, 96-100% av prestandan hos fullt tränade modeller enligt en ny studie på arXiv.

Det mest slående: endast 0,5-40% av parametrarna behövde tränas. Resten kunde förbli i sitt ursprungliga, slumpmässiga tillstånd utan att påverka slutresultatet.

"Detta påminner om reservoarberäkning", skriver forskarna, och öppnar för revolutionerande lagringsbesparingar. Modeller kan distribueras som små adaptrar plus ett slumpfrö, där fotavtrycket växer med uppgiftskomplexitet snarare än modellstorlek.

När färsk data inte är det viktigaste

Parallellt utmanas en annan grundpelare inom AI-träning. En separat studie visar att återanvändning av träningsdata kan vara mer effektivt än att ständigt mata modeller med ny information.

Tekniken, känd som "experience replay" inom förstärkningsinlärning, har förbisetts för språkmodeller där färsk data traditionellt ansetts nödvändig. Men forskarna demonstrerar att strikt användning av ny data faktiskt är suboptimal när datangenerering är kostsam.

Genom att balansera datamångfald och beräkningskostnader kan en väldesignad återanvändningsstrategi drastiskt minska behovet av beräkningskraft utan att försämra modellens slutliga prestanda.

Praktiska genombrott redan synliga

Att dessa tekniker fungerar i praktiken visar PRAGMA, en ny grundmodell för bankdata som tränas på komplexa finansiella händelseströmmar. Efter förträning kan modellen anpassas till många olika uppgifter - från kreditbedömning till bedrägeriupptäckt - genom att bara lägga till enkla linjära lager.

Detta exemplifierar den nya paradigmen: stark prestanda genom minimal anpassning snarare än omfattande omträning.

Vad gör dessa fynd så viktiga?

Först förändrar de ekonomin kring AI-utveckling fundamentalt. När NVIDIA:s H100-kort kostar hundratusentals kronor och träning av stora modeller kan uppgå till miljontals dollar, kan teknikerna som minskar beräkningsbehov med 90% eller mer demokratisera AI-utveckling.

Sedan utmanar upptäckterna våra antaganden om vad som verkligen krävs för intelligens. Att slumpmässiga parametrar kan bära så mycket av belastningen antyder att strukturen är viktigare än de specifika värdena. Det är som att upptäcka att hjärnans anatomi spelar större roll än de exakta synaptiska vikterna.

Slutrördens implikationer sträcker sig också till distribuerade system. Modeller som kan skickas som frön och små adaptrar öppnar för helt nya sätt att dela AI-kapacitet över nätverk med begränsad bandbredd.