En forskare fotograferad bakifrån arbetar vid datorn med AI-utveckling på ett svenskt teknikföretag. Ljust kontor med stora fönster och flera skärmar som visar kod och datavisualiseringar.
AI-Foto: Pia Luuka Bilden är skapad med AI och föreställer inte personen i artikeln.

Google visar vägen: Mindre AI-modeller presterar lika bra som större system

Googles mini-AI presterar lika bra som jättesystem med 200 miljoner parametrar.

Isa Stenstedt
Isa Stenstedt AI-Journalist
Redigerad av Marguerite Leblanc AI-Foto: Pia Luuka 4 min läsning 28/01 2024

AI-utvecklingen blir allt mer specialiserad

När vi pratar om AI idag dominerar ofta de stora språkmodellerna diskussionen. Men en titt på Googles senaste forskningsinsatser avslöjar något intressant: framtidens AI handlar inte bara om att bygga större och mer generella modeller. Istället ser vi en tydlig rörelse mot specialiserade AI-system som är skräddarsydda för specifika problem.

Två färska publikationer från Google Research illustrerar denna trend perfekt. Den ena presenterar TimesFM – en AI-modell som revolutionerar tidsserieprognos genom att leverera exakta förutsägelser direkt ur lådan. Den andra tacklar en av AI-utvecklingens mest kritiska utmaningar: hur vi kan minska inbyggda fördomar i våra modeller.

När mindre blir mer

TimesFM är fascinerande ur ett tekniskt perspektiv. Trots att modellen bara har 200 miljoner parametrar – pytteliten jämfört med dagens språkjättar – presterar den nästan lika bra som specialiserade system som tränats specifikt för enskilda dataset. Hemligheten ligger i träningsdatan: 100 miljarder verkliga tidspunkter från olika domäner har gett modellen en bred förståelse för tidsmönster.

Vad som verkligen imponerar på mig som utvecklare är "zero-shot"-förmågan. Traditionella prognosmodeller kräver långa tränings- och valideringscykler innan de kan användas på ny data. TimesFM eliminerar denna flaskhals helt. Du kan mata in din tidsseriedata och få användbara prognoser direkt – något som kan vara en game-changer för företag inom detaljhandel, finans och logistik.

Enligt Google Research kan förbättrade efterfrågeprognoser inom detaljhandeln ha betydande ekonomisk impact genom minskade lagerkostnader och ökade intäkter. Det är inte svårt att föreställa sig hur detta skulle kunna transformera hela branscher.

Att bygga rättvisare AI

Men specialisering handlar inte bara om prestanda – det handlar också om ansvar. Googles parallella forskning kring fördomsreduktion i neurala nätverk visar på en viktig insikt: när AI-system blir mer specialiserade måste vi också bli bättre på att hantera deras inneboende begränsningar.

Problemet de tacklar är verkligt och påtagligt. Ta CELEBA-datasetet med kändisbilder som exempel – eftersom en oproportionerligt stor andel kvinnliga kändisar har blont hår, lär sig klassificerare felaktigt att förutsäga "blond" som hårfärg för de flesta kvinnliga ansikten. Kön blir en vilseledande faktor, och modellen förstärker statistiska fördomar istället för att identifiera relevanta mönster.

Googles lösning bygger på "early readouts" och "feature forgetting" – tekniker som hjälper modeller att identifiera och korrigera problematiska mönster tidigt i träningsprocessen. Det är elegant ingenjörsarbete som adresserar vad forskarna kallar "simplicity bias" – neurala nätverks tendens att fastna vid enkla men missvisande samband.

Mognad genom specialisering

De här två projekten representerar något större än bara tekniska genombrott. De signalerar en mognad inom AI-utvecklingen där vi går från "one-size-fits-all" till skräddarsydda lösningar för specifika utmaningar. TimesFM visar att vi kan bygga kraftfulla, specialiserade modeller utan att behöva de enorma resurserna som krävs för generella språkmodeller. Samtidigt visar fördomsforskningen att vi tar eget ansvar för de etiska implikationerna av vår teknik.

Som systemutvecklare ser jag detta som en naturlig evolution. Vi har lärt oss att bygga AI-system som kan göra nästan allt – nu lär vi oss att bygga system som gör specifika saker riktigt bra, på ett ansvarsfullt sätt.

Vår analys

Vår analys

Dessa utvecklingar pekar på en fundamental förskjutning inom AI-utvecklingen. Istället för att enbart fokusera på att skala upp generella modeller, ser vi nu en medveten rörelse mot specialisering och ansvarsfullhet.

Framtidens AI-landskap kommer sannolikt präglas av ekosystem av specialiserade modeller – där varje komponent är optimerad för sitt specifika användningsområde. Detta öppnar dörrar för mindre aktörer som kan konkurrera genom djup expertis inom nischområden, snarare än genom rå beräkningskraft.

Samtidigt blir etiska överväganden en konkurrensfördel. Företag som kan visa att deras AI-system är både kraftfulla och rättvisa kommer att ha ett försprång på marknaden, särskilt inom reglerade industrier som sjukvård och finans. Googles forskning kring fördomsreduktion kan bli en mall för branschstandarder.

Den verkliga potentialen ligger i synergier mellan specialiserade system – där tidsseriemodeller som TimesFM kan kombineras med fördomsmedvetna klassificerare för att skapa AI-lösningar som är både kraftfulla och etiskt hållbara.

Källhänvisningar