AI-jättar misslyckades med fotbollsspel – små specialmodeller visar styrka inom specifika områden

Verkligheten biter hårt för AI-jättarna

I takt med att AI-modellerna blir allt större och mer avancerade, växer även förväntningarna på vad de kan åstadkomma. Men två nya studier kastar kall vatten över föreställningen att storlek alltid betyder bättre prestanda – särskilt när det kommer till verkliga, praktiska uppgifter.

Ett team från AI-företaget General Reasoning testade åtta ledande AI-system från Google, OpenAI och Anthropic genom att låta dem satsa på Premier League-matcher under säsongen 2023-24. Resultaten var nedslående: alla system förlorade pengar, och många upplevde total ekonomisk ruin.

Anthropics Claude Opus presterade bäst med en genomsnittlig förlust på 11 procent, medan xAI:s Grok gick i konkurs en gång och misslyckades med att slutföra de andra två försöken. Googles Gemini visade volatilitet genom att göra 34 procent vinst vid ett tillfälle men sedan också gå i konkurs vid ett annat.

"Alla toppmodeller vi utvärderade förlorade pengar under säsongen och många upplevde total ruin", konstaterade forskarna enligt Ars Technica. Särskilt anmärkningsvärt är att AI-systemen presterade "systematiskt sämre än människor" trots tillgång till omfattande historisk data och statistik.

Små modeller, stora prestationer

Samtidigt visar forskning från tyska universitet att mindre verkligen kan vara mer inom AI-utvecklingen. Forskarna utvecklade SauerkrautLM-Doom-MultiVec, en kompakt AI-modell med endast 1,3 miljoner parametrer – det är 92 000 gånger färre än Nemotron-120B.

Trots sin blygsamma storlek överträffade den lilla modellen jättemodeller som GPT-4o-mini i det klassiska skjutspelet DOOM. Den dödade 178 fiender på tio spelomgångar, medan de stora språkmodellerna tillsammans endast lyckades med 13 dödade fiender totalt.

Modellen använder en ModernBERT-kodare med hashade inbäddningar och kan fatta beslut på 31 millisekunder från ASCII-bildrutor. Ännu mer imponerande är att den endast tränades på 31 000 demonstrationer av mänskligt spelande men kan köras på vanlig konsumenthårdvara.

Specialisering över generalisering

Dessa resultat pekar på en viktig sanning om AI-utvecklingens riktning: uppgiftsspecifika modeller kan överträffa generella språkmodeller avsevärt inom sina respektive domäner. Medan vi har fascinerats av allt större och mer generella modeller, visar verkligheten att det ofta är de mindre, fokuserade lösningarna som levererar verklig prestanda.

Ross Taylor från General Reasoning sammanfattar utmaningen väl: "Det finns så mycket hype kring AI-automatisering, men det finns inte mycket mätning av att sätta AI i långsiktiga" verkliga scenarion. Fotbollsbettingen och spelresultaten visar att komplexa verkliga uppgifter fortfarande utgör enorma utmaningar för även de mest avancerade systemen.

För företagsledare betyder detta att vi behöver vara mer strategiska i våra AI-investeringar. Istället för att automatiskt välja de största och mest omtalade modellerna, bör vi fokusera på rätt verktyg för rätt uppgift.

Vår analys

Dessa studier illustrerar en avgörande fas i AI-utvecklingen där vi börjar förstå gränserna för dagens teknik. Resultaten är inte en dödsdom över AI:s potential, utan snarare en nödvändig korrektion av överdrivna förväntningar.

För företag innebär detta både utmaningar och möjligheter. Utmaningen ligger i att navigera mellan hype och verklighet när man fattar AI-investeringsbeslut. Möjligheten ligger i att små, specialiserade AI-lösningar kan vara mer kostnadseffektiva och praktiska än vi tidigare trott.

Framtiden pekar mot en hybridmodell där stora generella modeller kompletteras av mindre, uppgiftsspecifika system. Detta öppnar dörren för fler aktörer att konkurrera och innovera, snarare än att marknaden domineras helt av de största teknikjättarna. Specialisering blir den nya superkraften inom AI.