AI imponerar på ytan – men grundläggande brister avslöjas under huven

Framstegen är verkliga – och de accelererar

Låt oss börja med det som faktiskt fungerar, för det är imponerande. Forskning publicerad på arXiv visar att när AI-modellen Gemini 3.0 Flash får tillgång till patienters personliga hälsojournaler levererar den statistiskt signifikant bättre svar – mer träffsäkra, mer relevanta och mer personanpassade. Över 2 200 testfrågor bekräftade mönstret. Det är inte en slump, det är en signal: kontextuellt anpassad AI inom vården är på väg att bli verklighet.

Samtidigt rapporterar forskare att ett nytt agentbaserat system kallat AgentNLQ nu omvandlar naturliga frågor till SQL-kod med 78,1 procents semantisk noggrannhet på det erkända riktmärket BIRD-SQL. Det låter kanske tekniskt, men konsekvensen är konkret: vem som helst ska kunna ställa frågor till en databas utan att kunna ett enda kodspråk. Gapet mot mänskliga databasexperter minskar.

På det arkitektoniska planet presenteras GRAM – ett ramverk som låter AI utforska flera tankespår parallellt istället för att låsa sig vid en enda lösningssekvens. Det liknar mer hur människor faktiskt resonerar när vi väger alternativ mot varandra. Och en ny modul kallad N-gram Memory visar att man kan lyfta befintliga modellers prestanda med upp till tre procentenheter på kodgenerering – helt utan ny träning. Det är effektivitetsvinster som affärsvärlden bör notera.

Men under ytan – sprickor i grunden

Här blir bilden mer oroande, och det vore oärligt att blunda för det.

En genomgående brist som nu kartlagts på mekanismnivå handlar om hur multimodala modeller hanterar konflikter mellan text och bild. Forskning visar att modellerna systematiskt väljer att lita på felaktig textinformation framför vad de faktiskt ser i en bild. De interna komponenterna som driver dessa hallucinationer är bredare distribuerade och sammantaget starkare än de som motverkar dem. Metoden MACI har utvecklats för att selektivt dämpa de problematiska komponenterna – men att problemet existerar på denna strukturella nivå är ett varningstecken för alla som bygger visuella AI-tillämpningar.

Noch mer besvärande är fyndet kring resonerande AI-modeller – de som löser problem genom stegvisa tankegångar. Dessa visar sig vara mer sårbara för säkerhetsangrepp än vanliga språkmodeller. Angripare kan utnyttja modellens egna interna resonemang mot den, och nya angreppstekniker baserade på förstärkningsinlärning lyckas kringgå säkerhetsspärrar med betydligt högre träffsäkerhet än tidigare metoder.

Sedermera ett problem som förtjänar mer uppmärksamhet: cirkulär självutvärdering. När en och samma modell genererar provuppgifter, simulerar elevsvar och sedan betygsätter dessa svar uppstår en självrefererande loop som snedvrider resultaten. Forskning visar att modellen bara återhämtar ungefär hälften av den avsedda variansen, med en systematisk överbetygssättning av svagare elever. Det är ett problem som riskerar att undergräva hela premissen med AI-driven utbildningsbedömning om det inte adresseras.

Och inom finanshandel, där entusiasmen för AI-agenter är stor, visar en genomgång av 77 studier att fältet lider av en akut brist på reproducerbarhet. Bara 2 av 19 granskade studier redovisade tidskonsistenta testprotokoll. Ingen studie nådde upp till den högsta nivån av reproducerbarhet. Det är inte ett litet problem – det är en metodologisk kris.

Mänsklig granskning gör fortfarande skillnad

Ett fynd som sticker ut och bör ge alla AI-optimerare ett ögonblick av eftertanke: i självutvecklande AI-system gav färdigheter skapade av modellen själv ingen mätbar förbättring, medan mänskligt granskade färdigheter gav 16,2 procentenheter bättre resultat. Skillnaden är inte marginell – den är avgörande. Mänskligt omdöme förblir en kvalitetsstämpel som algoritmer ännu inte kan imitera.

Detta är inte ett argument mot AI-omställningen. Det är ett argument för att göra den rätt.