AI-modeller kan radikalisera varandra – och skenkompetens döljer bristande förståelse
AI-modeller kan radikalisera varandra och dölja sin bristande förståelse bakom skenkompetens.
Ekokammare för maskiner
Låt oss börja med det obehagliga. En ny studie på arXiv visar att stora språkmodeller kan radikalisera varandra i simulerade samtal. En så kallad påverkansagent fick i uppgift att driva en målagents åsikter mot mer extrema positioner – och lyckades. Den mest effektiva metoden var inte öppen övertygelse utan resonans: att förstärka redan befintliga uppfattningar tills de förstärktes och spred sig till angränsande övertygelser. Det är i grunden samma mekanism som driver mänskliga ekokammare – fast nu i ett system som kan köras i tusentals parallella samtal per sekund.
Det väcker en berättigad fråga: vad händer när vi bygger ekosystem av samverkande AI-agenter, och ingen av dem har ett stabilt jag att förankra sig i?
Skenförståelse och kontextblindhet
Ett annat mönster som återkommer i veckans papper är det jag skulle kalla skenkompetens – modeller som ger rätt svar av fel skäl. Ramverket CARAT, framtaget för att testa AI inom materialvetenskap, visar att i hela 95,6 procent av testfallen upprepade modellen en given relation utan att faktiskt använda den för att resonera sig fram till svaret. Det räckte med att omformulera frågan för att avslöja att förståelsen var ytlig.
Samma tema dyker upp när forskare testade hur väl språkmodeller hanterar vetenskapliga motsägelser i löptext. När villkoren formulerades direkt och tydligt löste toppmodellerna uppgiften korrekt i upp till 96 procent av fallen – men när samma information kläddes i vetenskaplig prosa rasade träffsäkerheten dramatiskt. Claude Opus 5 visade sig dessutom ha en inbyggd förförståelse som fick den att föredra biologiskt väntade slutsatser framför de som faktiskt stöddes av data. Att ta bort den förförståelsen ökade träffsäkerheten från 27 till 79 procent.
Till detta ska läggas fenomenet kontextförvirring, som en separat studie dokumenterar: träningsdata som är korrekt i ett sammanhang kan aktivera felaktigt beteende i ett annat. Att rekommendera en forskare att spara data för reproducerbarhet är rätt – men samma inlärda reflex kan vara direkt olämplig när en mobilappsutvecklare hanterar känslig användarinformation. Det gör det svårt att förutsäga modellers beteende enbart genom att granska träningsdatan.
Fokus försvinner i långa uppgifter
Diagnostikverktyget Long-Transduction testade sju öppna modeller på långa, tillståndsbaserade uppgifter – det vill säga sådant som kräver att modellen håller reda på information under hela körningen. Resultaten är sobra: prestandan sjönk med 62,8 procent när kontexten ökade från 4 000 till 128 000 tokens. Olika indataformat gav ytterligare 36,5 procents försämring. Det är siffror som bör ge alla som planerar att sätta AI-agenter på komplexa, långvariga arbetsflöden – som ekonomisk rapportering eller tabellomvandling – anledning att pausa och tänka om.
Men det finns genuina framsteg
Samtidigt vore det missvisande att stanna vid bristerna. Veckans papper innehåller också resultat som är svåra att avfärda som marginella förbättringar.
Systemet GATE-ST kombinerar bildanalys med textbaserade genbeskrivningar för att förutsäga genuttryck direkt från vävnadsbilder – en uppgift som annars kräver dyr och tidskrävande rumslig transkriptomik. Att AI kan börja förenkla den typen av analys har konkret betydelse för patologisk diagnostik.
PrivMeSA, ett integritetsskyddande system för medicinsk rådgivning, minskade röjandet av personuppgifter från 98 till 0,2 procent i tester på akutjournaler – samtidigt som den medicinska noggrannheten förbättrades med upp till 15,8 procentenheter. Det är ett sällsynt exempel på ett system där säkerhet och prestanda faktiskt rör sig i samma riktning.
På agentsidan är resultaten från AREX-2 och PCPO anmärkningsvärda. AREX-2 är ett system som förbättrar sina egna svar genom iterativ reflektion och fortsätter att förbättras ju fler rundor det tillåts köra. PCPO, som låter agenter lära sig av sina egna genererade lösningar, överträffade etablerade metoder inom kretskortsdesign och uppnådde hastighetsförbättringar på i genomsnitt åtta gånger jämfört med standardbiblioteket PyTorch. En modell med åtta miljarder parametrar presterade jämförbart med slutna toppmodeller.
Slutligen visar ramverket VHOP att visuell sökning kan förändras i grunden: träffsäkerheten steg från under 5 till 76,3 procent, och systemet krävde 35 gånger mindre data via externa gränssnitt jämfört med referensmodeller.
Var befinner sig AI egentligen?
Svaret är: på flera ställen samtidigt. Tekniken är mogen nog att göra verklig medicinsk och vetenskaplig nytta, men omogen nog att radikaliseras, rabbla svar och tappa fokus när uppgifterna blir långa. Det är inte ett skäl till panik – men det är ett skäl till precision när vi väljer var vi sätter den i arbete.
Vår analys
Det som slår mig när jag läser veckans papper samlat är att vi mäter fel saker för ofta. Träffsäkerhet på riktmärken säger oss ingenting om huruvida modellen faktiskt förstår det den svarar på – det visar CARAT med brutal tydlighet. Och homogeniteten som CHOIR-ramverket avslöjar antyder att vi ibland tar mångfald av svar för given när vi egentligen bara ser variationer på samma tema.
Det positiva är att fältet börjar mäta rätt saker. Ramverk som Long-Transduction, CARAT och CHOIR är inte produktlanseringar – de är diagnostikverktyg. Och diagnostik är alltid det första steget mot behandling.
Utvecklingen mot självförbättrande agenter, AREX-2 och PCPO, är den tråd jag följer närmast. Om vi kan bygga system som tillförlitligt identifierar sina egna svagheter och itererar sig ur dem – med kalibrerad osäkerhet snarare än övertro – förändras spelplanen. Vi är inte där än. Men vi rör oss åt rätt håll.