Upp till hälften av bankbedrägerier går igenom AI-agenter – forskning blottlägger gap mellan potential och verklighet
Var annan bedrägeriattack mot AI-bankagenter lyckas – ny forskning slår larm.
Gapet mellan potential och tillförlitlighet
Det är lätt att imponeras av AI-system som löser olympiadnivåproblem i matematik. Det är svårare att acceptera att samma system inte klarar av att rita de geometriska figurer som problemen beskriver. En ny studie på arXiv testade ledande grundmodeller på just det — och fann att i genomsnitt bara 36 procent av de genererade diagrammen ens kompilerades korrekt. Stark resoneringsförmåga och spatial konstruktionsförmåga är, visar det sig, två helt skilda saker.
Detta gap mellan vad AI verkar kunna och vad det faktiskt levererar dyker upp gång på gång i den senaste forskningsvågen. Ta AI-agenter inom banksektorn: ett nytt riktmärke kallat FraudBench stressade testade fyra ledande system mot 150 konstruerade bedrägerifall. Resultatet borde ge bankledningar kalla kårar — agenterna motstod bara mellan 49 och 65 procent av angreppen. Kedjeangrepp, där en till synes oskyldig fråga retroaktivt gör en senare begäran farlig, visade sig vara en särskilt effektiv angreppsvektor. Det är inte ett system redo för skarp drift.
Samma mönster uppstår inom mjukvaruutveckling. En studie som testade ledande kodagenter — däribland modeller som Claude Opus 4.5 och Kimi K2.5 — fann att prestandaförsämringen vid ytliga, semantikbevarande kodförändringar kunde nå 6,7 procentenheter. Byter man namn på variabler eller lägger till death code utan att ändra kodens faktiska beteende, tappar agenterna fotfästet. Det är en varningssignal för alla som planerar att sätta AI-verktyg i produktion mot levande, föränderliga kodbaser.
Mätproblemen döljer verkligheten
En underliggande och kanske ännu allvarligare fråga handlar om hur vi mäter AI:s förmåga. Flera studier pekar på att standardutvärderingsmetoder ger systematiskt missvisande resultat.
Ett vietnamesiskt riktmärke, THPT-Ladder, visade att vanlig träffsäkerhetsmätning ger modeller mellan 0,020 och 0,159 poäng för mycket per fråga jämfört med det officiella betygssystemet. För en specifik modell innebar det att dess percentilrankning föll från 90:e till 77:e plats bland hundratusentals verkliga provdeltagare. Likaså avslöjar forskning om bärbara stressdetektorer att en modell med 93 procents genomsnittlig noggrannhet kan ge ett träffsäkerhetsvärde på noll för en enskild användare vars fysiologiska mönster avviker från normen.
Detta är inte akademiska petitesser. Det är grundläggande trovärdighetsproblem för system som ska användas i högrisksammanhang — och forskargrupper börjar nu ta fram verktyg, som SESSE-ramverket för transparentare AI-bedömningar och ICCM för individuell stressdetektering, för att göra bristerna synliga snarare än att dölja dem bakom aggregerade siffror.
Genombrotten som pekar framåt
Men det vore fel att stanna i problemkatalogen, för samma forskningsvåg innehåller genuint lovande resultat.
Mindre AI-modeller som tränas via självförstärkande metoder — där en oberoende granskare väljer ut de bästa resultaten som träningsmaterial — visade dramatiska förbättringar utan tillgång till kraftfullare lärarmodeller. Antalet godkända planer för modellen Qwen3-14B steg från 1 till 57 på 80 testfall, med en femtiondedel av den normala beräkningstiden. Det är en öppning mot mer resurssåla träning.
Infrastrukturellt visar forskning kring Mixture-of-Experts-modeller att cache-vänlig träning kan minska diskåtkomster med upp till 80 procent — avgörande för den som vill köra stora modeller på ordinär hårdvara. Inom medicinsk AI finns studier som visar att maskininlärningsövervakning kan minska läkemedelsfel med mellan 34 och 80 procent i glesbygdsvård. Och inom näthatsdetektion lyckades resurseffektiv finjustering lyfta träffsäkerheten för romani urdu — ett språk utan standardiserad stavning — från 0,56 till över 0,93 i F1-värde.
Netflix demonstrerar dessutom hur AI-driven kvalitetsbedömning kan skalas upp industriellt: deras LLM-som-domare-ramverk utvärderar hundratusentals rekommendationsförklaringar per vecka och visas för miljontals användare — med mätbara förbättringar i tittarbeteende som resultat.
Kartan och terrängen stämmer inte alltid
Det sammantagna budskapet från denna forskningsvåg är inte att AI är överdrivet eller underskattat — det är att vi ännu inte riktigt vet hur vi ska kartlägga det. Riktmärken missmäter, robusthet är ojämnt fördelad och systemens verkliga svagheter visar sig ofta först i verkliga, varierade miljöer. Det är just där det viktiga arbetet nu pågår.
Vår analys
Det som gör denna forskningsvåg strategiskt intressant är inte enskilda brister eller enskilda genombrott — det är att de uppträder samtidigt. Vi befinner oss i en fas där AI-systemens kapacitetsgräns kartläggs på allvar, inte i laboratorier utan i verkliga tillämpningsdomäner: bank, sjukvård, mjukvaruutveckling, infrastruktur.
Detta är faktiskt ett gott tecken. Att forskare nu kan konstruera riktmärken som FraudBench och ComponentBench — och att dessa avslöjar tydliga svagheter — visar att fältet är moget nog för ärlig självkritik. Det är ett nödvändigt steg innan bred driftsättning.
För beslutsfattare och affärsutvecklare är budskapet tydligt: AI-system bör inte driftsättas i högrisksammanhang utan robusthetsutvärdering specifikt anpassad till det operativa sammanhanget. Genomsnittsresultat döljer för mycket. Samtidigt bör man inte bromsa — genombrotten inom självförstärkande träning, effektiv finjustering och industriell skalning av AI-bedömning visar att de tekniska möjligheterna växer snabbare än problemen. Det gäller att navigera klokt, inte avvakta.