AI-systemen lär sig fuska — och vi kanske inte märker det förrän skadan är skedd
AI lär sig fuska med juridiska formler – och vi märker det för sent.
Imponerande resultat — på fel grunder
Låt oss börja med det som borde ge alla jurister och rättsteknologiföretag en kall rysning. En ny studie publicerad på arXiv granskade över 33 000 ärenden från brittiska arbetsdomstolen och fann att AI-modeller tränade på juridiska texter inte lär sig rätten — de lär sig genvägar. Modellerna plockar upp avslöjande formuleringar inbäddade i domstolstexterna och använder dem som fusk-lapp snarare än att faktiskt analysera det rättsliga innehållet.
Det mest provocerande fyndet: en modell tränad enbart på de fyra procent av textdragen som identifierats som "läckande" presterade bättre än mänskliga experter. Det låter imponerande tills man inser vad det egentligen betyder — systemet är inte intelligent, det är opportunistiskt. Forskarna visar dock att problemet går att åtgärda: när de läckande dragen maskerades sjönk prestandan bara marginellt. Lösningen finns, men den kräver aktiv granskning av träningsdata och ett seriöst förhållningssätt till vad vi faktiskt matar modellerna med.
Vetenskapens själ går inte att automatisera
Parallellt med juridikvarningen publicerades en artikel som berör ett ännu mer grundläggande problem. Forskarna bakom studien argumenterar för att generativ AI inte bara riskerar att sprida felaktig information — den riskerar att urholka den mänskliga förmåga som behövs för att känna igen felaktig information.
De fyra kvaliteter som lyfts fram — tyst kunskap, personligt engagemang, socialisation inom forskargemenskapen och djupläsning — formas inte genom att granska AI-genererade utkast. De formas genom friktion, misslyckanden och gradvist djupnat förståelse. Att hålla människan "i loopen" som granskare räcker inte om granskaren aldrig fått chansen att utveckla det omdöme som granskning kräver.
Detta är inte en nostalgisk klagan. Det är en strategisk varning. En organisation som låter AI ersätta det grundläggande tänkandet — inte bara det repetitiva arbetet — bygger kompetens på lera.
En tredje studie på arXiv förstärker bilden ytterligare. Trots imponerande prestanda bygger modern AI i stor utsträckning på prestandadriven experimentering snarare än djup teoretisk förståelse — en slags "alkemi" där vi vet att något fungerar, men inte alltid varför. Forskarnas tredelade ramverk för vetenskaplig stringens — begreppsmässig, epistemisk och operationell — är ett välkommet verktyg för att ställa rätt krav på fältet.
Men det händer också fantastiska saker
Mitt i alla varningssignaler presenterades HASE, ett nytt ramverk för självförbättrande AI som låter en modell med 8 miljarder parametrar matcha — och i vissa fall överträffa — modeller med 120 miljarder parametrar. Det handlar om att modellen inte bara förbättrar sina svar, utan också de verktyg och komponenter den arbetar med. Kostnadseffektiv AI av hög kvalitet är inte längre en teoretisk möjlighet.
Samtidigt visade Oyster-II, ett nytt ramverk för säkerhetsjustering, hur man kan bygga modeller som är både säkra och genuint användbara — utan att reflexmässigt blockera harmlösa frågor. Och CO-ALIGN-metoden reducerade partiskheten i bildgenerering med 30 procent, vilket är ett konkret steg mot mer rättvisa AI-system.
Från Bangladesh kom dessutom ett rörande exempel på AI i tjänst för de mest utsatta: ShishuRaksha AI, ett beslutsstödsystem för att identifiera psykologiskt trauma hos barn i ett land med enbart sex barnpsykiatrer. Systemet är transparent om sina begränsningar och är tydligt positionerat som ett stöd — inte en ersättning — för kliniskt omdöme.
Förtroendet måste förtjänas, inte antas
Det gemensamma temat den här veckan är förtroende — och hur det skapas. Ett nytt riktmärke kallat SALT visade att AI-modeller är dåliga på att känna igen sina egna misstag, och att kedjetänkande (stegvis resonemang) paradoxalt nog förbättrar träffsäkerheten men försämrar modellernas förmåga att bedöma sin egen tillförlitlighet. En annan studie visade att tillförlitlig granskning av AI är möjlig utan den så kallade debattmodellen — men kräver välstrukturerade förutsättningar.
Sammanfattningsvis: AI:n levererar. Men leveransen sker snabbare än vår förmåga att förstå vad vi får.
Vår analys
Veckan illustrerar med kirurgisk precision varför AI-omställningen kräver mognad, inte bara entusiasm. De tekniska genombrotten — HASE, Oyster-II, CO-ALIGN — visar att fältet rör sig i rätt riktning: mer effektivt, mer rättvist, mer anpassningsbart. Det är genuint uppmuntrande.
Men varningarna från juridik- och forskningsvärlden pekar på ett mönster som affärsledare måste ta på allvar: vi tenderar att mäta AI-prestanda på dess egna villkor, utan att ifrågasätta om grunden är solid. En modell som ger rätt svar av fel anledningar är inte ett verktyg — det är en tidsinställd risk.
Min slutsats: den organisation som vinner på AI är inte den som adopterar snabbast, utan den som bygger upp förmågan att förstå och ifrågasätta sina AI-system. Förtroende för AI förtjänas genom transparens, granskning och ödmjukhet — inte genom imponerande riktmärkesvärden.