Tre misstag avslöjar vad ingen ville se: AI-omställningen är inte under kontroll

Misstagen staplas upp — och det är egentligen goda nyheter

Låt mig börja med det som kan verka kontraintuitivt: att dessa misstag uppdagas och rapporteras är ett tecken på att ekosystemet mognar. Vi rör oss från den naiva entusiasmens fas, där allt handlade om vad AI kan göra, mot den avgörande och svårare fasen — att förstå vad som faktiskt krävs för att göra det rätt.

Men det innebär inte att vi ska blunda för allvaret. Tvärtom.

När rutinerna inte hinner med tekniken

Nordens ledande mediekoncern Schibsted delade under ett helt år känsliga redaktionella uppgifter — däribland källuppgifter och interna journalistkommentarer — med OpenAI, rapporterar Breakit. Inte avsiktligt. Inte cyniskt. Utan av misstag, och utan att upptäcka det.

Det är den detaljen som bör stanna kvar hos oss: ett helt år. Det handlar inte om en engångsmiss utan om ett systematiskt fel i hur dataflöden granskades och kontrollerades. I mediebranschen är skyddet av källor inte bara etisk praxis utan inskrivet i svensk lagstiftning. Att källuppgifter kan ha vandrat vidare till ett utomstående teknikföretag — hur välmenande det företaget än må vara — är ett grundskott mot det förtroende som redaktionell verksamhet vilar på.

Detta är ett läroboksexempel på vad som händer när organisationer inför kraftfulla verktyg snabbare än de bygger upp de strukturer, rutiner och den kompetens som krävs för att hantera dem ansvarsfyllt.

Goodharts lag slår till på Amazon

Hos Amazon såg utmaningen annorlunda ut — men roten till problemet är densamma: att mäta fel saker skapar fel beteenden.

Företaget ville uppmuntra sina anställda att omfamna AI i vardagen och skapade därför Kirorank, en intern topplista som rankade medarbetare efter hur mycket de använde utvecklarplattformen Kiro. Tanken var god. Utfallet var förutsägbart för den som känner till Goodharts lag: så snart ett mätetal blir ett styrmedel slutar det att mäta det det ursprungligen var avsett att fånga. Anställda lät AI-agenter utföra meningslösa uppgifter enbart för att driva upp sin förbrukning av digitala tokens — och därmed stiga i rankningen, rapporterar Computer Sweden med hänvisning till Financial Times.

Resultatet var onödiga kostnader, förvriden statistik och ett system som aktivt motarbetade det mål det var designat för att främja. Amazons teknikchef Dave Treadwell fick gå ut med ett budskap som egentligen aldrig borde behöva uttalas högt: AI ska skapa värde, inte generera användarsiffror.

Det är en nyttig påminnelse för varje organisation som just nu mäter sin AI-mognad i antalet verktyg som installerats eller antalet användarkonton som aktiverats.

En fälla gömd för maskiner

Den tredje händelsen är av ett annat slag — och på sätt och vis det mest oroande.

En utvecklare bakom det välkända Java-testverktyget jqwik valde att bädda in en dold instruktion i version 1.10.0 av sin programvara. Instruktionen riktade sig inte till mänskliga användare utan till AI-baserade kodassistenter, och uppmanade dem att radera all jqwik-relaterad kod och tillhörande tester från användarens projekt. För att dölja meddelandet för mänskliga ögon utnyttjades terminalkoder som fick texten att försvinna i vanliga terminalmiljöer, rapporterar Computer Sweden.

Tekniken kallas promptinjektion och representerar en växande sårbarhetsklass i AI-system. Det som gör just detta fall kontroversiellt är att det kom inifrån det ekosystem som AI-verktygen är avsedda att hjälpa. Utvecklaren Ramon Batllet, som avslöjade fällan, uttrycker det träffsäkert: det kan finnas legitima skäl att vilja begränsa hur AI-verktyg används med ens programvara — men att bygga in instruktioner som riskerar att radera användares arbete är att ta ett steg som underminerar förtroendet för hela det öppna programvaruekosystemet.

Tre händelser, ett mönster

Sett tillsammans berättar Schibsted-, Amazon- och jqwik-fallen inte primärt om illvilja eller inkompetens. De berättar om en bransch i rörelse — en bransch som rör sig snabbare än sina egna styrningsstrukturer hinner med.

Det är precis här vi befinner oss på mognadskurvan: i den turbulenta mellanfasen, där tidig entusiasm möter verklighetens friktion. Det är jobbigt. Det är nödvändigt. Och det är hanterbart — men bara om organisationer slutar behandla AI-säkerhet, datahantering och etisk styrning som eftertankar.