Du trodde du jagade Pokémon – din data ska ha använts för att träna militära drönare

När spelglädje blir militär träningsdata

Det är 2016. Pokémon Go har precis lanserats och världen går bokstavligen ut på gatorna. Folk vandrar genom parker, längs stränder och in i kyrkor – telefonen höjd, ögonen på skärmen. Det känns oskyldigt, till och med charmigt. Men bakom kulisserna samlar Niantics servrar in något mycket mer värdefullt än poängräkning: detaljerade rörelsemönster, kartdata och geografisk information i en skala som knappt något annat konsumentverktyg lyckats åstadkomma.

Nu rapporterar Breakit att denna data inte stannade i spelvärlden. En AI-modell ska ha tränats på Pokémon Go-platsdata i syfte att hjälpa militära drönare att navigera i krigsmiljöer. Med andra ord: civila mobilspelares promenader har bidragit till att bygga orienteringsförmågan hos autonoma vapensystem.

Tekniken bakom kopplingen

För att förstå varför just denna typ av data är värdefull behöver vi stanna upp lite. Militära drönare som ska operera autonomt behöver kunna orientera sig i komplexa miljöer – de behöver förstå hur ett stadslandskap ser ut, hur rörelse flödar längs gator och torg, och hur geografiska strukturer förhåller sig till varandra. Det är precis den sortens mönster som miljarder Pokémon Go-sessioner har dokumenterat, gata för gata, stad för stad.

Det handlar om så kallad datorseende – förmågan hos ett system att tolka och förstå bilder och rumslig information. Träningsdata är livsblodet i den här tekniken. Ju mer verklighetstrogen och varierad data, desto bättre presterar modellen. Och data från verkliga människor i verkliga miljöer är svår att slå.

Samtycke som aldrig gavs

Här ligger kärnan i problemet. Användarna som spelade Pokémon Go samtyckte till Niantics användarvillkor – men knappast till att deras promenader skulle ligga till grund för militär teknologiutveckling. Det är ett klassiskt exempel på det som brukar kallas datakontraktsglapp: klyftan mellan vad användare tror att de godkänner och vad de faktiskt godkänner.

Detta är inte unikt för Niantic eller Pokémon Go. Det är ett strukturellt problem i hur den digitala ekonomin fungerar. Data samlas in för ett syfte, men kan vidareförsäljas, licensieras eller delas med tredje part på sätt som ursprungsanvändaren aldrig förutsåg. Rättsläget är oklart, tillsynen är eftersläpande och incitamenten pekar fel.

EU:s dataskyddsförordning ger viss protection, men den är inte utformad specifikt för att hantera militär återanvändning av civil konsumentdata. Det saknas alltså tydliga regler för just den här typen av gränsöverskridande användning.

Den civila och militära AI:ns sammanflätning

Det som gör det här avslöjandet särskilt principiellt viktigt är att det synliggör en trend som länge diskuterats inom teknik- och säkerhetspolitiska kretsar: gränsen mellan civil och militär AI håller på att lösas upp.

Försvarsindustrin har länge förlitat sig på egenutvecklad teknik, men i takt med att de stora teknikbolagen kommit att dominera AI-landskapet har militära aktörer i allt högre grad vänt sig mot kommersiella verktyg, kommersiell data och kommersiella samarbetspartners. Det är effektivt – men det skapar en röra av ansvarsfrågor.

Vem bär ansvaret när civil data hamnar i militära händer? Spelföretaget som samlade in den? Den mellanhand som sålde den vidare? Den försvarskontraktör som tränade modellen? Eller de myndigheter som tillät det hela att ske utan reglering?

Vad vi faktiskt kan göra

Jag vill inte avsluta med enbart dysterkvist – det är inte min stil och det gagnar ingen. Det finns faktiskt saker som går att göra.

För det första behöver vi tydligare ändamålsbegränsning i lagstiftning – att data insamlad för ett specifikt civilt syfte inte ska kunna återanvändas för militära tillämpningar utan uttryckligt samtycke och oberoende granskning.

För det andra behöver teknikbolag ta ett större redovisningsansvar för vad som händer med data efter att den lämnar deras egna system – inklusive när den säljs eller licensieras vidare.

Och för det tredje: vi som arbetar med systemutveckling och AI behöver ställa oss frågan om vad vår data faktiskt används till – inte bara vad vi hoppas att den används till.