Bara ett av fem AI-svar om världen innehåller rätt siffra – nu ska FN och Google täppa till hålen

Kan vi lita på vad AI säger om världen?

Det är en fråga vi borde ställa oss oftare. Vi ber AI-assistenter om snabba svar på faktafrågor dagligen – om fattigdomstal, barnmortalitet, ekonomisk tillväxt, klimatdata. Vi klistrar in svaren i presentationer, rapporter och beslutsunderlag. Men vad händer om de siffrorna är fel?

Svaret, visar det sig, är att de ganska ofta är just det.

Enligt TechCrunch testade UNICEF sex av världens mest använda stora språkmodeller – däribland OpenAI:s GPT-4o, Anthropics Claude och Googles Gemini – med mer än 133 000 frågor om globala utvecklingsindikatorer. Resultatet är nedslående: den genomsnittliga träffsäkerheten landade på blygsamma 21,2 procent. Tre av fem svar saknade ett konkret tal överhuvudtaget – modellerna valde i stället att svara undvikande och vagt. Och när samma frågor ställdes igen två dagar senare var det bara hälften av svaren som gav exakt samma siffra som första gången.

Det är inte ett enstaka misstag. Det är ett systemfel.

En ny plattform som ett svar på ett verkligt problem

Mot den bakgrunden är FN:s och Googles gemensamma initiativ mer än en teknisk uppgradering – det är en nödvändig grundreparation av AI:ns kunskapsbas. Den nya plattformen, kallad UN System Data Commons, ersätter den gamla UNData-portalen och bygger på Googles öppna programvara. Skillnaden mot föregångaren är fundamental: i stället för att användare manuellt navigerar i krångliga databasgränssnitt kan de nu ställa frågor på vanligt språk – svenska, engelska, spanska, vad som helst – och få svar direkt hämtade från FN-myndigheternas officiella databaser.

Ännu viktigare ur ett AI-perspektiv: plattformen stödjer ett tekniskt standardprotokoll som låter AI-system ansluta direkt till externa datakällor och hämta aktuell statistik automatiskt. Det innebär att en AI-agent, i stället för att gissa eller återge inaktuell träningsdata, faktiskt kan slå upp svaret i realtid från källan.

Det är precis den typ av infrastrukturförändring som behövs för att AI ska kunna fungera som ett pålitligt verktyg i sammanhang där fakta verkligen spelar roll.

Problemet med träningsdata är strukturellt

Det är värt att stanna upp och förstå varför stora språkmodeller presterar så uselt på faktafrågor. Det handlar inte primärt om att modellerna är dåliga på att resonera – de är imponerande på det. Problemet är att deras kunskapsbas är en ögonblicksbild, infryst vid en viss tidpunkt under träningen, och att världsstatistik uppdateras kontinuerligt. Befolkningstal förändras. Vaccinationstäckning ökar eller minskar. BNP-siffror revideras.

När en modell svarar på frågan "hur stor andel av barn i Sahel vaccineras mot mässling?" har den inget sätt att veta om dess internaliserade svar fortfarande stämmer. Den gissar – kvalificerat, men ändå.

Detta är ett välkänt problem inom branschen, och lösningen har länge pekats ut: förankra AI-system i pålitliga, uppdaterade externa datakällor i stället för att enbart förlita sig på statisk träningsdata. Det är exakt vad UN System Data Commons möjliggör.

Från sökmotor till kunskapsinfrastruktur

Det finns en större bild här som förtjänar uppmärksamhet. Under de senaste åren har vi sett ett paradigmskifte i hur vi tänker på AI:s roll. Vi rör oss bort från AI som en avancerad sökmotor mot AI som en aktiv agent – ett system som inte bara svarar på frågor utan faktiskt genomför uppgifter, fattar beslut och agerar i världen.

I det skiftet är datakvalitet inte längre bara en teknisk detalj. Det är en strategisk grundpelare. En AI-agent som hämtar felaktiga fattigdomsdata kan fatta fel prioriteringsbeslut. En rapport genererad på felaktiga hälsoindikatorer kan leda fel politik.

FN:s och Googles samarbete är ett konkret steg mot att bygga den typ av tillförlitlig kunskapsinfrastruktur som krävs för att AI verkligen ska kunna leverera på sina löften – inte som en imponerande men opålitlig assistent, utan som ett verktyg vi faktiskt kan förlita oss på när det gäller.