Varannan källhänvisning hos forskare bedöms ha tveksam relevans — AI hittar mer relevanta källor med dramatiskt högre träffsäkerhet

När AI sätter fingret på ett obehagligt mönster

Det finns en outtalad övertygelse inom forskarvärlden att mänskliga experter, med sin djupa ämneskunskap och vetenskapliga intuition, naturligtvis gör kloka val när de väljer vilka källor de citerar. En ny studie publicerad på arXiv utmanar den övertygelsen på ett ganska brutalt sätt.

Forskarna undersökte storskalig akademisk litteratursökning och byggde ett så kallat djupforskningsflöde — ett system som systematiskt expanderar sökresultaten längs referenslistor i flera steg. Resultaten är svåra att ignorera: träffsäkerheten ökade från under 20 procent med vanlig sökning via programmeringsgränssnitt till över 80 procent med det utvidgade flödet. Det är inte en marginell förbättring, det är en omvälvning.

Den obekväma jämförelsen

Men det mest uppseendeväckande i studien är inte att AI-systemet presterar bra. Det är vad som händer när man börjar granska det riktmärke man mäter mot.

I utvärderingen av hur relevanta de funna källorna faktiskt är, bedömdes bara 51 procent av mänskliga citeringar som måttligt relevanta eller bättre. Motsvarande siffra för de starkaste AI-baserade systemen låg på 86–88 procent. Det innebär att en genomsnittlig forskares källförteckning — det som traditionellt setts som facit — i nästan varannan rad innehåller en källa av tveksam relevans.

Och det slutar inte där. Studien fann att människor är 2,5 gånger mer benägna att citera nära forskarkollegor jämfört med vad som vore motiverat utifrån ämnesrelevans. Det är en välkänd mekanism inom vetenskapssociologi, men att se det kvantifierat så tydligt ger en ny dimension åt problemet. Vi citerar inte alltid den mest relevanta forskningen — vi citerar den forskning vi känner till, och de forskare vi känner.

Vad det säger om hur vetenskap faktiskt fungerar

Som systemutvecklare har jag arbetat med informationssökning länge nog för att förstå hur svårt det är att hitta rätt i stora datamängder. Det som gör det här fyndet intressant ur ett tekniskt perspektiv är inte bara att AI-systemet är bättre — det är att det är bättre på ett strukturerat och förklarbart sätt. Djupforskningsflödet arbetar sig längs referenskedjor, ungefär som en metodisk forskningsassistent som faktiskt följer upp varje fotnot.

Människor gör det sällan. Vi har kognitiva begränsningar, tidsbrist och sociala nätverk som alla påverkar vad vi läser och vad vi citerar. Det är inte ett moraliskt fel — det är ett mänskligt villkor. Men det är ett problem när det systematiska mönstret osynliggör forskning utanför etablerade nätverk, forskning på andra språk, eller forskning från institutioner med lägre prestige.

Forskarna argumenterar därför för att litteratursökning behöver utvärderas längs flera axlar samtidigt: träffsäkerhet, ämnesrelevans och samförfattarskapsstrukturer — snarare än att förlita sig på ett enda mått. Det är ett välkommet metodologiskt bidrag, och ett som AI-verktyg faktiskt möjliggör på ett sätt som manuell granskning aldrig kunde.

En möjlighet mer än ett hot

Det vore lätt att läsa den här studien som en anklagelse mot forskarsamhället. Jag väljer att läsa den som en möjlighet. Om vi vet att systematisk partiskhet finns inbyggd i hur vetenskap citeras och sprids, kan vi börja göra något åt det. AI-verktyg som kartlägger referensstrukturer och flaggar blinda fläckar kan bli ett kraftfullt komplement till mänsklig bedömning — inte för att ersätta forskarens omdöme, utan för att vidga det.

Det handlar i grund och botten om att hitta den bästa forskningen, oavsett var den finns. Och där har AI visat att det kan bidra med något vi länge saknat: systematik utan förkunskaper.