AI-branschen mäter sig själv – nu kräver forskare en oberoende måttstock

Problemet med att låta räven vakta hönshuset

Det är ett välkänt mönster inom AI-branschen: ett företag lanserar ett nytt verktyg, publicerar en topplista där det egna systemet råkar hamna i topp, och presenterar resultaten som objektiva fakta. Metodiken är sällan öppen för granskning, och jämförelser mellan olika leverantörers listor är näst intill omöjliga att göra meningsfulla.

Detta är inte ett litet problem. Strukturerad extraktion ur PDF-dokument – alltså att plocka ut tabeller, fält och data i ett maskinläsbart format – är en grundläggande funktion i otaliga affärskritiska system. Det handlar om fakturahantering, juridiska avtal, medicinska journaler och finansiella rapporter. När organisationer väljer verktyg för dessa uppgifter behöver de kunna lita på att utvärderingarna faktiskt mäter det de påstår sig mäta.

Datalabs svar: en gemensam måttstock

Enligt MarkTechPost har Datalab nu tagit tag i problemet på allvar genom att lansera OmniExtractBench, ett öppet riktmärke under Apache 2.0-licens. Upplägget är elegant i sin enkelhet: systemet samlar 620 dokument från fyra befintliga tester och underkastas ett enda, deterministiskt bedömningssystem som dessutom förklarar varje enskilt beslut.

Själva testprotokollet är väldefinierat. Varje AI-system tar emot en PDF tillsammans med ett JSON-schema och returnerar ett JSON-svar. Det svaret jämförs sedan värde för värde mot en referensfil. Varje värde tilldelas ett av sex möjliga utfall – till exempel matchat, fabricerat eller uppfunnet. Den sista kategorin är särskilt intressant: den fångar fall där systemet hittar på information som inte finns i källdokumentet, ett beteende som på teknisk svenska brukar kallas hallucinering.

Tabellproblemet – en teknisk detalj som spelar stor roll

En av de knepigaste delarna av dokumentextraktion är tabeller. Om en rad saknas i extraktionen kan ett naivt bedömningssystem råka förskjuta alla efterföljande rader och straffa systemet hårt för ett litet fel. OmniExtractBench hanterar detta med en algoritm som matchar rader innehållsbaserat snarare än positionsbaserat. Det låter som en teknisk detalj, men det är precis den typen av genomtänkt design som avgör om ett riktmärke faktiskt mäter rätt sak.

Resultaten – och den uppenbara intressekonflikten

Av de tio testade systemkonfigurationerna presterade Datalabs eget verktyg bäst, med en träffsäkerhet på 93,85 procent. På andra plats kom Reducto. Det är förstås värt att notera att Datalab både designar riktmärket och presterar bäst i det – en intressekonflikt som inte ska ignoreras.

Samtidigt är det just öppenheten som är den egentliga motåtgärden. När metodik, bedömningskod och testdata är öppet tillgängliga under en fri licens kan vem som helst granska, ifrågasätta och upprepa testerna. Det är en fundamental skillnad jämfört med stängda, egenutvecklade topplistor. Transparensen är i sig garanten, inte avsändarens välvilja.

Ett steg mot vuxen infrastruktur

OmniExtractBench är inte en revolution – det är mognad. Det påminner om hur branscher i allmänhet utvecklas: från vilda västern-fasen där varje aktör sätter sina egna spelregler, till en mer ordnad era med gemensamma standarder som möjliggör verklig konkurrens och välgrundade beslut.

För systemutvecklare och upphandlare som arbetar med dokumenthantering är det en välkommen förändring. Att kunna peka på ett neutralt, öppet riktmärke när man utvärderar verktyg – det är faktiskt ganska värdefullt.