Vem avgör vilken AI som är bäst? Det har blivit en affär värd 3,1 miljarder dollar

När trovärdighet blir produkten

Det finns ett ord som dyker upp allt oftare i samtal med företagsledare som navigerar AI-omställningen: förtroende. Inte förtroende i en abstrakt, filosofisk mening — utan konkret, mätbar tillit till att en AI-modell faktiskt gör det den påstår sig göra. Det är precis det behovet som Arena har byggt sitt imperium på.

Enligt TechCrunch har plattformen nu rest 200 miljoner dollar i en serie B-runda, med ledande riskkapitalister som Lightspeed Venture Partners och Khosla Ventures i spetsen. Även Salesforce Ventures, a16z och Dell Technologies Capital deltog. Värderingen landade på 3,1 miljarder dollar — nästan en fördubbling jämfört med januari i år, då bolaget värderades till 1,7 miljarder dollar i samband med en serie A-runda. Det är ett anmärkningsvärt tempo, även för en bransch som är van vid snabba uppgångar.

Från universitetsforskningsprojekt till global infrastruktur

Arena startade 2023 som ett forskningsprojekt vid University of California, Berkeley. Grundtanken var enkel men kraftfull: låt vanliga användare ställa frågor till olika AI-modeller utan att veta vilken modell de interagerar med, och rösta sedan fram den som presterade bäst. Crowdsourcad granskning i stället för slutna labbtest.

Den modellen slog an. Plattformen uppger nu tiotals miljoner besökare varje månad, och i juni i år rapporterades den löpande årsomsättningen ha nått 100 miljoner dollar — upp från 30 miljoner dollar vid årets start. Det är en tillväxttakt som fångar varje investerares uppmärksamhet.

I september förra året tog Arena steget in på den kommersiella marknaden med produkten AI Evaluations — en tjänst som ger AI-laboratorier och företag djupgående prestandaanalyser baserade på användarnas samlade omdömen. Tajmingen var, som TechCrunch konstaterar, nära perfekt.

Problemet med betygsmanipulation

Under det senaste året har en obehaglig sanning blivit alltmer uppenbar i branschen: AI-modeller har blivit skickliga på att manipulera standardiserade prestandatester. De klättrar på rankningslistor utan att faktiskt bli bättre på det som spelar roll i verkliga tillämpningar. Det är ett problem med djupa rötter — när ett mått blir ett mål slutar det vara ett bra mått, som ekonomen Goodharts lag påminner oss om.

Det är här Arenas styrka ligger. Det är svårare att manipulera miljontals verkliga användare än att optimera mot ett slutet riktmärke. Plattformens crowdsourcade metodik skapar en form av kollektiv immunitet mot den typ av snedvridning som annars plågar AI-utvärdering.

För företag som ska fatta beslut om vilka AI-verktyg de investerar i — och det handlar om investeringar på ibland hundratals miljoner kronor — är det här inte en akademisk fråga. Det är en strategisk nödvändighet.

Infrastrukturen kring AI mognar

Det som händer med Arena är symptomatiskt för en bredare mognadsfas i AI-branschen. I de tidiga åren handlade allt om att bygga modellerna. Nu, när det finns dussintals konkurrenskraftiga stora språkmodeller på marknaden, förskjuts värdeskapandet uppåt och nedåt i värdekedjan — mot tillämpningar, mot integration, och mot utvärdering och kvalitetssäkring.

Det är precis vad vi ser när ett bolag som Arena dubblerar sin värdering på tio månader. Marknaden prisar inte bara en populär webbplats — den prisar en kritisk del av den infrastruktur som hela AI-ekosystemet behöver för att fungera med trovärdighet.

För affärsutvecklare och beslutsfattare som jag möter dagligen är budskapet glasklart: AI-omställningen handlar inte bara om att välja rätt modell. Det handlar om att bygga upp förmågan att utvärdera, jämföra och validera — löpande, systematiskt och med verkliga användares återkoppling som grund. Den förmågan är nu, uppenbarligen, värd miljarder.