OpenAI bygger eget chip – och följer Apple och Googles väg mot vertikal integration

Kiseldalens senaste gäst heter OpenAI

Det börjar bli trångt bland de stora teknikbolagen som väljer att designa sina egna processorer. Google har sina TPU:er, Amazon har Trainium och Inferentia – och nu har OpenAI äntligen visat upp sitt svar: en inferensprocessor kallad Jalapeño, utvecklad i samarbete med halvledartillverkaren Broadcom.

Enligt TechCrunch visar tidiga tester på markant bättre prestanda per watt jämfört med dagens ledande alternativ. Kretsen är skräddarsydd för inferens – alltså den process som sker varje gång du ställer en fråga till ChatGPT och får ett svar tillbaka. Det är inte träning av nya modeller Jalapeño siktar på, utan den löpande driften av redan färdigtränade sådana.

Det är en distinktion värd att stanna vid. Träning kräver massiv parallellberäkning under kortare, intensiva perioder – och där fortsätter Nvidias grafikprocessorer att dominera. Men inferens är något som sker miljarder gånger om dagen, dygnet runt, i realtid. Det är där kostnaderna verkligen hopar sig, och det är där ett skräddarsytt chip kan göra enorm skillnad.

OpenAI:s ordförande Greg Brockman sammanfattade logiken träffande när Broadcom-samarbetet presenterades: "Vi har en djup förståelse för arbetsbelastningen. Vi har letat efter specifika användningsområden som är underförsörjda och frågat oss hur vi kan bygga något som verkligen accelererar det möjliga."

Det är klassisk vertikal integration – samma strategi Apple tillämpade när de slutade förlita sig på Intels processorer och tog kontrollen över hela kedjan från kisel till programvara.

Modellen är inte längre räckvidden – datan är det

Samtidigt pekar MIT Technology Review på en utmaning som lätt hamnar i skymundan när chipnyheter dominerar rubrikerna: träningsdata är en stillbild från det förflutna, medan verkligheten förändras i realtid.

Priser rör sig. Lager töms. Marknadstrender vänder. En AI-modell som saknar tillgång till aktuell information riskerar att ge svar som tekniskt sett är välformulerade men faktamässigt inaktuella – och i en affärsmiljö är det inte acceptabelt.

– Om systemet inte kan hämta information i realtid saknar det sammanhang. Inaktuella svar leder till dåliga beslut och besvikna användare, säger Or Lenchner, vd för datainsamlingsplattformen Bright Data, till MIT Technology Review.

Tekniker som hämtningsförstärkt generering – där modellen aktivt söker upp extern information i stunden för en förfrågan – har börjat spridas, men många system kämpar fortfarande med att väva samman öppen webbdata, programmeringsgränssnitt, licensierade datamängder och interna källor till ett sammanhängande kunskapslager.

Det är ett strukturellt problem lika mycket som ett tekniskt. Och det kräver specialiserad infrastruktur – inte bara bättre modeller.

Två pusselbitar, samma bild

Det är lätt att se Jalapeño och realtidsdatafrågan som separata nyheter. Men de är egentligen två sidor av samma mynt.

AI-kapplöpningen handlar alltmer om infrastruktur – inte modellarkitektur. Vem som kontrollerar beräkningskapaciteten, vem som har tillgång till färsk och relevant data, och vem som lyckas integrera dessa lager sömlöst – det är frågorna som avgör vilka AI-system som faktiskt fungerar i verkliga tillämpningar.

OpenAI gör rätt i att ta kontrollen över kislet. Men Jalapeño löser bara ena halvan av ekvationen. En blixtsnabb inferensprocessor som matar ut välformulerade svar baserade på inaktuell information är som ett sportbilsmotorn monterad i en karta från förra decenniet: imponerande tekniskt, men inte tillförlitlig som vägledning.

De bolag som lyckas kombinera effektiv beräkningsinfrastruktur med tillförlitliga realtidsdata-flöden kommer att ha en avgörande konkurrensfördel. Och den fördelen handlar inte om hur sofistikerad nästa språkmodell är – den handlar om hur väl hela systemet är byggt, från chip till datakälla.