Varför förstår AI emiratisk arabiska – men inte älvdalska?

Arabiska är inte ett språk – det är en familj

När vi i väst pratar om arabiskspråkig AI tänker vi ofta på modern standardarabiska – det formella skriftspråk som används i nyhetsmedier och läroböcker. Men det är ungefär som att bygga en AI för svenska och sedan bli förvånad över att den inte förstår skånska eller älvdalska i naturligt samtal. Den arabiska som talas i hemmen, på marknaderna och i poesikafénerna i Abu Dhabi är emiratisk arabiska – en gulfdialekt med eget ordförråd, egen rytm och djupt inbäddad kulturell logik.

Det är precis den klyftan som Falcon-Emirati-7B är designad för att överbrygga. Enligt Hugging Face-bloggen presenterar Technology Innovation Institute (TII) modellen som en vidareutveckling av Falcon-H1-Arabic, och ambitionsnivån är tydlig: det räcker inte att kunna översätta varje enskilt ord i en emiratisk mening. Man måste förstå innebörden.

Tekniken bakom förståelsen

Det tekniskt intressanta med Falcon-Emirati-7B är dess hybridarkitektur. Modellen kombinerar två metoder som normalt konkurrerar om uppmärksamheten: tillståndsrymdmodeller (den så kallade Mamba-arkitekturen) och den transformerbaserade uppmärksamhetsmekanism som dominerat fältet sedan 2017. Kombinationen ger effektiv hantering av långa textsekvenser utan att tappa precision – något som är avgörande för arabiska, ett morfologiskt rikt språk där ett enda ord kan bära information som på svenska kräver en hel fras.

Det är en klok teknisk avvägning. Mamba-modeller är snåla med beräkningsresurser vid långa sekvenser, medan transformerbaserade lager bättre fångar globala samband i texten. Att kombinera dem är inte trivialt, och det faktum att TII gör det öppet tillgängligt är värdefullt för hela forskarsamhället.

Dialektanpassning är ett olöst problem – men inte olösligt

Att träna en modell på dialekt är svårare än det verkar. Det handlar inte bara om att samla in mer text på rätt dialekt. Emiratisk poesi – särskilt den traditionella nabaté-poesin – bär på betydelselager som kräver kulturell förförståelse, inte bara lingvistisk kompetens. Ordspråk, anekdoter och indirekt kommunikation fungerar på ett sätt som en modell tränad enbart på skriftlig standardarabiska helt enkelt inte kan hänga med på.

Här gör Falcon-Emirati-7B något principiellt viktigt: den behandlar dialekten som ett förstaklassens mål, inte som en biprodukt av träning på standardspråk. Det är ett synsätt som branschen länge borde ha anammat.

Spegeln mot Norden

Som systemutvecklare med intresse för hur språkteknologi byggs kan jag inte låta bli att hålla upp den här utvecklingen som en spegel mot vår egen situation. Svenska är ett relativt välförsett språk i AI-sammanhang – vi har rimlig representation i träningsdata och fungerande modeller. Men hur är det med meänkieli, samiska eller romani? Hur är det med de regionala svenska varieteter som bär på kulturell information som ingen standardsvensk träningskorpus fångar?

Falcon-teamets arbete visar att det går att göra detta tekniskt. Det är inte längre en fråga om möjlighet – det är en fråga om prioritering och resurser. TII är ett statligt finansierat institut i Förenade arabemiraten, vilket påminner oss om att den här typen av kulturellt motiverad språkteknologi ofta kräver ett offentligt åtagande. Marknaden ensam kommer inte att bygga modeller för talgrupper som saknar kommersiell slagkraft.

Det är en diskussion vi borde föra mer aktivt i Sverige och Norden – med forskare, kulturinstitutioner och beslutsfattare vid samma bord.

Öppen källkod som hävstång

En detalj som förtjänar att lyftas fram: Falcon-Emirati-7B släpps med öppen källkod. Det innebär att forskargrupper och utvecklare i hela den arabisktalande världen kan bygga vidare på arbetet utan att be om tillstånd eller betala licensavgifter. Det är precis den typ av infrastruktur som gör att ett enskilt projekts genombrott kan sprida sig och ge avtryck långt utanför det ursprungliga sammanhanget.