Meta öppnar AI-arsenalen – medan konkurrenterna gömmer sina hemligheter

Metas radikalt annorlunda strategi

I en bransch där AI-jättarna håller sina mest avancerade modeller som välbevakade hemligheter, går Meta en helt annan väg. Under de senaste månaderna har företaget släppt en imponerande samling AI-verktyg som öppen källkod – och det är en strategi som börjar ge verklig samhällsnytta.

SAM 3D är kanske den mest spektakulära nyheten. Modellen kan omvandla vanliga tvådimensionella fotografier till detaljerade 3D-rekonstruktioner, med två specialiserade versioner: en för objekt och scener, och en för mänskliga kroppar. Som systemutvecklare imponeras jag av den tekniska elegansen – det här är inte bara en cool demo, utan verktyg som kommer förändra allt från speldesign till medicinsk bildbehandling.

SAM Audio tar samma filosofi till ljudvärlden och kan isolera vilket ljud som helst från komplexa ljudmixar. Systemet fungerar på tre sätt: genom textkommandon ("hundskall" eller "sångröst"), visuell styrning där du klickar på en person i en video, eller tidsmarkeringar för att filtrera bort störande ljud. I hjärtat finns Perception Encoder Audiovisual (PE-AV), som fungerar som "öronen" för systemets "hjärna".

Verklig påverkan i fält

Det som verkligen imponerar är hur dessa verktyg redan används i praktiken. Conservation X Labs använder den senaste SAM 3-modellen för att övervaka utrotningshotade arter som Floridas bergslejon – modellen kan nu identifiera och spåra djur i videor genom enkel textinmatning som "grön leguan" eller "bezoarget".

I Storbritannien använder Forest Research Metas DINOv2-modell för att kartlägga träd med meterprecision från satellitbilder. Detta hjälper landet att nå sitt ambitiösa mål att varje person ska bo högst 15 minuters promenad från ett grönområde.

Universities Space Research Association har implementerat SAM för att automatiskt identifiera vatten i drönare- och satellitbilder, vilket revolutionerar översvämningsprognoser. Bakgrunden är allvarlig: sedan 1980 har väderrelaterade katastrofer kostat USA närmare 3000 miljarder dollar.

Språkmångfald och specialiserade tillämpningar

Metas Omnilingual ASR representerar kanske det mest ambitiösa projektet – ett taligenkänningssystem som hanterar över 1600 språk, inklusive 500 lågresursspråk som aldrig tidigare transkriberats av AI. Som tekniker förstår jag utmaningen: traditionella system kräver enorma mängder märkt data för varje språk, men Meta har löst detta genom att skala upp sin wav2vec 2.0-modell till 7 miljarder parametrar.

I den medicinska sektorn använder franska Orakl Oncology DINOv2 för cancerforskning med organoider, vilket förbättrat noggrannheten med 26,8%. University of Pennsylvania implementerar SAM och DINO för DARPA:s treåriga utmaning om automatisk triage på slagfält.

Teknisk infrastruktur som möjliggör allt

Bakom alla dessa tillämpningar ligger Metas ExecuTorch, ett öppet ramverk som nu driver alla Reality Labs-produkter från VR-headset till smarta glasögon. Det eliminerar traditionella konverteringsproblem genom att erbjuda ett helt PyTorch-baserat arbetsflöde.

För utvecklargemenskapen har Meta även släppt Ax och BoTorch – verktyg för adaptiv experimentering som redan används internt för allt från infrastrukturoptimering till algoritmanpassning för News Feed.