Suveräna LLM:er on-premise: det trovärdiga alternativet till amerikanska API:er

För bara arton månader sedan var det att hosta sina egna modeller ett ideologiskt val eller en följd av extrema tvång. Läget har förändrats längs de tre axlar som spelar roll. Modellerna, för det första: den nuvarande generationen av öppna vikter — Qwen, GLM, Mistral, DeepSeek med flera — täcker med en fullt tillräcklig nivå merparten av företagens användningsområden: sammanfattning, extraktion, dokument-RAG, kodassistans, gallring. Hårdvaran, för det andra: ett par moderna professionella GPU:er räcker för att servera en kvantiserad modell i klassen 30 till 70 miljarder parametrar åt en medelstor organisation. Kontexten, till sist: mellan GDPR-kraven på känsliga data, affärshemligheterna och prejudikatet med de amerikanska exportkontroller som i juni tillämpades på frontier-modeller har det exklusiva beroendet av utomeuropeiska API:er blivit en risk som är identifierad, dokumenterad och möjlig att lyfta i en riskkommitté.

Vad ”suverän” betyder här

Låt oss vara precisa: att köra en kinesisk eller amerikansk modell med öppna vikter på sina egna servrar gör inte modellen europeisk. Men det ändrar det som betyder något: data lämnar aldrig perimetern, ingen telemetri skickas tillbaka, inga användarvillkor kan ändras ensidigt och inget utländskt beslut kan dra tillbaka vikter som redan laddats ned. Användningssuveräniteten — kontroll över behandlingen, kontexten och loggen — är säkrad. Designsuveräniteten — vem som tränade modellen, på vad, med vilka bias — förblir ett europeiskt arbete, kontinentens modellaktörers, som förtjänar att stödjas av efterfrågan.

Frågan som ställdes efter juliincidenten

En avslöjande debatt följde på publiceringen av post mortem-rapporten om juliintrånget. Praktiker ställde offentligt den fråga som skaver: är AI-assisterad incidenthantering — just den som gjorde det möjligt att upptäcka attacken och dechiffrera dess nyttolaster — förbehållen GPU-rika organisationer? Erfarenheterna är mer uppmuntrande än väntat: öppna modeller av medelstorlek, serverade på blygsamma konfigurationer, räcker för en användbar forensisk analys; vissa rapporterar fullständiga analyser genomförda på ett fåtal kompakta maskiner. Den suveräna responsförmågan kräver ingen superdator; den kräver att man byggt upp och testat kedjan före incidenten.

Avvägningens ärliga villkor

Lokal inferens har kostnader som måste namnges: investering i hårdvara och driftkompetens (serving, kvantisering, uppdateringar, kontinuerlig utvärdering), en verklig prestandaskillnad gentemot frontier-modellerna på de mest krävande resonemangsuppgifterna, samt ansvaret för säkerheten — en dåligt isolerad inferensserver är en attackyta, och sommaren påminde om det: de konnektorer och verktyg man kopplar till modellerna måste vara autentiserade och avgränsade som vilken privilegierad åtkomst som helst. Den rimliga arkitekturen är alltså hybrid och hierarkiserad: lokalt som standard för allt som rör känsliga data, frontier-API:er — helst europeiska, eller avtalsmässigt inramade — för spjutspetsuppgifter på icke-känsliga data, och en testad omställning mellan de två.

Lokal inferens ersätter inte frontier-modellerna. Den återupprättar något viktigare: en förhandlingsposition. Man diskuterar inte på samma sätt med en leverantör man kan lämna.