Suverene LLM-er on-premise: det troverdige alternativet til amerikanske API-er

For bare atten måneder siden var det å hoste sine egne modeller enten et ideologisk valg eller en ytterste tvang. Situasjonen har endret seg på de tre aksene som betyr noe. Først modellene: dagens generasjon av åpne vekter — Qwen, GLM, Mistral, DeepSeek og liknende — dekker med et mer enn tilstrekkelig nivå størstedelen av virksomheters bruksområder: oppsummering, uttrekk, dokument-RAG, kodeassistanse, triage. Deretter maskinvaren: et par nyere profesjonelle GPU-er er nok til å servere en kvantisert modell i klassen 30 til 70 milliarder parametere for en mellomstor organisasjon. Og til slutt konteksten: mellom GDPR-kravene til sensitive data, forretningshemmeligheter, og presedensen fra de amerikanske eksportkontrollene som i juni ble anvendt på frontmodeller, er den eksklusive avhengigheten av ikke-europeiske API-er blitt en identifisert, dokumentert risiko som kan legges frem i risikoutvalget.

Hva «suveren» betyr her

La oss være presise: å kjøre en kinesisk eller amerikansk modell med åpne vekter på egne servere gjør ikke modellen europeisk. Men det endrer det som teller: dataene forlater aldri perimeteret, ingen telemetri sendes tilbake, ingen bruksvilkår kan endres ensidig, og ingen utenlandsk beslutning kan trekke tilbake vekter som allerede er lastet ned. Bruks-suvereniteten — kontroll over behandlingen, konteksten, loggen — er sikret. Design-suvereniteten — hvem som trente modellen, på hva, med hvilke skjevheter — forblir et europeisk arbeid, det som tilhører kontinentets modellaktører, og som fortjener å støttes av etterspørselen.

Spørsmålet som ble stilt etter juli-hendelsen

En avslørende debatt fulgte publiseringen av post-mortem-rapporten for juli-inntrengingen. Fagfolk stilte offentlig det ubehagelige spørsmålet: er KI-assistert hendelsesrespons — nettopp den som gjorde det mulig å oppdage angrepet og dechiffrere nyttelastene — forbeholdt organisasjoner med rikelig av GPU-er? Erfaringene er mer oppmuntrende enn ventet: mellomstore åpne modeller, servert på beskjedne oppsett, er nok til en nyttig forensisk analyse; enkelte rapporterer om fullstendige analyser gjennomført på noen få kompakte maskiner. Suveren responskapasitet krever ingen superdatamaskin; den krever at man har satt opp og testet kjeden før hendelsen inntreffer.

De ærlige premissene for avveiningen

Lokal inferens har kostnader man må sette ord på: investering i maskinvare og driftskompetanse (serving, kvantisering, oppdateringer, kontinuerlig evaluering), et reelt ytelsesgap mot frontmodellene på de mest krevende resonneringsoppgavene, og ansvaret for sikring — en dårlig isolert inferensserver er en angrepsflate, og sommeren minnet oss om det: konnektorene og verktøyene man kobler til modellene, må autentiseres og avgrenses som enhver privilegert tilgang. Den fornuftige arkitekturen er derfor hybrid og hierarkisert: lokalt som standard for alt som berører sensitive data, frontmodell-API-er — helst europeiske, eller kontraktsmessig rammet inn — for spisse oppgaver på ikke-sensitive data, og en testet omkobling mellom de to.

Lokal inferens vil ikke erstatte frontmodellene. Den gjenoppretter noe viktigere: en forhandlingsposisjon. Man forhandler ikke på samme måte med en leverandør man kan forlate.