Suvereenit LLM:t on-premise: uskottava vaihtoehto amerikkalaisille API:ille

Vielä puolitoista vuotta sitten omien mallien isännöinti oli joko ideologinen valinta tai äärimmäinen pakko. Tilanne on muuttunut kolmella merkittävällä akselilla. Ensin mallit: avoimen painon nykysukupolvi — Qwen, GLM, Mistral, DeepSeek ja kumppanit — kattaa reilusti riittävällä tasolla suurimman osan yrityskäytöistä: tiivistäminen, poiminta, dokumenttien RAG, koodin avustus, triage. Seuraavaksi laitteisto: pari tuoretta ammattikäytön GPU:ta riittää tarjoilemaan 30–70 miljardin parametrin luokan kvantisoidun mallin keskikokoiselle organisaatiolle. Ja lopuksi konteksti: arkaluontoisia tietoja koskevien GDPR-vaatimusten, liikesalaisuuden ja kesäkuussa frontier-malleihin sovellettujen amerikkalaisten vientirajoitusten ennakkotapauksen välissä yksinomainen riippuvuus Euroopan ulkopuolisista API:ista on muuttunut tunnistetuksi, dokumentoiduksi ja riskikomiteassa esitettävissä olevaksi riskiksi.

Mitä ”suvereeni” tässä tarkoittaa

Ollaan täsmällisiä: avoimen painon kiinalaisen tai amerikkalaisen mallin ajaminen omilla palvelimilla ei tee mallista eurooppalaista. Mutta se muuttaa sen, mikä on olennaista: data ei koskaan poistu piiristä, mitään telemetriaa ei valu ylöspäin, mitkään käyttöehdot eivät voi muuttua yksipuolisesti, eikä mikään ulkomainen päätös voi vetää pois jo ladattuja painoja. Käyttösuvereniteetti — käsittelyn, kontekstin ja lokin hallinta — on saavutettu. Suunnittelusuvereniteetti — kuka koulutti mallin, millä, millaisilla vinoumilla — jää eurooppalaiseksi työmaaksi, mantereen mallitoimijoiden työmaaksi, joka ansaitsee tulla kysynnän tukemaksi.

Heinäkuun tapauksen jälkeen esitetty kysymys

Paljastava keskustelu seurasi heinäkuun tunkeutumisen post mortemin julkaisua. Ammattilaiset esittivät julkisesti harmittavan kysymyksen: onko tekoälyavusteinen häiriönhallinta — juuri se, joka mahdollisti hyökkäyksen havaitsemisen ja sen hyötykuormien purkamisen — varattu GPU-rikkaille organisaatioille? Kokemukset ovat odotettua rohkaisevampia: keskikokoiset avoimet mallit, tarjoiltuna vaatimattomilla kokoonpanoilla, riittävät hyödylliseen forensiseen analyysiin; jotkut raportoivat täydellisistä analyyseistä, jotka on tehty muutamalla kompaktilla koneella. Suvereeni vastauskyky ei vaadi supertietokonetta; se vaatii ketjun pystyttämistä ja testaamista ennen tapausta.

Punninnan rehelliset ehdot

Paikallisella inferenssillä on kustannuksia, jotka on nimettävä: laitteistoinvestointi ja käyttöosaaminen (serving, kvantisointi, päivitykset, jatkuva arviointi), todellinen suorituskykyero frontier-malleihin nähden vaativimmissa päättelytehtävissä, turvaamisen vastuu — huonosti eristetty inferenssipalvelin on hyökkäyspinta, ja kesä muistutti siitä: malleihin kytkettävien liittimien ja työkalujen on oltava todennettuja ja rajattuja kuten minkä tahansa etuoikeutetun pääsyn. Järkevä arkkitehtuuri on siis hybridi ja porrastettu: paikallinen oletuksena kaikelle, mikä koskettaa arkaluontoisia tietoja, frontier-API:t — mieluiten eurooppalaiset tai sopimuksellisesti kehystetyt — huipputehtäviin ei-arkaluontoisella datalla, ja testattu vaihto näiden kahden välillä.

Paikallinen inferenssi ei korvaa frontier-malleja. Se palauttaa jotain tärkeämpää: neuvotteluaseman. Toimittajan kanssa, jonka voi jättää, ei keskustella samalla tavalla.