Suwerenne LLM on-premise: wiarygodna alternatywa dla amerykańskich API

Jeszcze osiemnaście miesięcy temu hostowanie własnych modeli było wyborem ideologicznym albo skutkiem skrajnego przymusu. Sytuacja zmieniła się na trzech osiach, które mają znaczenie. Po pierwsze modele: obecna generacja otwartych wag — Qwen, GLM, Mistral, DeepSeek i pokrewne — pokrywa z zapasem większość zastosowań firmowych: streszczenia, ekstrakcję, RAG na dokumentach, wsparcie kodowania, triage. Po drugie sprzęt: para nowszych profesjonalnych GPU wystarcza, by serwować skwantyzowany model klasy od 30 do 70 miliardów parametrów dla organizacji średniej wielkości. Po trzecie kontekst: między wymogami RODO wobec danych wrażliwych, tajemnicą przedsiębiorstwa a precedensem amerykańskich kontroli eksportu nałożonych w czerwcu na modele frontierowe, wyłączna zależność od pozaeuropejskich API stała się ryzykiem zidentyfikowanym, udokumentowanym i możliwym do przedstawienia na komitecie ryzyka.

Co znaczy tutaj „suwerenny”

Bądźmy precyzyjni: uruchomienie chińskiego lub amerykańskiego modelu o otwartych wagach na własnych serwerach nie czyni modelu europejskim. Zmienia jednak to, co istotne: dane nigdy nie opuszczają obwodu, żadna telemetria nie wypływa, żaden warunek użytkowania nie może się jednostronnie zmienić, a żadna zagraniczna decyzja nie może odebrać już pobranych wag. Suwerenność użytkowa — kontrola nad przetwarzaniem, kontekstem, dziennikiem — jest osiągnięta. Suwerenność projektowa — kto wytrenował model, na czym, z jakimi uprzedzeniami — pozostaje europejskim placem budowy, zadaniem kontynentalnych twórców modeli, które zasługuje na wsparcie przez popyt.

Pytanie postawione po lipcowym incydencie

Po publikacji post-mortem lipcowego włamania wywiązała się wymowna debata. Praktycy publicznie postawili niewygodne pytanie: czy reagowanie na incydenty wspierane przez AI — dokładnie to, które pozwoliło wykryć atak i rozszyfrować jego ładunki — jest zarezerwowane dla organizacji bogatych w GPU? Doświadczenia są bardziej zachęcające, niż można było oczekiwać: otwarte modele średniej wielkości, serwowane na skromnych konfiguracjach, wystarczają do użytecznej analizy forensycznej; niektórzy relacjonują pełne analizy przeprowadzone na kilku kompaktowych maszynach. Suwerenna zdolność reagowania nie wymaga superkomputera; wymaga zbudowania i przetestowania łańcucha przed incydentem.

Uczciwe warunki tego wyboru

Lokalna inferencja ma koszty, które trzeba nazwać: inwestycja sprzętowa i kompetencje eksploatacyjne (serwowanie, kwantyzacja, aktualizacje, ciągła ewaluacja), realna różnica wydajności wobec modeli frontierowych na najbardziej wymagających zadaniach rozumowania, odpowiedzialność za zabezpieczenie — źle odizolowany serwer inferencji jest powierzchnią ataku, a lato o tym przypomniało: konektory i narzędzia, które podpina się do modeli, muszą być uwierzytelniane i ograniczane jak każdy dostęp uprzywilejowany. Rozsądna architektura jest zatem hybrydowa i zhierarchizowana: lokalnie domyślnie dla wszystkiego, co dotyka danych wrażliwych, API frontierowe — najlepiej europejskie lub uregulowane umownie — dla najbardziej zaawansowanych zadań na danych niewrażliwych, oraz przetestowane przełączanie między nimi.

Lokalna inferencja nie zastąpi modeli frontierowych. Przywraca coś ważniejszego: pozycję negocjacyjną. Inaczej rozmawia się z dostawcą, którego można porzucić.