LLM soberanos on-premise: a alternativa credível às API americanas

Ainda há dezoito meses, alojar os próprios modelos era uma questão de escolha ideológica ou de restrição extrema. A situação mudou nos três eixos que contam. Os modelos, primeiro: a geração atual de open-weights — Qwen, GLM, Mistral, DeepSeek e afins — cobre com um nível largamente suficiente a maioria dos usos empresariais: síntese, extração, RAG documental, assistência ao código, triagem. O hardware, depois: um par de GPU profissionais recentes basta para servir um modelo de classe 30 a 70 mil milhões de parâmetros quantizado para uma organização de dimensão intermédia. O contexto, por fim: entre as exigências do RGPD sobre os dados sensíveis, o segredo de negócio e o precedente dos controlos de exportação americanos aplicados em junho a modelos de fronteira, a dependência exclusiva das API extraeuropeias tornou-se um risco identificado, documentado e oponível em comité de riscos.

O que «soberano» quer dizer aqui

Sejamos precisos: executar um modelo chinês ou americano open-weights nos próprios servidores não torna o modelo europeu. Mas muda o que importa: os dados nunca saem do perímetro, nenhuma telemetria é enviada, nenhuma condição de utilização pode evoluir unilateralmente e nenhuma decisão estrangeira pode retirar pesos já descarregados. A soberania de utilização — domínio do tratamento, do contexto, do registo — está garantida. A soberania de conceção — quem treinou o modelo, sobre o quê, com que enviesamentos — continua a ser um estaleiro europeu, o dos atores de modelos do continente, que merece ser apoiado pela procura.

A questão colocada depois do incidente de julho

Um debate revelador seguiu-se à publicação do post-mortem da intrusão de julho. Alguns profissionais colocaram publicamente a questão incómoda: a resposta a incidentes assistida por IA — aquela mesma que permitiu detetar o ataque e decifrar as suas cargas úteis — está reservada às organizações ricas em GPU? Os relatos de experiência são mais encorajadores do que o esperado: modelos abertos de dimensão média, servidos em configurações modestas, bastam para uma análise forense útil; alguns relatam análises completas conduzidas em poucas máquinas compactas. A capacidade de resposta soberana não exige um supercomputador; exige ter montado e testado a cadeia antes do incidente.

Os termos honestos da arbitragem

A inferência local tem custos que é preciso nomear: investimento em hardware e competências de operação (serving, quantização, atualizações, avaliação contínua), diferença de desempenho real face aos modelos de fronteira nas tarefas de raciocínio mais exigentes, responsabilidade de segurança — um servidor de inferência mal isolado é uma superfície de ataque, e o verão relembrou-o: os conectores e as ferramentas que se ligam aos modelos devem ser autenticados e delimitados como qualquer acesso privilegiado. A arquitetura razoável é, portanto, híbrida e hierarquizada: local por defeito para tudo o que toca em dados sensíveis, API de fronteira — idealmente europeias, ou contratualmente enquadradas — para as tarefas de ponta sobre dados não sensíveis, e um basculamento testado entre as duas.

A inferência local não substituirá os modelos de fronteira. Restabelece algo mais importante: uma posição negocial. Não se negoceia da mesma forma com um fornecedor que se pode deixar.