Modelli aperti maturi, GPU accessibili, vincoli normativi e geopolitici crescenti: l’inferenza locale non è più una scelta militante. È un’opzione di architettura razionale — a condizione di conoscerne i veri termini.
Ancora diciotto mesi fa, ospitare i propri modelli era una questione di scelta ideologica o di vincolo estremo. La situazione è cambiata sui tre assi che contano. I modelli, anzitutto: l’attuale generazione di pesi aperti — Qwen, GLM, Mistral, DeepSeek e affini — copre con un livello ampiamente sufficiente la maggior parte degli usi aziendali: sintesi, estrazione, RAG documentale, assistenza al codice, triage. L’hardware, poi: una coppia di GPU professionali recenti basta a servire un modello di classe da 30 a 70 miliardi di parametri quantizzato per un’organizzazione di dimensioni intermedie. Il contesto, infine: tra i requisiti GDPR sui dati sensibili, il segreto industriale e il precedente dei controlli sulle esportazioni americani applicati a giugno a modelli di frontiera, la dipendenza esclusiva dalle API extra-europee è diventata un rischio identificato, documentato e opponibile in comitato dei rischi.
Siamo precisi: eseguire un modello cinese o americano a pesi aperti sui propri server non rende il modello europeo. Ma cambia ciò che conta: i dati non lasciano mai il perimetro, nessuna telemetria viene inviata, nessuna condizione d’uso può evolvere unilateralmente e nessuna decisione straniera può revocare pesi già scaricati. La sovranità d’uso — controllo del trattamento, del contesto, del registro — è acquisita. La sovranità di progettazione — chi ha addestrato il modello, su che cosa, con quali bias — resta un cantiere europeo, quello degli attori dei modelli del continente, che merita di essere sostenuto dalla domanda.
Un dibattito rivelatore ha seguito la pubblicazione del post-mortem dell’intrusione di luglio. Alcuni professionisti hanno posto pubblicamente la domanda scomoda: la risposta agli incidenti assistita dall’IA — quella stessa che ha permesso di rilevare l’attacco e di decifrarne i payload — è riservata alle organizzazioni ricche di GPU? I riscontri sul campo sono più incoraggianti del previsto: modelli aperti di taglia media, serviti su configurazioni modeste, bastano a un’analisi forense utile; alcuni riferiscono analisi complete condotte su poche macchine compatte. La capacità di risposta sovrana non richiede un supercomputer; richiede di aver predisposto e testato la catena prima dell’incidente.
L’inferenza locale ha costi che vanno nominati: investimento hardware e competenze operative (serving, quantizzazione, aggiornamenti, valutazione continua), divario di prestazioni reale con i modelli di frontiera sui compiti di ragionamento più esigenti, responsabilità della messa in sicurezza — un server di inferenza mal isolato è una superficie di attacco, e l’estate lo ha ricordato: i connettori e gli strumenti che si collegano ai modelli devono essere autenticati e delimitati come qualsiasi accesso privilegiato. L’architettura ragionevole è dunque ibrida e gerarchizzata: locale per impostazione predefinita per tutto ciò che riguarda i dati sensibili, API di frontiera — idealmente europee, o contrattualmente inquadrate — per i compiti di punta su dati non sensibili, e una commutazione testata tra le due.
L’inferenza locale non sostituirà i modelli di frontiera. Ristabilisce qualcosa di più importante: una posizione negoziale. Non si tratta allo stesso modo con un fornitore che si può lasciare.
Geopolitica · 6 min
Washington ha applicato controlli sulle esportazioni ai modelli stessi. Un precedente che sposta la questione dai dati alla capacità di pensare.
Strategia · 6 min
Nessun attore europeo lascerà AWS, Azure o Google Cloud a breve termine. Cinque mosse per trasformare una dipendenza subita in una dipendenza governata.
Open source · 6 min
L’incidente di luglio ha parlato a favore dell’apertura tanto quanto contro. L’open source non è sovrano per natura — è sovranizzabile.
Prenotate un appuntamento: trasformiamo volentieri un articolo in una risposta al vostro caso specifico, con i vostri vincoli di hosting e di conformità.