Souveräne LLMs on-premise: die glaubwürdige Alternative zu amerikanischen APIs

Vor achtzehn Monaten noch war das Hosten eigener Modelle eine ideologische Entscheidung oder das Ergebnis extremer Zwänge. Die Lage hat sich auf allen drei Achsen verändert, auf die es ankommt. Zuerst die Modelle: Die aktuelle Generation offener Gewichte — Qwen, GLM, Mistral, DeepSeek und Co. — deckt die Mehrheit der Unternehmensanwendungen mit einem völlig ausreichenden Niveau ab: Zusammenfassung, Extraktion, dokumentbasiertes RAG, Code-Assistenz, Triage. Dann die Hardware: Ein Paar aktueller Profi-GPUs genügt, um ein quantisiertes Modell der Klasse 30 bis 70 Milliarden Parameter für eine mittelgroße Organisation zu betreiben. Schließlich der Kontext: Zwischen den DSGVO-Anforderungen an sensible Daten, dem Geschäftsgeheimnis und dem Präzedenzfall der im Juni auf Frontier-Modelle angewendeten amerikanischen Exportkontrollen ist die ausschließliche Abhängigkeit von außereuropäischen APIs zu einem identifizierten, dokumentierten und im Risikokomitee belastbaren Risiko geworden.

Was „souverän" hier bedeutet

Seien wir präzise: Ein chinesisches oder amerikanisches Open-Weights-Modell auf eigenen Servern auszuführen macht das Modell nicht europäisch. Aber es verändert das, worauf es ankommt: Die Daten verlassen den Perimeter nie, keine Telemetrie fließt ab, keine Nutzungsbedingung kann sich einseitig ändern, und keine ausländische Entscheidung kann bereits heruntergeladene Gewichte zurückziehen. Die Nutzungssouveränität — Kontrolle über Verarbeitung, Kontext und Protokoll — ist gesichert. Die Entwurfssouveränität — wer das Modell trainiert hat, womit, mit welchen Verzerrungen — bleibt eine europäische Baustelle, die der Modellakteure des Kontinents, und verdient es, durch Nachfrage gestützt zu werden.

Die Frage, die der Juli-Vorfall aufgeworfen hat

Auf die Veröffentlichung des Post-mortems der Juli-Intrusion folgte eine aufschlussreiche Debatte. Praktiker stellten öffentlich die unbequeme Frage: Ist KI-gestützte Incident Response — genau die, mit der der Angriff entdeckt und seine Payloads entschlüsselt wurden — den GPU-reichen Organisationen vorbehalten? Die Erfahrungsberichte sind ermutigender als erwartet: Offene Modelle mittlerer Größe, auf bescheidenen Konfigurationen betrieben, reichen für eine brauchbare forensische Analyse; manche berichten von vollständigen Analysen auf wenigen kompakten Maschinen. Souveräne Reaktionsfähigkeit erfordert keinen Supercomputer; sie erfordert, die Kette vor dem Vorfall aufgebaut und getestet zu haben.

Die ehrlichen Bedingungen der Abwägung

Lokale Inferenz hat Kosten, die man benennen muss: Hardware-Investition und Betriebskompetenzen (Serving, Quantisierung, Updates, kontinuierliche Evaluation), ein realer Leistungsabstand zu den Frontier-Modellen bei den anspruchsvollsten Reasoning-Aufgaben, Verantwortung für die Absicherung — ein schlecht isolierter Inferenzserver ist eine Angriffsfläche, und der Sommer hat es in Erinnerung gerufen: Die Konnektoren und Tools, die man an die Modelle anschließt, müssen authentifiziert und begrenzt werden wie jeder privilegierte Zugang. Die vernünftige Architektur ist deshalb hybrid und gestuft: lokal als Standard für alles, was sensible Daten berührt, Frontier-APIs — idealerweise europäische oder vertraglich abgesicherte — für Spitzenaufgaben auf nicht sensiblen Daten, und ein getesteter Umschaltmechanismus zwischen beiden.

Lokale Inferenz wird die Frontier-Modelle nicht ersetzen. Sie stellt etwas Wichtigeres wieder her: eine Verhandlungsposition. Mit einem Anbieter, den man verlassen kann, verhandelt man anders.