Bis 2024 war „on-premise LLM" ein Bastel-Ausdruck. Die verfügbaren Open-Weight-Modelle waren merklich schwächer als GPT-4 oder Claude Sonnet, die Hardware-Anforderungen hoch, die Tool-Integration mühsam. Wer aus Compliance-Gründen keine US-Cloud durfte, musste entweder auf europäische Anbieter mit Vertragstricks ausweichen oder auf KI weitgehend verzichten.
Mitte 2026 ist das Bild anders. Meta hat mit Llama 4 (400B Parameter, teilweise auch 70B-Variante) eine Modell-Familie geliefert, die für die meisten Marketing-Anwendungen auf Augenhöhe mit Claude Sonnet oder GPT-4.5 arbeitet. Alibabas Qwen 3 (in der 200B- und 72B-Variante) ist besonders stark in strukturierten Ausgaben und Tool-Use. Mistrals Large 3 bringt europäische Herkunft mit vergleichbarer Qualität und starkem Fokus auf Reasoning. Alle drei laufen mit vernünftiger Latenz auf einem gut ausgestatteten GPU-Server der 60.000-Euro-Klasse.
Diese Notiz beschreibt drei Dinge: welche der brauchbaren Modelle 2026 wofür passen, wie die Hardware-Realität aussieht und — vielleicht am wichtigsten — was ein On-Prem- Stack nicht löst, auch wenn viele Setups genau das annehmen.
Die drei brauchbaren Modell-Familien 2026.
Llama 4 ist der Generalist. 400B-Parameter Sparse-Mixture-of-Experts, deutsche Sprache solide, Instruction-Following auf GPT-4-Niveau, gute Ergebnisse bei strukturierten Ausgaben. Läuft mit ~200 GB VRAM in halber Präzision, was zwei A100 oder eine H100 mit 80GB nötig macht. Für Marketing-typische Aufgaben (Content-Review, Zusammenfassungen, strukturierte Extraktion) meistens die erste Wahl. Lizenz erlaubt kommerziellen Einsatz unter Meta-Terms; für sensitive Sektoren zusätzliche Rechts-Prüfung nötig.
Qwen 3 in der 200B-Variante schlägt Llama 4 bei Tool-Use und Function- Calling messbar. Für Agent-Workflows mit vielen MCP-Server-Interaktionen ist es 2026 der stärkere Kandidat. Chinesische Herkunft macht es für Public-Sector-DACH regulatorisch schwerer verkaufbar; für Corporate-Umgebungen ohne diese Sensitivität ist es technisch die stärkste Option. Läuft ähnlich wie Llama 4 auf 2×A100 oder 1×H100.
Mistral Large 3 ist der europäische Kandidat mit klarer Herkunft und Datenverarbeitung nach EU-Standards. Etwas schwächer als Llama 4 im Long-Context (bis 128k statt 1M Token), aber deutlich besser als die Version 2 des Vorjahres. Für Marketing-Setups in EU-regulierten Sektoren (Public, Finanz, Gesundheit) mit dokumentierter „EU-Only"-Anforderung ist es die pragmatisch beste Wahl. Läuft auf 2×A100.
Die Hardware-Realität in Zahlen.
Ein produktiv nutzbarer On-Prem-Stack für ein Marketing-Team mit fünf bis fünfzehn Personen kostet 2026 in der Größenordnung 60.000 bis 90.000 Euro Anschaffung. Konkret: ein Server mit 2×NVIDIA A100 80GB (~35.000 Euro) oder 1×H100 80GB (~40.000 Euro), plus 256 GB System-RAM, plus schneller NVMe-Storage, plus ein RTX 4090 für Nebenaufgaben, plus Wartungsvertrag.
Strom-Rechnung: bei durchschnittlicher Auslastung fallen 8 bis 15 kWh pro Tag an, was in AT bei aktuellen Business-Tarifen 40 bis 80 Euro monatlich sind. Das ist gegenüber einer 8.000-Euro-monatlich-Cloud-Rechnung vernachlässigbar. Der wirtschaftliche Break- Even gegen OpenAI oder Anthropic Cloud liegt bei einer Marketing-Nutzung von etwa 1,5 bis 2 Millionen Requests pro Monat — was aktive Teams schnell erreichen.
Was oft unterschätzt wird: Betrieb, nicht Anschaffung. Ein On-Prem-Stack braucht eine DevOps-Person mit LLM-Erfahrung als 20%-Rolle. Model-Updates, Monitoring, Incident- Response bei Ausfall, Sicherheits-Patches. Das sind versteckte 40.000 bis 80.000 Euro Jahres-Kosten für Personal, die im Business-Case oft fehlen. Bei kleineren Setups macht das die Cloud-Alternative wirtschaftlich attraktiver, auch wenn der pure Compute- Preis on-prem günstiger ist.
Was On-Prem nicht löst.
Der häufigste Denkfehler in On-Prem-Diskussionen: „mit On-Prem-LLM haben wir alle Datenschutz-Fragen gelöst". Das stimmt nicht. On-Prem löst genau eine Klasse von Fragen: den Datentransfer an einen externen KI-Anbieter. Es löst weder DSGVO-Anforderungen an Zweckbindung, noch AI-Act-Kategorisierung, noch Auto-Decision-Marker in der Datenschutz-Erklärung, noch das Right-to-Explanation.
Konkret: wenn eure Ad-Selektion auf einem On-Prem-Llama-4 läuft und dabei sensitive Profildaten verarbeitet, ist das genau so problematisch wie mit Cloud-GPT. Der Prüf- Vector der DSB oder des AI Office ist nicht „wo läuft das Modell?", sondern „was tut das System?". On-Prem gibt euch bessere Kontrolle, aber es enthebt euch nicht der materiellen Compliance-Fragen.
Zweiter Punkt, den On-Prem nicht löst: die Ground-Truth-Frage aus meiner Agentic-Systems-Notiz. Ein Llama-4-Agent liefert bei Klasse-4- und Klasse-5-Aufgaben (freie Copy, personalisierte Ad-Selektion) genauso brüchig wie ein GPT-4-Agent. Die Modell-Wahl korrigiert das Ground-Truth-Problem nicht — sie verschiebt es nur nicht ins Ausland.
Dritter Punkt: On-Prem ist keine Air-Gap-Sicherheit. Wenn euer On-Prem-Server im Rechenzentrum steht, ist er ansprechbar für Angreifer wie jeder andere Server. Vector-Store-Poisoning (siehe die separate Notiz zu diesem Thema) funktioniert auf On-Prem-Setups genauso wie auf Cloud-Setups. Wer On-Prem als „per definitionem sicher" verkauft, hat die Angriffs-Realität 2026 nicht verstanden.
Wann On-Prem tatsächlich lohnt.
Aus meiner Erfahrung mit DACH-Mandaten: On-Prem-LLM lohnt sich wirtschaftlich und compliance-technisch in drei Situationen — und selten in anderen.
- Regulierter Sektor mit expliziter „no cloud" oder „EU only"-Vorgabe — Public Sector, teilweise Finanz, teilweise Gesundheit. Hier gibt On-Prem eine klar kommunizierbare Compliance-Story.
- Hoch-sensitiver Content im Regel-Verarbeitungspfad — Vertrags-Analyse mit vertraulichen Konditionen, interne Strategiepapiere, personenbezogene Verhandlungs- Unterlagen. Hier ist Cloud-Prompt-Sichtbarkeit ein reales Risiko.
- Extremes Volumen mit vorhersehbarer Last — ab etwa 2 Millionen Requests pro Monat für einheitliche Aufgaben ist On-Prem strukturell billiger als Cloud, wenn ihr das DevOps-Personal ohnehin habt.
Alles darunter ist meistens ein Cloud-Setup mit ordentlichen AVVs und dokumentierter Datenverarbeitung. Nicht sexy, aber wirtschaftlich sinnvoll.
Was diese Woche noch passieren sollte.
- Business-Case für On-Prem ehrlich rechnen: nicht nur Hardware und Strom, sondern auch DevOps-Personal und Wartung. Vergleich gegen Cloud-Rechnung plus Compliance-Kosten der Cloud-Option.
- Materielle Compliance-Fragen separat lösen: On-Prem-Anschaffung ist keine DSGVO-Antwort. Ihr braucht die Zweckbindung, das Verarbeitungsverzeichnis und die DPIA unabhängig vom Modell-Standort.
- Bei tatsächlichem Bedarf: mit Mistral Large 3 anfangen. Europäische Herkunft ist der kürzeste Compliance-Weg; Qualität reicht für 90 % der Marketing-Fälle. Später Ausbau auf Llama 4 oder Qwen 3 für spezifische Aufgaben.
- Angriffs-Realität ernst nehmen: On-Prem-Server im RZ sind nicht per definitionem sicher. Vector-Store-Poisoning, Prompt-Injection, RAG-Manipulation funktionieren dort wie in der Cloud.
Diese Notiz beschreibt On-Prem-LLM 2026 aus Marketing-Perspektive, nicht aus Infrastruktur-Perspektive. Wenn ihr On-Prem als Option ernst prüft, kommt die technische Detail-Bewertung mit einer Infrastruktur-Person eures Vertrauens. Erste Landkarte für die Compliance-Seite: Erstgespräch — 30 Minuten reichen, um Cloud vs. On-Prem für euren Fall qualitativ zu positionieren.