Warum Unternehmen über ein eigenes LLM nachdenken
Ein Large Language Model (LLM) ist das Sprachmodell hinter Chatbots, Assistenten und Textautomatisierung. Die meisten Firmen nutzen es über eine Schnittstelle (API) von OpenAI, Google, Anthropic oder Mistral. Immer mehr Mittelständler fragen aber: Können wir das nicht selbst betreiben – auf eigenem Server, mit einem offenen Modell?
Die Gründe sind nachvollziehbar:
- Datenhoheit: Vertrauliche Dokumente, Personaldaten oder Konstruktionspläne verlassen das eigene Haus nicht.
- Unabhängigkeit: Keine Preis- oder Modelländerungen von außen. Google hat zum Beispiel für Gemini 4 Argon eine Verdopplung der Preise ab 01.12.2026 angekündigt.
- Feste Kosten: Abschreibung statt nutzungsabhängiger Rechnung.
Möglich ist das, weil es inzwischen gute offene Modelle gibt, deren Gewichte frei herunterladbar sind – etwa gpt-oss von OpenAI, Gemma 4 von Google, Qwen von Alibaba, Mistral Small 4 oder Llama 4 Scout von Meta. Die Frage ist nur: Was kostet die Hardware dafür?
Wie viel Grafikspeicher braucht ein eigenes LLM?
Entscheidend ist der Grafikspeicher (VRAM). Das Modell muss vollständig hineinpassen, dazu der Zwischenspeicher für laufende Gespräche. Die Faustformel:
VRAM ≈ Modellgewichte + Gesprächsspeicher + 10–20 % Reserve. Die Gewichte ergeben sich aus Parameterzahl × Bytes je Parameter: 2 Byte in voller Genauigkeit (FP16), 1 Byte bei 8 Bit, rund 0,5 bis 0,6 Byte bei 4-Bit-Quantisierung. Ein Modell mit 70 Milliarden Parametern braucht so in FP16 rund 140 GB, in 4 Bit etwa 40 GB plus Gesprächsspeicher.
Bei sogenannten MoE-Modellen (Mixture of Experts) zählt für den Speicher die Gesamtzahl der Parameter, für die Geschwindigkeit nur die gerade aktiven. Deshalb laufen einige große Modelle erstaunlich schnell.
| Offenes Modell | Parameter (gesamt / aktiv) | Lizenz | Passt auf |
|---|---|---|---|
| gpt-oss-20b (OpenAI) | 21 Mrd. / 3,6 Mrd. | Apache 2.0 | Karte mit 16 GB |
| gpt-oss-120b (OpenAI) | 117 Mrd. / 5,1 Mrd. | Apache 2.0 | eine 80-GB-Karte, z. B. H100 oder RTX PRO 6000 |
| Gemma 4 31B (Google) | 31 Mrd., dicht | Apache 2.0 | in 4 Bit ≈ 21 GB, z. B. RTX 5090 |
| Qwen3.8-27B (Alibaba) | 27 Mrd., dicht | Apache 2.0 | voll ≈ 56 GB (RTX PRO 6000), in 4 Bit RTX 5090 |
| Llama 4 Scout (Meta) | 109 Mrd. / 17 Mrd. | Llama 4 Community License | in 4 Bit eine H100 |
| DeepSeek V4.1 Flash | mehrere hundert Mrd. / 16 Mrd. | MIT | ab 4 Blackwell-Karten – Rechenzentrumsklasse |
Wie schnell das läuft, zeigt ein Test von Hardware Corner auf einer RTX PRO 6000: gpt-oss-120b erzeugt dort für einen einzelnen Nutzer rund 210 Tokens pro Sekunde, Gemma 4 31B etwa 62. Bei 50 gleichzeitigen Anfragen schafft dieselbe Karte mit gpt-oss-120b laut einem Test des Anbieters DatabaseMart zusammen etwa 1.780 Tokens pro Sekunde. Zur Einordnung: Ein Token entspricht im Deutschen grob einem Dreiviertelwort – mehr dazu im Glossar unter KI-Token.
Kaufpreise im Oktober 2026: Was kosten Grafikkarten für KI?
Die folgende Übersicht zeigt Straßenpreise in Deutschland (Preisvergleich Geizhals bzw. Apple) und Schätzungen für Rechenzentrumskarten.
| Hardware | Speicher | Preis | Leistungsaufnahme |
|---|---|---|---|
| NVIDIA GeForce RTX 5090 | 32 GB | ab 7.367 € brutto | 575 W |
| NVIDIA RTX PRO 6000 Blackwell Max-Q | 96 GB | ab 17.499 € brutto | 300 W |
| NVIDIA DGX Spark (Kompaktrechner) | 128 GB gemeinsam | ab 7.450 € brutto | bis 240 W (System) |
| Apple Mac Studio M5 Ultra | 96 GB gemeinsam | ab 6.599 € brutto | keine Messung belegt |
| Apple Mac Studio M5 Ultra | 256 GB gemeinsam | 10.999 € brutto | keine Messung belegt |
| NVIDIA H100 | 80–94 GB | ca. 25.000–40.000 $ | 300–700 W |
| Server mit 8× H100 / 8× B200 | 640 GB und mehr | ca. 250.000–500.000 $ | mehrere Kilowatt |
Für den Mittelstand sind realistisch vor allem drei Wege: eine Workstation oder ein Server mit RTX PRO 6000 (96 GB, schnell), die DGX Spark (viel Speicher, sparsam, aber mit 273 GB/s Speicherbandbreite deutlich langsamer) und der Mac Studio mit viel gemeinsamem Speicher. H100- und B200-Karten werden praktisch nur als komplette Server über Hersteller wie Dell, HPE oder Supermicro verkauft und sind für die meisten Firmen überdimensioniert.
Warum sind Grafikkarten 2026 so teuer?
Der Hauptgrund ist eine weltweite Speicherknappheit. Die KI-Rechenzentren kaufen riesige Mengen an Arbeits- und Grafikspeicher. Laut dem Marktforscher TrendForce stiegen die Vertragspreise für DRAM 2026 im zweiten Quartal um rund 80 Prozent und im dritten um rund 40 Prozent gegenüber dem Vorquartal, für das vierte Quartal erwartet TrendForce weitere rund 20 Prozent.
- RTX 5090: Anfang April 2026 noch rund 3.500 €, Anfang Oktober über 6.000 €, Ende Oktober ab 7.367 € – bei einem Richtpreis von 2.099 €.
- RTX PRO 6000: Der US-Preis bei NVIDIA stieg von 8.565 $ zum Marktstart im März 2025 auf 16.000 $.
- DGX Spark: zwei Preiserhöhungen 2026, von 3.999 $ über 4.699 $ auf 6.950 $ seit 02.10.2026 – laut NVIDIA wegen der Speicherkosten.
- Mieten: Auch Cloud-Anbieter ziehen nach, laut Branchenberichten erhöhte zum Beispiel Nebius zum 01.10.2026 seine Stundenpreise.
Für Kaufentscheidungen heißt das: Wer jetzt kauft, zahlt einen Krisenaufschlag. Eine Entspannung ist laut TrendForce kurzfristig nicht in Sicht, Hochleistungsspeicher (HBM) gilt bis 2028 als knapp.
Mietpreise: GPU-Server je Monat und je Stunde
Statt zu kaufen, können Sie Grafikkarten mieten – monatlich als dedizierten Server oder stundenweise in der Cloud.
Dedizierte GPU-Server in Europa (Monatspreis)
| Anbieter und Modell | Grafikkarte | Monat | Einrichtung |
|---|---|---|---|
| Hetzner GEX45 | 1× RTX PRO 4000 (24 GB) | 214 € netto | 209 € |
| Hetzner GEX63 | 1× RTX PRO 6000 (96 GB) | 999 € netto | 999 € |
| Hetzner GEX131 | 1× RTX PRO 6000 (96 GB), Xeon | ab 1.499 € netto | 1.499 € |
| Hetzner GEX430 | 4× RTX PRO 6000 (384 GB) | 3.599 € netto | 3.599 € |
| IONOS GPU-Server | RTX PRO 6000 (96 GB) | max. 1.800 € brutto | 1.800 € |
GPU-Cloud je Stunde
| Anbieter | H100 je Stunde | Weitere Karten |
|---|---|---|
| OVHcloud (Frankreich) | ≈ 2,80 € netto | L40S ≈ 1,40 € netto |
| RunPod | 3,99 $ (Secure Cloud) | RTX PRO 6000 2,49 $, RTX 5090 1,19 $ |
| Lambda | 3,99–4,29 $ | B200 6,69–6,99 $ |
| CoreWeave | ≈ 6,16 $ | B200 ≈ 8,60 $ |
| AWS (8× H100, umgerechnet) | ≈ 6,88 $ | günstiger mit Spot oder Laufzeitbindung |
Stundenpreise wirken günstig, summieren sich im Dauerbetrieb aber schnell: Eine RTX PRO 6000 bei RunPod rund um die Uhr kostet etwa 1.630 € im Monat. Bei Hetzner kommt zum Monatspreis eine Einrichtungsgebühr in gleicher Höhe dazu – das lohnt sich nur bei längerer Nutzung.
Zum Vergleich: Was kostet dieselbe Arbeit über eine API?
Über eine API zahlen Sie nur, was Sie verbrauchen – abgerechnet je Million Tokens, getrennt nach Eingabe (Ihre Frage und Dokumente) und Ausgabe (die Antwort).
| Modell | Eingabe je 1 Mio. Tokens | Ausgabe je 1 Mio. Tokens |
|---|---|---|
| Mistral Small 4 | 0,15 $ | 0,60 $ |
| OpenAI GPT-5 mini | 0,25 $ | 2,00 $ |
| Google Gemini 2.5 Flash | 0,30 $ | 2,50 $ |
| Mistral Large | 0,50 $ | 1,50 $ |
| OpenAI gpt-5.4-mini | 0,75 $ | 4,50 $ |
| Anthropic Claude Sonnet 5.5 | 2,00 $ | 10,00 $ |
| OpenAI GPT-5.5 | 5,00 $ | 30,00 $ |
Wie Sie die Datenschutzseite bei API-Anbietern absichern, steht im Ratgeber AVV bei KI-Tools.
Beispielrechnung: Mittelständler mit 50 Mitarbeitenden
Nehmen wir einen Betrieb mit 50 Mitarbeitenden, die einen internen KI-Assistenten für Fragen, Texte und Dokumente nutzen. Annahme: 20 Millionen Tokens im Monat, davon 15 Millionen Eingabe und 5 Millionen Ausgabe. Das ist schon eine rege Nutzung. Alle Werte netto, eigene Rechnung mit offengelegten Annahmen.
Variante A: eigener Server
- 2× RTX PRO 6000 (rund 29.400 € netto) plus Server mit Prozessor, Arbeitsspeicher und SSD (angenommen 8.000 €): 37.400 € über 36 Monate abgeschrieben = rund 1.040 € im Monat.
- Strom: durchschnittlich 400 W, 24 ct/kWh, 30 % Zuschlag für Kühlung = rund 90 € im Monat. Zum Vergleich: Der BDEW nennt für kleine bis mittlere Industriebetriebe 2026 im Schnitt 17,2 ct/kWh, kleinere Gewerbekunden zahlen mehr.
- Betrieb: Updates, Überwachung, Modellpflege und Sicherheit, angenommen 4 Stunden à 90 € plus 60 € Rücklage = 420 € im Monat.
Zusammen rund 1.550 € im Monat. Mit nur einer Karte in einer Workstation sind es rund 1.025 €, mit einer DGX Spark etwa 615 € – dann allerdings deutlich langsamer.
Variante B: gemieteter GPU-Server
Hetzner GEX63 mit einer RTX PRO 6000: 999 € Miete, Einrichtung auf 36 Monate verteilt rund 28 €, dazu derselbe Betriebsaufwand von 360 € = rund 1.390 € im Monat.
Variante C: API
15 Millionen Eingabe- und 5 Millionen Ausgabe-Tokens kosten mit Mistral Small 4 rund 5 €, mit GPT-5 mini rund 12 €, mit gpt-5.4-mini rund 30 €, mit Claude Sonnet 5.5 rund 72 € und mit GPT-5.5 rund 200 € im Monat (umgerechnet zum EZB-Kurs vom 27.10.2026).
Eigener Server≈ 1.550 €2× RTX PRO 6000, 36 Monate, Strom und Betrieb
Gemietet (Hetzner)≈ 1.390 €1× RTX PRO 6000 inkl. Betrieb
API≈ 12–72 €GPT-5 mini bis Claude Sonnet 5.5, gleiche Menge
Der Grund für den großen Abstand: Bei 20 Millionen Tokens wäre eine einzige RTX PRO 6000 nur zu rund 0,4 Prozent ausgelastet. Sie bezahlen eine Maschine, die fast immer wartet. Rechnerisch gleichen sich die Kosten erst bei deutlich größeren Mengen an: gegenüber gpt-5.4-mini bei rund 1 Milliarde Tokens im Monat, gegenüber Claude Sonnet 5.5 bei rund 430 Millionen.
Qualität nicht vergessen: Ein lokales gpt-oss-120b ist nicht automatisch so gut wie die Spitzenmodelle der großen Anbieter. Fair ist der Vergleich mit API-Modellen derselben Klasse – und dort liegt die Schwelle, ab der sich eigene Hardware rechnet, im Milliardenbereich.
Wann sich ein eigener KI-Server trotzdem lohnt
Rein rechnerisch gewinnt für die meisten Mittelständler die API. Es gibt aber gute Gründe für eigene oder gemietete Hardware:
- Strenge Vertraulichkeit: Berufsgeheimnisträger, Entwicklungsabteilungen oder Personaldaten, die keinen externen Dienst sehen sollen.
- Sehr große Mengen: Massenhafte Dokumentenverarbeitung mit mehreren hundert Millionen Tokens im Monat.
- Feste, spezialisierte Aufgaben: Ein kleineres, auf Ihre Daten zugeschnittenes Modell, das eine Aufgabe sehr gut löst.
- Offline-Betrieb: Produktion oder Standorte ohne verlässliche Internetverbindung.
Gegen einen Kauf gerade jetzt sprechen die Rekordpreise, Lieferzeiten, das nötige Betriebswissen und fehlende Ausfallsicherheit bei nur einer Karte. Ein guter Mittelweg ist oft die Miete in Europa: europäischer Standort, monatlich planbar, keine Kapitalbindung – und wenn die Preise fallen, können Sie immer noch kaufen.
In der Praxis empfehlen wir häufig eine Kombination: Alltagsaufgaben über eine API mit Vertrag zur Auftragsverarbeitung und europäischer Verarbeitung, besonders sensible Daten über ein offenes Modell auf gemieteter oder eigener Hardware. Welche Technik hinter KI-Assistenten mit Firmenwissen steckt, erklärt das Glossar unter RAG.
Häufige Fragen
Was kostet ein eigener KI-Server?
Ein Server mit zwei RTX PRO 6000 mit je 96 GB kostet im Oktober 2026 rund 37.000 Euro netto. Über 36 Monate abgeschrieben, mit Strom und Betrieb, sind das rund 1.550 Euro im Monat. Mit einer Karte sind es rund 1.025 Euro, mit einer DGX Spark etwa 615 Euro.
Welche Grafikkarte brauche ich für ein lokales LLM?
Das hängt vom Modell ab. Kleinere Modelle wie gpt-oss-20b laufen mit 16 GB Grafikspeicher, Gemma 4 31B in 4 Bit auf einer RTX 5090 mit 32 GB. Für gpt-oss-120b brauchen Sie rund 80 GB, etwa eine RTX PRO 6000 mit 96 GB oder eine H100.
Warum sind Grafikkarten 2026 so teuer?
Vor allem wegen der weltweiten Speicherknappheit durch den Ausbau von KI-Rechenzentren. Laut TrendForce stiegen die DRAM-Vertragspreise 2026 im zweiten Quartal um rund 80 Prozent und im dritten um rund 40 Prozent. Eine RTX 5090 kostet deshalb im Oktober 2026 rund das Dreieinhalbfache ihres Richtpreises.
Kann man GPU-Server in Deutschland mieten?
Ja. Hetzner bietet GPU-Server mit RTX PRO 6000 ab 999 Euro netto im Monat an, IONOS ebenfalls mit RTX PRO 6000. Stundenweise gibt es H100-Karten zum Beispiel bei OVHcloud ab rund 2,80 Euro netto. Prüfen Sie den Standort des Rechenzentrums, denn nicht jedes Angebot steht in Deutschland.
Ist eine API günstiger als ein eigener Server?
Bei üblichen Mengen im Mittelstand meist deutlich. Für 20 Millionen Tokens im Monat zahlen Sie über eine API je nach Modell rund 5 bis 200 Euro, ein eigener Server kostet rund 1.000 bis 1.550 Euro. Eigene Hardware lohnt sich vor allem bei strengen Datenschutzvorgaben oder sehr großen Mengen.
Ist ein lokales LLM so gut wie ChatGPT?
Offene Modelle sind inzwischen sehr leistungsfähig, erreichen die Spitzenmodelle der großen Anbieter aber nicht in jeder Aufgabe. Für klar umrissene Aufgaben wie Zusammenfassen, Klassifizieren oder Fragen zu eigenen Dokumenten reichen sie oft aus. Testen Sie mit Ihren eigenen Beispielen.
Über den Autor
Sandro Griesing
Gründer von GrisaKI und Geschäftsführer der new face Media GmbH in Sangerhausen
Sandro Griesing hat über zehn Jahre Erfahrung in der Betreuung mittelständischer Unternehmen – in Softwareentwicklung, Unternehmensberatung und Unternehmensentwicklung. Mit GrisaKI hat er eine intuitive SaaS-Software entwickelt, mit der Unternehmen ihre Prozesse einfach und schnell automatisieren.
Mehr über GrisaKIQuellen
- Netz-Trends: RTX 5090 kostet jetzt ab 7.367 Euro (28.10.2026), abgerufen am 28.10.2026
- Hardwareluxx: Der Preis der GeForce RTX 5090 kennt nur eine Richtung (08.10.2026), abgerufen am 28.10.2026
- Geizhals: NVIDIA RTX PRO 6000 Blackwell und NVIDIA DGX Spark, abgerufen am 28.10.2026
- PC Games Hardware: Nvidia RTX Pro 6000: Preis steigt auf 16.000 Dollar, abgerufen am 28.10.2026
- The Register: Nvidia debuts $4,999 DGX Spark amid memory crunch (englisch, 02.10.2026), abgerufen am 28.10.2026
- NVIDIA: DGX Spark Hardware Overview (englisch), abgerufen am 28.10.2026
- ComputerBase: Mac Studio mit M5 Ultra: 256 GB RAM kosten 10.999 Euro (25.08.2026), abgerufen am 28.10.2026
- IntuitionLabs: NVIDIA AI GPU Pricing Guide (englisch), abgerufen am 28.10.2026
- TrendForce: DRAM Prices Seen Rising 20% QoQ in 4Q26 (englisch, 20.10.2026), abgerufen am 28.10.2026
- Hetzner: GPU-Server, abgerufen am 28.10.2026
- IONOS: GPU-Server, abgerufen am 28.10.2026
- OVHcloud: Cloud GPU, abgerufen am 28.10.2026
- RunPod: Pricing; Lambda: Pricing; CoreWeave: Pricing (englisch), abgerufen am 28.10.2026
- Holori: AWS p5.48xlarge Price (englisch), abgerufen am 28.10.2026
- Hugging Face: openai/gpt-oss-120b und Llama 4 Scout (englisch), abgerufen am 28.10.2026
- Google AI: Gemma (englisch), abgerufen am 28.10.2026
- eWeek: Alibaba releases Qwen3.8-27B under Apache 2.0 (englisch), abgerufen am 28.10.2026
- Yotta Labs: DeepSeek V4.1 Flash Hardware Requirements (englisch), abgerufen am 28.10.2026
- computingforgeeks: How much VRAM to run an LLM (englisch), abgerufen am 28.10.2026
- Hardware Corner: RTX PRO 6000 Blackwell LLM Benchmarks (englisch), abgerufen am 28.10.2026
- DatabaseMart: vLLM GPU Benchmark RTX PRO 6000 (englisch, Test des Anbieters), abgerufen am 28.10.2026
- OpenAI: API Pricing; Google: Gemini API Pricing; Anthropic: Claude Pricing; Mistral AI: Pricing (englisch), abgerufen am 28.10.2026
- benchlm.ai: Mistral API Pricing (englisch), abgerufen am 28.10.2026
- BDEW: BDEW-Strompreisanalyse, abgerufen am 28.10.2026
- Europäische Zentralbank: Euro-Referenzkurs US-Dollar (27.10.2026: 1 € = 1,1150 $), abgerufen am 28.10.2026
Stand der Angaben: 28.10.2026. Hardwarepreise schwanken derzeit stark. Die Beispielrechnung beruht auf offen genannten Annahmen und ersetzt keine Einzelfallberechnung. Preise in Euro netto, sofern nicht als brutto gekennzeichnet; US-Preise ohne Steuer.