RatgeberEigene KI

Eigener KI-Server mit eigenem LLM: Was kosten Grafikkarten 2026 – kaufen, mieten oder API?

Grafikkarten für KI sind im Oktober 2026 so teuer wie nie: Eine RTX 5090 kostet ab 7.367 €, rund das Dreieinhalbfache ihres Richtpreises, eine RTX PRO 6000 mit 96 GB ab 17.499 €. Für einen Mittelständler mit 50 Mitarbeitenden kostet ein eigener KI-Server so rund 1.000 bis 1.550 € im Monat – die gleiche Menge Text über eine API oft nur 10 bis 70 €. Wann sich eigene Hardware trotzdem lohnt, zeigt dieser Vergleich.

Sandro Griesing · Gründer GrisaKI · veröffentlicht · aktualisiert · 14 Min. Lesezeit

Das Wichtigste in 30 Sekunden

  • Rekordpreise: Wegen der Speicherknappheit sind Grafikkarten 2026 stark gestiegen. Der Preis der DGX Spark stieg in den USA von 3.999 auf 6.950 US-Dollar, die RTX PRO 6000 von 8.565 auf 16.000 US-Dollar.
  • Mieten geht planbar: Hetzner vermietet einen Server mit einer RTX PRO 6000 (96 GB) für 999 € netto im Monat, OVHcloud eine H100 ab etwa 2,80 € netto je Stunde.
  • API ist meist günstiger: Bei 20 Millionen Tokens im Monat kostet eine API je nach Modell rund 4 bis 200 €, ein eigener Server rund 1.000 bis 1.550 €.
  • Eigene Hardware lohnt sich vor allem, wenn Daten das Haus nicht verlassen dürfen, oder bei sehr großen Mengen ab mehreren hundert Millionen Tokens im Monat.

Warum Unternehmen über ein eigenes LLM nachdenken

Ein Large Language Model (LLM) ist das Sprachmodell hinter Chatbots, Assistenten und Textautomatisierung. Die meisten Firmen nutzen es über eine Schnittstelle (API) von OpenAI, Google, Anthropic oder Mistral. Immer mehr Mittelständler fragen aber: Können wir das nicht selbst betreiben – auf eigenem Server, mit einem offenen Modell?

Die Gründe sind nachvollziehbar:

  • Datenhoheit: Vertrauliche Dokumente, Personaldaten oder Konstruktionspläne verlassen das eigene Haus nicht.
  • Unabhängigkeit: Keine Preis- oder Modelländerungen von außen. Google hat zum Beispiel für Gemini 4 Argon eine Verdopplung der Preise ab 01.12.2026 angekündigt.
  • Feste Kosten: Abschreibung statt nutzungsabhängiger Rechnung.

Möglich ist das, weil es inzwischen gute offene Modelle gibt, deren Gewichte frei herunterladbar sind – etwa gpt-oss von OpenAI, Gemma 4 von Google, Qwen von Alibaba, Mistral Small 4 oder Llama 4 Scout von Meta. Die Frage ist nur: Was kostet die Hardware dafür?

Wie viel Grafikspeicher braucht ein eigenes LLM?

Entscheidend ist der Grafikspeicher (VRAM). Das Modell muss vollständig hineinpassen, dazu der Zwischenspeicher für laufende Gespräche. Die Faustformel:

VRAM ≈ Modellgewichte + Gesprächsspeicher + 10–20 % Reserve. Die Gewichte ergeben sich aus Parameterzahl × Bytes je Parameter: 2 Byte in voller Genauigkeit (FP16), 1 Byte bei 8 Bit, rund 0,5 bis 0,6 Byte bei 4-Bit-Quantisierung. Ein Modell mit 70 Milliarden Parametern braucht so in FP16 rund 140 GB, in 4 Bit etwa 40 GB plus Gesprächsspeicher.

Bei sogenannten MoE-Modellen (Mixture of Experts) zählt für den Speicher die Gesamtzahl der Parameter, für die Geschwindigkeit nur die gerade aktiven. Deshalb laufen einige große Modelle erstaunlich schnell.

Offenes ModellParameter (gesamt / aktiv)LizenzPasst auf
gpt-oss-20b (OpenAI)21 Mrd. / 3,6 Mrd.Apache 2.0Karte mit 16 GB
gpt-oss-120b (OpenAI)117 Mrd. / 5,1 Mrd.Apache 2.0eine 80-GB-Karte, z. B. H100 oder RTX PRO 6000
Gemma 4 31B (Google)31 Mrd., dichtApache 2.0in 4 Bit ≈ 21 GB, z. B. RTX 5090
Qwen3.8-27B (Alibaba)27 Mrd., dichtApache 2.0voll ≈ 56 GB (RTX PRO 6000), in 4 Bit RTX 5090
Llama 4 Scout (Meta)109 Mrd. / 17 Mrd.Llama 4 Community Licensein 4 Bit eine H100
DeepSeek V4.1 Flashmehrere hundert Mrd. / 16 Mrd.MITab 4 Blackwell-Karten – Rechenzentrumsklasse
Quellen: Hugging Face (gpt-oss, Llama 4), Google (Gemma), eWeek (Qwen), Yotta Labs (DeepSeek), Stand 28.10.2026. Speicherangaben ohne langen Gesprächskontext.

Wie schnell das läuft, zeigt ein Test von Hardware Corner auf einer RTX PRO 6000: gpt-oss-120b erzeugt dort für einen einzelnen Nutzer rund 210 Tokens pro Sekunde, Gemma 4 31B etwa 62. Bei 50 gleichzeitigen Anfragen schafft dieselbe Karte mit gpt-oss-120b laut einem Test des Anbieters DatabaseMart zusammen etwa 1.780 Tokens pro Sekunde. Zur Einordnung: Ein Token entspricht im Deutschen grob einem Dreiviertelwort – mehr dazu im Glossar unter KI-Token.

Kaufpreise im Oktober 2026: Was kosten Grafikkarten für KI?

Die folgende Übersicht zeigt Straßenpreise in Deutschland (Preisvergleich Geizhals bzw. Apple) und Schätzungen für Rechenzentrumskarten.

HardwareSpeicherPreisLeistungsaufnahme
NVIDIA GeForce RTX 509032 GBab 7.367 € brutto575 W
NVIDIA RTX PRO 6000 Blackwell Max-Q96 GBab 17.499 € brutto300 W
NVIDIA DGX Spark (Kompaktrechner)128 GB gemeinsamab 7.450 € bruttobis 240 W (System)
Apple Mac Studio M5 Ultra96 GB gemeinsamab 6.599 € bruttokeine Messung belegt
Apple Mac Studio M5 Ultra256 GB gemeinsam10.999 € bruttokeine Messung belegt
NVIDIA H10080–94 GBca. 25.000–40.000 $300–700 W
Server mit 8× H100 / 8× B200640 GB und mehrca. 250.000–500.000 $mehrere Kilowatt
Quellen: Geizhals, Netz-Trends, ComputerBase, NVIDIA, IntuitionLabs; Abruf 28.10.2026. H100- und Serverpreise sind Marktschätzungen ohne offizielle Listenpreise.

Für den Mittelstand sind realistisch vor allem drei Wege: eine Workstation oder ein Server mit RTX PRO 6000 (96 GB, schnell), die DGX Spark (viel Speicher, sparsam, aber mit 273 GB/s Speicherbandbreite deutlich langsamer) und der Mac Studio mit viel gemeinsamem Speicher. H100- und B200-Karten werden praktisch nur als komplette Server über Hersteller wie Dell, HPE oder Supermicro verkauft und sind für die meisten Firmen überdimensioniert.

Warum sind Grafikkarten 2026 so teuer?

Der Hauptgrund ist eine weltweite Speicherknappheit. Die KI-Rechenzentren kaufen riesige Mengen an Arbeits- und Grafikspeicher. Laut dem Marktforscher TrendForce stiegen die Vertragspreise für DRAM 2026 im zweiten Quartal um rund 80 Prozent und im dritten um rund 40 Prozent gegenüber dem Vorquartal, für das vierte Quartal erwartet TrendForce weitere rund 20 Prozent.

  • RTX 5090: Anfang April 2026 noch rund 3.500 €, Anfang Oktober über 6.000 €, Ende Oktober ab 7.367 € – bei einem Richtpreis von 2.099 €.
  • RTX PRO 6000: Der US-Preis bei NVIDIA stieg von 8.565 $ zum Marktstart im März 2025 auf 16.000 $.
  • DGX Spark: zwei Preiserhöhungen 2026, von 3.999 $ über 4.699 $ auf 6.950 $ seit 02.10.2026 – laut NVIDIA wegen der Speicherkosten.
  • Mieten: Auch Cloud-Anbieter ziehen nach, laut Branchenberichten erhöhte zum Beispiel Nebius zum 01.10.2026 seine Stundenpreise.

Für Kaufentscheidungen heißt das: Wer jetzt kauft, zahlt einen Krisenaufschlag. Eine Entspannung ist laut TrendForce kurzfristig nicht in Sicht, Hochleistungsspeicher (HBM) gilt bis 2028 als knapp.

Mietpreise: GPU-Server je Monat und je Stunde

Statt zu kaufen, können Sie Grafikkarten mieten – monatlich als dedizierten Server oder stundenweise in der Cloud.

Dedizierte GPU-Server in Europa (Monatspreis)

Anbieter und ModellGrafikkarteMonatEinrichtung
Hetzner GEX451× RTX PRO 4000 (24 GB)214 € netto209 €
Hetzner GEX631× RTX PRO 6000 (96 GB)999 € netto999 €
Hetzner GEX1311× RTX PRO 6000 (96 GB), Xeonab 1.499 € netto1.499 €
Hetzner GEX4304× RTX PRO 6000 (384 GB)3.599 € netto3.599 €
IONOS GPU-ServerRTX PRO 6000 (96 GB)max. 1.800 € brutto1.800 €
Quellen: hetzner.com, ionos.de; Abruf 28.10.2026. Die Hetzner-Modelle GEX63, GEX45 und GEX430 stehen laut Hetzner in Helsinki, GEX131 in Falkenstein bzw. Helsinki.

GPU-Cloud je Stunde

AnbieterH100 je StundeWeitere Karten
OVHcloud (Frankreich)≈ 2,80 € nettoL40S ≈ 1,40 € netto
RunPod3,99 $ (Secure Cloud)RTX PRO 6000 2,49 $, RTX 5090 1,19 $
Lambda3,99–4,29 $B200 6,69–6,99 $
CoreWeave≈ 6,16 $B200 ≈ 8,60 $
AWS (8× H100, umgerechnet)≈ 6,88 $günstiger mit Spot oder Laufzeitbindung
Quellen: ovhcloud.com, runpod.io, lambda.ai, coreweave.com, Holori (AWS); Abruf 28.10.2026. US-Preise ohne Steuer; CoreWeave und AWS als 8er-Instanz geteilt durch 8.

Stundenpreise wirken günstig, summieren sich im Dauerbetrieb aber schnell: Eine RTX PRO 6000 bei RunPod rund um die Uhr kostet etwa 1.630 € im Monat. Bei Hetzner kommt zum Monatspreis eine Einrichtungsgebühr in gleicher Höhe dazu – das lohnt sich nur bei längerer Nutzung.

Zum Vergleich: Was kostet dieselbe Arbeit über eine API?

Über eine API zahlen Sie nur, was Sie verbrauchen – abgerechnet je Million Tokens, getrennt nach Eingabe (Ihre Frage und Dokumente) und Ausgabe (die Antwort).

ModellEingabe je 1 Mio. TokensAusgabe je 1 Mio. Tokens
Mistral Small 40,15 $0,60 $
OpenAI GPT-5 mini0,25 $2,00 $
Google Gemini 2.5 Flash0,30 $2,50 $
Mistral Large0,50 $1,50 $
OpenAI gpt-5.4-mini0,75 $4,50 $
Anthropic Claude Sonnet 5.52,00 $10,00 $
OpenAI GPT-5.55,00 $30,00 $
Quellen: Preisseiten von OpenAI, Google, Anthropic und Mistral AI (Mistral Small 4 über Preisvergleichsdienst); Standardtarif ohne Steuer, Abruf 28.10.2026. Stapelverarbeitung und Zwischenspeicher senken die Preise weiter.

Wie Sie die Datenschutzseite bei API-Anbietern absichern, steht im Ratgeber AVV bei KI-Tools.

Beispielrechnung: Mittelständler mit 50 Mitarbeitenden

Nehmen wir einen Betrieb mit 50 Mitarbeitenden, die einen internen KI-Assistenten für Fragen, Texte und Dokumente nutzen. Annahme: 20 Millionen Tokens im Monat, davon 15 Millionen Eingabe und 5 Millionen Ausgabe. Das ist schon eine rege Nutzung. Alle Werte netto, eigene Rechnung mit offengelegten Annahmen.

Variante A: eigener Server

  • 2× RTX PRO 6000 (rund 29.400 € netto) plus Server mit Prozessor, Arbeitsspeicher und SSD (angenommen 8.000 €): 37.400 € über 36 Monate abgeschrieben = rund 1.040 € im Monat.
  • Strom: durchschnittlich 400 W, 24 ct/kWh, 30 % Zuschlag für Kühlung = rund 90 € im Monat. Zum Vergleich: Der BDEW nennt für kleine bis mittlere Industriebetriebe 2026 im Schnitt 17,2 ct/kWh, kleinere Gewerbekunden zahlen mehr.
  • Betrieb: Updates, Überwachung, Modellpflege und Sicherheit, angenommen 4 Stunden à 90 € plus 60 € Rücklage = 420 € im Monat.

Zusammen rund 1.550 € im Monat. Mit nur einer Karte in einer Workstation sind es rund 1.025 €, mit einer DGX Spark etwa 615 € – dann allerdings deutlich langsamer.

Variante B: gemieteter GPU-Server

Hetzner GEX63 mit einer RTX PRO 6000: 999 € Miete, Einrichtung auf 36 Monate verteilt rund 28 €, dazu derselbe Betriebsaufwand von 360 € = rund 1.390 € im Monat.

Variante C: API

15 Millionen Eingabe- und 5 Millionen Ausgabe-Tokens kosten mit Mistral Small 4 rund 5 €, mit GPT-5 mini rund 12 €, mit gpt-5.4-mini rund 30 €, mit Claude Sonnet 5.5 rund 72 € und mit GPT-5.5 rund 200 € im Monat (umgerechnet zum EZB-Kurs vom 27.10.2026).

Eigener Server≈ 1.550 €2× RTX PRO 6000, 36 Monate, Strom und Betrieb

Gemietet (Hetzner)≈ 1.390 €1× RTX PRO 6000 inkl. Betrieb

API≈ 12–72 €GPT-5 mini bis Claude Sonnet 5.5, gleiche Menge

Der Grund für den großen Abstand: Bei 20 Millionen Tokens wäre eine einzige RTX PRO 6000 nur zu rund 0,4 Prozent ausgelastet. Sie bezahlen eine Maschine, die fast immer wartet. Rechnerisch gleichen sich die Kosten erst bei deutlich größeren Mengen an: gegenüber gpt-5.4-mini bei rund 1 Milliarde Tokens im Monat, gegenüber Claude Sonnet 5.5 bei rund 430 Millionen.

Qualität nicht vergessen: Ein lokales gpt-oss-120b ist nicht automatisch so gut wie die Spitzenmodelle der großen Anbieter. Fair ist der Vergleich mit API-Modellen derselben Klasse – und dort liegt die Schwelle, ab der sich eigene Hardware rechnet, im Milliardenbereich.

Wann sich ein eigener KI-Server trotzdem lohnt

Rein rechnerisch gewinnt für die meisten Mittelständler die API. Es gibt aber gute Gründe für eigene oder gemietete Hardware:

  • Strenge Vertraulichkeit: Berufsgeheimnisträger, Entwicklungsabteilungen oder Personaldaten, die keinen externen Dienst sehen sollen.
  • Sehr große Mengen: Massenhafte Dokumentenverarbeitung mit mehreren hundert Millionen Tokens im Monat.
  • Feste, spezialisierte Aufgaben: Ein kleineres, auf Ihre Daten zugeschnittenes Modell, das eine Aufgabe sehr gut löst.
  • Offline-Betrieb: Produktion oder Standorte ohne verlässliche Internetverbindung.

Gegen einen Kauf gerade jetzt sprechen die Rekordpreise, Lieferzeiten, das nötige Betriebswissen und fehlende Ausfallsicherheit bei nur einer Karte. Ein guter Mittelweg ist oft die Miete in Europa: europäischer Standort, monatlich planbar, keine Kapitalbindung – und wenn die Preise fallen, können Sie immer noch kaufen.

In der Praxis empfehlen wir häufig eine Kombination: Alltagsaufgaben über eine API mit Vertrag zur Auftragsverarbeitung und europäischer Verarbeitung, besonders sensible Daten über ein offenes Modell auf gemieteter oder eigener Hardware. Welche Technik hinter KI-Assistenten mit Firmenwissen steckt, erklärt das Glossar unter RAG.

Häufige Fragen

Was kostet ein eigener KI-Server?

Ein Server mit zwei RTX PRO 6000 mit je 96 GB kostet im Oktober 2026 rund 37.000 Euro netto. Über 36 Monate abgeschrieben, mit Strom und Betrieb, sind das rund 1.550 Euro im Monat. Mit einer Karte sind es rund 1.025 Euro, mit einer DGX Spark etwa 615 Euro.

Welche Grafikkarte brauche ich für ein lokales LLM?

Das hängt vom Modell ab. Kleinere Modelle wie gpt-oss-20b laufen mit 16 GB Grafikspeicher, Gemma 4 31B in 4 Bit auf einer RTX 5090 mit 32 GB. Für gpt-oss-120b brauchen Sie rund 80 GB, etwa eine RTX PRO 6000 mit 96 GB oder eine H100.

Warum sind Grafikkarten 2026 so teuer?

Vor allem wegen der weltweiten Speicherknappheit durch den Ausbau von KI-Rechenzentren. Laut TrendForce stiegen die DRAM-Vertragspreise 2026 im zweiten Quartal um rund 80 Prozent und im dritten um rund 40 Prozent. Eine RTX 5090 kostet deshalb im Oktober 2026 rund das Dreieinhalbfache ihres Richtpreises.

Kann man GPU-Server in Deutschland mieten?

Ja. Hetzner bietet GPU-Server mit RTX PRO 6000 ab 999 Euro netto im Monat an, IONOS ebenfalls mit RTX PRO 6000. Stundenweise gibt es H100-Karten zum Beispiel bei OVHcloud ab rund 2,80 Euro netto. Prüfen Sie den Standort des Rechenzentrums, denn nicht jedes Angebot steht in Deutschland.

Ist eine API günstiger als ein eigener Server?

Bei üblichen Mengen im Mittelstand meist deutlich. Für 20 Millionen Tokens im Monat zahlen Sie über eine API je nach Modell rund 5 bis 200 Euro, ein eigener Server kostet rund 1.000 bis 1.550 Euro. Eigene Hardware lohnt sich vor allem bei strengen Datenschutzvorgaben oder sehr großen Mengen.

Ist ein lokales LLM so gut wie ChatGPT?

Offene Modelle sind inzwischen sehr leistungsfähig, erreichen die Spitzenmodelle der großen Anbieter aber nicht in jeder Aufgabe. Für klar umrissene Aufgaben wie Zusammenfassen, Klassifizieren oder Fragen zu eigenen Dokumenten reichen sie oft aus. Testen Sie mit Ihren eigenen Beispielen.

Über den Autor

Sandro Griesing

Gründer von GrisaKI und Geschäftsführer der new face Media GmbH in Sangerhausen

Sandro Griesing hat über zehn Jahre Erfahrung in der Betreuung mittelständischer Unternehmen – in Softwareentwicklung, Unternehmensberatung und Unternehmensentwicklung. Mit GrisaKI hat er eine intuitive SaaS-Software entwickelt, mit der Unternehmen ihre Prozesse einfach und schnell automatisieren.

Mehr über GrisaKI

Quellen

  1. Netz-Trends: RTX 5090 kostet jetzt ab 7.367 Euro (28.10.2026), abgerufen am 28.10.2026
  2. Hardwareluxx: Der Preis der GeForce RTX 5090 kennt nur eine Richtung (08.10.2026), abgerufen am 28.10.2026
  3. Geizhals: NVIDIA RTX PRO 6000 Blackwell und NVIDIA DGX Spark, abgerufen am 28.10.2026
  4. PC Games Hardware: Nvidia RTX Pro 6000: Preis steigt auf 16.000 Dollar, abgerufen am 28.10.2026
  5. The Register: Nvidia debuts $4,999 DGX Spark amid memory crunch (englisch, 02.10.2026), abgerufen am 28.10.2026
  6. NVIDIA: DGX Spark Hardware Overview (englisch), abgerufen am 28.10.2026
  7. ComputerBase: Mac Studio mit M5 Ultra: 256 GB RAM kosten 10.999 Euro (25.08.2026), abgerufen am 28.10.2026
  8. IntuitionLabs: NVIDIA AI GPU Pricing Guide (englisch), abgerufen am 28.10.2026
  9. TrendForce: DRAM Prices Seen Rising 20% QoQ in 4Q26 (englisch, 20.10.2026), abgerufen am 28.10.2026
  10. Hetzner: GPU-Server, abgerufen am 28.10.2026
  11. IONOS: GPU-Server, abgerufen am 28.10.2026
  12. OVHcloud: Cloud GPU, abgerufen am 28.10.2026
  13. RunPod: Pricing; Lambda: Pricing; CoreWeave: Pricing (englisch), abgerufen am 28.10.2026
  14. Holori: AWS p5.48xlarge Price (englisch), abgerufen am 28.10.2026
  15. Hugging Face: openai/gpt-oss-120b und Llama 4 Scout (englisch), abgerufen am 28.10.2026
  16. Google AI: Gemma (englisch), abgerufen am 28.10.2026
  17. eWeek: Alibaba releases Qwen3.8-27B under Apache 2.0 (englisch), abgerufen am 28.10.2026
  18. Yotta Labs: DeepSeek V4.1 Flash Hardware Requirements (englisch), abgerufen am 28.10.2026
  19. computingforgeeks: How much VRAM to run an LLM (englisch), abgerufen am 28.10.2026
  20. Hardware Corner: RTX PRO 6000 Blackwell LLM Benchmarks (englisch), abgerufen am 28.10.2026
  21. DatabaseMart: vLLM GPU Benchmark RTX PRO 6000 (englisch, Test des Anbieters), abgerufen am 28.10.2026
  22. OpenAI: API Pricing; Google: Gemini API Pricing; Anthropic: Claude Pricing; Mistral AI: Pricing (englisch), abgerufen am 28.10.2026
  23. benchlm.ai: Mistral API Pricing (englisch), abgerufen am 28.10.2026
  24. BDEW: BDEW-Strompreisanalyse, abgerufen am 28.10.2026
  25. Europäische Zentralbank: Euro-Referenzkurs US-Dollar (27.10.2026: 1 € = 1,1150 $), abgerufen am 28.10.2026

Stand der Angaben: 28.10.2026. Hardwarepreise schwanken derzeit stark. Die Beispielrechnung beruht auf offen genannten Annahmen und ersetzt keine Einzelfallberechnung. Preise in Euro netto, sofern nicht als brutto gekennzeichnet; US-Preise ohne Steuer.