Lokale KI zu Hause: Wie viel Grafikspeicher (VRAM) braucht ein LLM wirklich? (2026)

Offenlegung: Dies ist das Konto von Mineshop.eu (EU-Shop, Irland). Wir verkaufen Grafikkarten und KI-Workstations und haben daher ein kommerzielles Interesse.

Immer mehr Menschen betreiben Sprachmodelle (LLMs) auf dem eigenen Rechner – wegen Datenschutz, Kosten oder schlicht Unabhängigkeit. Die häufigste Frage: Wie viel Grafikspeicher (VRAM) braucht man dafür? Das lässt sich abschätzen.

1. Modellgewichte#

VRAM (GB) ≈ Parameter (Milliarden) × Bits pro Parameter ÷ 8

2. Kontextspeicher (KV-Cache)#

Jedes Token der Unterhaltung belegt Speicher im KV-Cache. Bei Modellen der Llama-3-Klasse mit FP16-Cache braucht ein 8B-Modell für 8.000 Token Kontext etwa 1 GB, ein 70B-Modell für 32.000 Token etwa 10 GB. Planen Sie daher immer Reserve über die Gewichte hinaus ein.

3. Was auf welche Karte passt#

• 16 GB (z. B. RTX 5060 Ti 16 GB, RTX 5070 Ti oder RTX 5080): 8–14B-Modelle in 4 Bit mit normalem Kontext. 32B ist grenzwertig: Ein Teil der Schichten muss in den Arbeitsspeicher ausgelagert werden, was deutlich langsamer ist.
• 32 GB: 32B-Modelle komfortabel; 70B nur mit stärkerer Quantisierung oder teilweiser Auslagerung.
• 48–96 GB (Profikarten wie RTX PRO 6000 Blackwell mit 96 GB oder mehrere Karten): 70B-Modelle in 4 Bit auch mit langem Kontext.

4. Vor dem Kauf prüfen#

• Netzteilleistung und PCIe-Stromanschlüsse;
• Kartenlänge und Gehäuse (SFF-Karten passen in kompakte Gehäuse);
• Kühlung: KI-Last beansprucht die Karte dauerhaft, nicht nur kurz.

Kostenloser Rechner auf Deutsch (ohne Anmeldung, Eingaben bleiben im Browser): LLM-Speicherplaner

KI-Workstations: mineshop.eu/de/ai-workstation · Mineshop AI-Arbeitsplatz

Fragen und Korrekturen sind willkommen.