Lokalna AI w domu: ile pamięci wideo (VRAM) naprawdę potrzebuje LLM? (2026)

Informacja: to konto Mineshop.eu (sklep z UE, Irlandia). Sprzedajemy karty graficzne i stacje robocze AI, więc mamy w tym interes handlowy.

Coraz więcej osób uruchamia modele językowe (LLM) na własnym komputerze – dla prywatności, kosztów albo po prostu niezależności. Najczęstsze pytanie: ile pamięci wideo (VRAM) jest do tego potrzebne? Można to policzyć.

1. Wagi modelu#

VRAM (GB) ≈ parametry (w miliardach) × bity na parametr ÷ 8

2. Pamięć kontekstu (KV cache)#

Każdy token rozmowy zajmuje miejsce w pamięci KV cache. Dla modeli klasy Llama 3 z buforem FP16 model 8B przy kontekście 8 000 tokenów potrzebuje ok. 1 GB, a model 70B przy 32 000 tokenów – ok. 10 GB. Zawsze zostaw zapas ponad rozmiar wag.

3. Co zmieści się na jakiej karcie#

• 16 GB (np. RTX 5060 Ti 16 GB, RTX 5070 Ti lub RTX 5080): modele 8–14B w 4 bitach ze zwykłym kontekstem. 32B to granica: część warstw trzeba przenieść do RAM, co jest znacznie wolniejsze.
• 32 GB: modele 32B wygodnie; 70B tylko z mocniejszą kwantyzacją lub częściowym przeniesieniem.
• 48–96 GB (karty profesjonalne, np. RTX PRO 6000 Blackwell z 96 GB, lub kilka kart): modele 70B w 4 bitach także z długim kontekstem.

4. Przed zakupem sprawdź#

• moc zasilacza i złącza zasilania PCIe;
• długość karty i obudowę (karty SFF pasują do kompaktowych obudów);
• chłodzenie: obciążenie AI trwa długo, a nie tylko chwilę.

Karty graficzne: mineshop.eu/pl/graphic-card-gpu-en · Gotowe systemy: Stacje robocze AI

Pytania i poprawki mile widziane.