Lokālais AI mājās: cik video atmiņas (VRAM) patiesībā vajag? (2026)

Atklātības labad: šis ir Mineshop.eu konts (SIA Minex, Latvija). Mēs pārdodam videokartes un AI darbstacijas, tāpēc mums ir komerciāla interese.

Arvien vairāk cilvēku darbina valodas modeļus (LLM) savā datorā: privātuma, izmaksu vai vienkārši neatkarības dēļ. Visbiežākais jautājums, ko dzirdam, ir: cik video atmiņas (VRAM) tam patiesībā vajag? To var aprēķināt.

1. Modeļa svari#

VRAM (GB) ≈ parametri (miljardos) × biti uz parametru ÷ 8

2. Konteksta atmiņa (KV kešs)#

Katrs sarunas tokens aizņem atmiņu, un tā aug līdz ar konteksta garumu. Piemēram, Llama 3 klases modeļiem ar FP16 kešu: 8B modelim 8 000 tokenu konteksts prasa ap 1 GB, bet 70B modelim 32 000 tokenu – ap 10 GB. Tāpēc virs svaru izmēra vienmēr atstājiet rezervi.

3. Kas der kādai kartei#

• 16 GB karte (piemēram, RTX 5060 Ti 16 GB, RTX 5070 Ti vai RTX 5080): 8–14B modeļi 4 bitos ar parastu kontekstu. 32B modelis ir uz robežas: daļa slāņu jāpārceļ uz sistēmas RAM, un tas ir krietni lēnāk.
• 32 GB karte: 32B modeļi ērti; 70B tikai ar agresīvāku kvantizāciju vai daļēju pārcelšanu.
• 48–96 GB (profesionālās kartes, piemēram, RTX PRO 6000 Blackwell ar 96 GB, vai vairākas kartes): 70B modeļi 4 bitos arī ar garu kontekstu.

4. Pirms pirkuma pārbaudiet#

• barošanas bloka jaudu un papildbarošanas savienotājus;
• kartes garumu un korpusu (SFF kartes der kompaktākiem korpusiem);
• dzesēšanu: AI slodze karti noslogo ilgstoši, ne tikai uz brīdi.

Videokartes latviski: mineshop.eu/lv/graphic-card-gpu-en

Gatavas sistēmas: AI darbstacijas

Jautājumi un labojumi ir laipni gaidīti.