Jaký počítač na lokální AI v roce 2026
Pro lokální AI je nejdůležitější grafická karta a hlavně množství její paměti (VRAM). Model se musí do paměti vejít, jinak běží výrazně pomaleji. Pro menší modely stačí karta s 16 GB VRAM, pro středně velké modely 24 až 32 GB a pro největší otevřené modely více karet nebo pracovní stanice s velkou sdílenou pamětí.
Proč právě grafická karta
Jazykové modely provádějí obrovské množství maticových výpočtů. Grafické karty je zvládají paralelně a mnohonásobně rychleji než procesor. Rychlost odpovědi přitom nejvíc ovlivňuje propustnost paměti. Proto je VRAM důležitější než samotný výkon čipu.
Kolik paměti potřebuje model
Velikost modelu se udává v miliardách parametrů (např. 8B, 32B, 70B). Modely se pro lokální provoz obvykle kvantizují, tedy zmenšují s minimální ztrátou kvality. Orientačně při běžné 4bitové kvantizaci:
| Velikost modelu | Potřebná VRAM (orientačně) | Na co stačí |
|---|---|---|
| 7–9 miliard (7–9B) | 6–8 GB | Jednoduché dotazy, shrnutí, třídění e-mailů |
| 12–14 miliard | 10–12 GB | Kvalitní čeština, psaní textů, práce s dokumenty |
| 27–32 miliard | 18–24 GB | Náročnější analýzy, agenti, programování |
| 70 miliard a více | 40 GB a více | Kvalita blízká cloudovým modelům |
K tomu připočtěte rezervu na kontext, tedy délku textu, se kterým model pracuje najednou. Dlouhé dokumenty a více současných uživatelů potřebují víc paměti.
Tři modelové sestavy
1. Kancelářská AI stanice
Grafická karta se 16 GB VRAM, 32–64 GB RAM, rychlý NVMe disk. Zvládne modely do zhruba 14 miliard parametrů. Ideální pro jednotlivce nebo malý tým: psaní, shrnování, odpovědi z dokumentů.
2. Firemní AI server
Karta s 24–32 GB VRAM (nebo dvě karty), 64–128 GB RAM, NVMe disk 2 TB a víc. Modely do 32 miliard parametrů s dlouhým kontextem, více uživatelů současně, AI agenti nad firemními daty.
3. Výkonná stanice pro velké modely
Více grafických karet nebo profesionální karty s velkou pamětí, případně počítač se sdílenou pamětí (unified memory), kde CPU i GPU sdílí desítky až stovky GB. Pro modely 70B+ a náročné provozy.
Na co se nezapomíná
- Zdroj a chlazení: výkonné karty mají vysokou spotřebu, zdroj musí mít rezervu a skříň dobré proudění vzduchu.
- Hluk: pokud stanice stojí v kanceláři, vyplatí se tišší chlazení.
- Disk: modely mají jednotky až desítky GB, rychlý NVMe zkracuje jejich načtení.
- Software: pro provoz se používají nástroje jako Ollama, llama.cpp nebo vLLM a webové rozhraní pro uživatele, například Open WebUI.
Vyplatí se to?
Lokální AI dává smysl, když pracujete s citlivými daty, platíte AI předplatné pro větší tým nebo potřebujete provoz bez limitů a bez internetu. Pro občasné použití bývá výhodnější cloud. Často je nejlepší kombinace obojího.
Pokud chcete sestavu navrhnout na míru, včetně instalace modelů a AI agentů, podívejte se na službu Lokální AI a stavba AI PC.