Kalkulator GPU servera: koliko VRAM-a treba vašem modelu?

Kako kalkulator računa

težine   = parametri × bajtova po parametru
           FP16 = 2 B · FP8 = 1 B · INT4 ≈ 0,55 B
KV keš   = MB po tokenu × tokena konteksta × razgovora
rezerva  = 15 % (CUDA kontekst, aktivacije, fragmentacija)

potrebno = težine + KV keš + rezerva
server   = najmanja konfiguracija sa dovoljno GB
struja   = kW × 60 % opterećenja × 730 h × 0,13 €/kWh

Težine zavise od broja parametara i kvantizacije. KV keš raste sa dužinom konteksta i brojem istovremenih razgovora — po tokenu iznosi od 0,07 MB (120B MoE) do 0,52 MB (405B), a vrednosti za svaki model su u vodiču VD-01. Kalkulator bira najmanju konfiguraciju iz tabele na strani GPU serveri u koju sve staje, od radne stanice sa jednom karticom do servera sa osam H200.

Kod fine-tuninga težine se posmatraju u odgovarajućoj preciznosti (QLoRA u INT4, LoRA i pun fine-tuning u FP16), a na njih se dodaju gradijenti, optimizator i aktivacije. Kalkulator koristi okvirne koeficijente: QLoRA ≈ 0,62 × P + 5 GB, LoRA ≈ 2,25 × P + 3 GB i pun fine-tuning ≈ 16,3 × P, gde je P broj parametara u milijardama.

Pretpostavke koje treba proveriti

KV keš po tokenu. Zavisi od arhitekture — broja slojeva, KV glava i dimenzije glave — ne samo od broja parametara. Vrednosti u kalkulatoru važe za BF16; FP8 KV keš u vLLM-u upola smanjuje deo za kontekst: tabela po modelima.
Rezerva od 15 %. Pokriva CUDA kontekst, aktivacije i fragmentaciju. Za duge kontekste ili više modela na istom serveru računajte 20 %.
Cena struje. Korišćenih 0,13 €/kWh je orijentacija za privredu u 2026: ponude EPS-a od oko 106–109 €/MWh, uz akcize i naknade od oko 25 €/MWh.
Opterećenje od 60 %. Server retko radi na maksimumu 24/7; struja se računa kao mesečni prosek od 730 sati sa 60 % opterećenja, pa je zato okvirna.

Šta kalkulator ne vidi

Brzinu: koliko tokena u sekundi server daje i koliko je to udobno za korisnike — metrike inferencije.
Kvalitet kvantizovanog modela na vašim zadacima — INT4 merimo na vašim primerima pre odluke.
Da jedan server može istovremeno da pokreće više manjih modela — za razgovor, pretragu i klasifikaciju.
Sisteme sa objedinjenom memorijom (Mac Studio, DGX Spark), koji pokrivaju raspon između radne stanice i servera — VD-01.
Vrednost zaštite podataka: lokalni model drži pitanja i dokumente u firmi, API ih šalje dalje.

Za tačan proračun merimo stvarne upite i opterećenje u okviru procene.

Pitanja o VRAM-u i konfiguraciji

Koliko VRAM-a treba za model od 70B?

Oko 140 GB u FP16, 70 GB u FP8 i oko 40 GB u INT4 — plus kontekst. Najmanja praktična postavka je jedna kartica od 48 GB (INT4, kratak kontekst); komotno je 96 GB ili dve kartice od 80 GB.

Zašto KV keš raste sa kontekstom?

Model za svaki token čuva ključeve i vrednosti iz svakog sloja. Duplo duži kontekst znači duplo više tokena u memoriji, a svaki istovremeni razgovor ima svoj keš. Zato dug kontekst i mnogo korisnika brzo pojedu memoriju — FP8 KV keš i PagedAttention to ublažavaju.

Mogu li da spojim memoriju dve kartice?

Da. Inference serveri kao što su vLLM i SGLang dele model na više kartica (tensor parallelism). Kod radnih stanica bez NVLink-a kartice komuniciraju preko PCIe-a, što malo usporava rad, ali za inferenciju obično radi dobro.

Da li kvantizacija kvari kvalitet modela?

FP8 je u praksi gotovo bez gubitka. INT4 ima mali, ali merljiv gubitak — veći kod malih modela i kod zadataka sa brojevima i kodom. Uvek merite na sopstvenim primerima pre odluke.

Kalkulator: koliko VRAM-a treba vašem modelu?

Zašto sopstveni server umesto API-ja