local-ai.company

Zanim kupisz kartę graficzną do fazy II

Jeśli przechodzisz do fazy II i rozważasz zakup karty graficznej, poniżej znajdziesz wyniki porównawcze RTX 3090, Intel Arc Pro B70 i czterech RTX 3090 w jednej maszynie z modelem Qwen3.8-27B. Karty do 32 GB VRAM uruchamiają go w kwantyzacji 4-bitowej (Q4), a 96 GB pozwala na pełną precyzję BF16. Czwarta kolumna to te same cztery RTX 3090 z nowym, dużo większym modelem Qwen3.8-Flash-Next 177B, który na każdy token liczy tylko ok. 6 mld parametrów. Ten sam budżet tokenów, rozumowanie włączone. Wydajność, pobór mocy, koszt sprzętu i rachunek za prąd.

wyjście 600 tok. rozumowanie ON 1, 3 i 8 użytkowników pomiary 24.09–04.10.2026

1× RTX 3090 · Z420, DDR3

24,0 tok/s

trzej użytkownicy50,0 tok/s ośmiu użytkowników50,0 tok/s skalowanie×2,08 pobór CPU + GPU~217 W sprzęt4 500 zł

po optymalizacji

1× Arc Pro B70 · 32 GB

30,3 tok/s

trzej użytkownicy75,5 tok/s ośmiu użytkowników144,3 tok/s skalowanie×2,49 pobór CPU + GPU~257 W sprzęt6 800 zł

vLLM od 26.09

4× RTX 3090 · Z820 · 27B

47,5 tok/s

trzej użytkownicy82,4 tok/s ośmiu użytkowników148,9 tok/s skalowanie×1,73 pobór samych GPU4 × 209 W sprzęt18 000 zł

4× RTX 3090 · Z820 · Flash 177B

101,4 tok/s

trzej użytkownicy188,9 tok/s ośmiu użytkowników290,7 tok/s skalowanie×1,86 pobór samych GPU4 × 210 W sprzęt18 000 zł

nowy model 04.10

Konfiguracja

	3090 · Z420	Arc Pro B70	Z820 · 27B	Z820 · Flash 177B
Model	Qwen3.8-27B	Qwen3.8-27B	Qwen3.8-27B	Qwen3.8-Flash-Next 177B MoE, 6B aktywnych
CPU	Xeon E5-2660 v2	Ryzen 7 2700	2× Xeon E5-26xx v1	2× Xeon E5-26xx v1
RAM	46 GB DDR3	16 GB	256 GB DDR3	256 GB DDR3 (~50 GB: tablica n-gramów)
Silnik	vLLM 0.20.1	vLLM 0.26 XPU (Intel llm-scaler)	vLLM 0.20.1 (TP=4)	vLLM 0.30.0 + łatki społeczności (TP=2 × PP=2 + EP)
Grafy CUDA / XPU	włączone	włączone (XPU)	włączone	włączone
Spekulacja MTP	włączona	wyłączona	włączona (2 tok.)	włączona (3 tok.)
Kwantyzacja	int4 AutoRound	GPTQ int4	BF16 (brak)	int4 W4A16 (Marlin) + n-gramy fp8 w RAM
KV cache	fp8	fp8	bf16	fp8 (skalibrowane)
Kontekst	65 536	131 072 (pula 191 717)	262 144 (pula ~431 000)	262 144 (pula 806 792)
Współbieżność	`max-num-seqs 8` + chunked prefill	`max-num-seqs 8` + cache prefiksu	`max-num-seqs 24`	`max-num-seqs 8` + cache prefiksu
Limit mocy	180 W + zegar 1500 MHz	250 W	4 × 220 W	4 × 220 W
Prompt w teście	1 344 tok.	2 849 tok.	2 849 tok.	2 849 tok.
Temperatura	0.4	0.6	0.6	0.6
Data pomiaru	24.09.2026	26.09.2026	25.09.2026	04.10.2026

Dla geeków: uwagi do tych liczb, obserwacje techniczne oraz pułapki i błędy, na które trafiliśmy przy optymalizacji vLLM i llama.cpp — geeks-only.html →

Arc Pro B70 od 26.09.2026 pracuje na vLLM. Do tego dnia działał na llama.cpp SYCL: 17,8 tok/s dla jednego i 26,7 tok/s dla trzech użytkowników. Pełne porównanie obu silników na tej samej karcie — na geeks-only.

Czwarta kolumna od 04.10.2026: ta sama maszyna Z820, inny model. Qwen3.8-Flash-Next (177 mld parametrów, mieszanka ekspertów) w 4 bitach zamiast Qwen3.8-27B w pełnej precyzji — ta kolumna porównuje więc modele, a nie karty. Wcześniej była tu pojedyncza RTX 3090 w Z440; jej wyniki i badanie limitu mocy przeniosły się na geeks-only, do części historycznej.

Przepustowość

Jeden użytkownik

3090 · Z420

24,0

Arc B70

30,3

Z820 · 27B

47,5

Z820 · Flash

101,4

Trzej użytkownicy równolegle — przepustowość łączna

3090 · Z420

50,0

Arc B70

75,5

Z820 · 27B

82,4

Z820 · Flash

188,9

050100150200 tok/s

Ośmiu użytkowników równolegle — przepustowość łączna

3090 · Z420

50,0

Arc B70

144,3

Z820 · 27B

148,9

Z820 · Flash

290,7

0100200300 tok/s

Pełne wyniki

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
1 użytkownik — czas	25,0 s	19,8 s	12,7 s	5,9 s
1 użytkownik — tok/s	24,0	30,3	47,5	101,4
Samo generowanie	28,9 tok/s	32,7 tok/s	55,5 tok/s	120,6 tok/s
Czas do pierwszego tokenu	4,3 s	1,5 s	1,8 s	0,95 s
Czytanie promptu	671 tok/s	1 917 tok/s	1 557 tok/s	2 983 tok/s
3 użytkowników — czas ściany	36,0 s	23,8 s	22,2 s	9,5 s
3 użytkowników — łącznie	50,0 tok/s	75,5 tok/s	82,4 tok/s	188,9 tok/s
3 użytkowników — na osobę	16,7	25,2	27,5	63,0
8 użytkowników — łącznie	50,0 tok/s	144,3 tok/s	148,9 tok/s	290,7 tok/s
Skalowanie 1 → 3	×2,08	×2,49	×1,73	×1,86

Pobór mocy

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
GPU — spoczynek	31,3 W	43,0 W	82,8 W	niemierzone
CPU — spoczynek	13 W	9 W	41 W	niemierzone
Razem — spoczynek	45 W	52 W	124 W	niemierzone
GPU — obciążenie (śr.)	175 W	240 W	4 × 209 W	4 × 210 W
GPU — szczyt	180 W	268 W	4 × 220 W	4 × 220 W
CPU — obciążenie	42 W	17 W	niemierzone	niemierzone
Razem — obciążenie	~217 W	~257 W	~836 W (same karty)	~840 W (same karty)
Temperatura	68 °C	71 °C rdzeń / 82 °C VRAM	78 °C	77 °C (stresstest 79 °C)
Zegar pod obciążeniem	1500 MHz (blokada)	2800 MHz (pełny)	1740–1810 MHz	1905–1920 MHz

Co dają same ustawienia

	Stan zastany	Po zmianie ustawień	Zysk
Generowanie, 1 użytkownik	8,4 tok/s	28,9 tok/s	×3,4
3 naraz — łącznie	19,6 tok/s	50,0 tok/s	×2,5
8 naraz — łącznie	19,0 tok/s	50,0 tok/s	×2,6
Czas do 1. tokenu przy 8	92 s	41 s	−55 %
Pobór GPU	131–138 W	167–178 W	dobija do limitu

Analiza szybkości na różnych konfiguracjach GPU

Cztery RTX 3090 (96 GB), limit 4 × 220 W, ten sam skrypt i ten sam prompt, oba modele zmierzone 04.10.2026 jeden po drugim. Qwen3.8-27B jest modelem gęstym: przy każdym tokenie liczy wszystkie 27 mld parametrów. Qwen3.8-Flash-Next ma 177 mld parametrów, ale na token uruchamia tylko ok. 6 mld (mieszanka ekspertów), a pełną uwagę na cały tekst ma tylko co czwarta warstwa.

Wielu użytkowników — prompt 2 849 tok., odpowiedź 600 tok.

Osób naraz	27B — łącznie	Flash — łącznie	Zysk	27B — na osobę	Flash — na osobę	27B — czas do 1. tokenu	Flash — czas do 1. tokenu
1	49,8 tok/s	101,4 tok/s	×2,03	49,8 tok/s	101,4 tok/s	1,8 s	0,95 s
3	95,2 tok/s	188,9 tok/s	×1,98	31,7 tok/s	63,0 tok/s	5,3 s	1,8 s
5	128,7 tok/s	239,1 tok/s	×1,86	25,7 tok/s	47,8 tok/s	8,8 s	2,6 s
8	164,5 tok/s	290,7 tok/s	×1,77	20,6 tok/s	36,3 tok/s	11,4 s	3,8 s

Jak czytać: „łącznie” = wszystkie wygenerowane tokeny podzielone przez czas od wysłania zapytań do ostatniego tokenu, razem z czekaniem; „na osobę” = łącznie podzielone przez liczbę osób — tak samo jak w tabeli głównej. Oba modele: druga z dwóch powtórek (pierwsza po starcie bywa wolniejsza przez kompilację jąder). 27B zmierzony ponownie 04.10 tą samą metodą co 25.09 dał 49,8 / 95,2 / 164,5 tok/s wobec 47,5 / 82,4 / 148,9 w tabeli głównej — rozrzut między dniami sięga 15 % przy trzech osobach, więc różnice poniżej ~15 % nie są rozstrzygające.

Długie dokumenty — polski tekst, pytanie o zdanie ukryte w środku

„Czekanie” = czas do pierwszego tokenu (model czyta dokument), „generowanie” = szybkość pisania odpowiedzi od pierwszego tokenu. Jedna próba na wiersz.

Dokument	27B — czekanie	27B — generowanie	Flash — czekanie	Flash — generowanie
47 tys. tokenów, 1 osoba	31 s	26,2 tok/s	15 s	133,7 tok/s
189 tys. tokenów, 1 osoba	162 s	8,8 tok/s	64 s	139,5 tok/s
5 osób × 47 tys. naraz	śr. 98 s (maks. 156 s)	7,6 tok/s na osobę	śr. 41 s (maks. 66 s)	28,2 tok/s na osobę

Stresstest — 8 osób przez godzinę, rozmowy rosnące co rundę

Test stabilności, nie wyścig: obciążenia były różne (inny sufit rozmowy), więc liczby rund i temperatur nie służą do porównania modeli. Liczy się wiersz z błędami i restartami.

	27B (25.09)	Flash (04.10)
Pula pamięci rozmów (KV)	~431 000 tok.	806 792 tok.
Sufit rozmowy (potem nowa rozmowa)	50 tys. tok.	95 tys. tok.
Kontekst rozmów	15–61 tys. tok.	15–107 tys. tok.
Rundy udane / nieudane	215 / 0	339 / 0
Restarty, błędy GPU / PCIe	0	0
Najwyższa temperatura karty	81 °C	79 °C

Dlaczego Flash-Next nie zwalnia przy długich dokumentach. Model gęsty przy każdym nowym tokenie czyta pamięć całej dotychczasowej rozmowy we wszystkich warstwach — im dłuższy dokument, tym wolniej (27B: z 59 do 9 tok/s). We Flash-Next trzy warstwy na cztery mają pamięć o stałym rozmiarze, a czwarta czyta tylko wybrane fragmenty tekstu. Przy 189 tys. tokenów generuje tak samo szybko jak przy krótkim pytaniu.

Czego ta tabela nie mówi: nic o jakości odpowiedzi. Flash-Next pracuje w 4 bitach, 27B w pełnej precyzji — porównanie dokładności to osobny test, w toku. W stresteście Flash-Next miał rozmowy prawie dwa razy dłuższe, więc jego czasy oczekiwania nie są wprost porównywalne z 27B.

Koszty

Sprzęt

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
Cena kart	4 500 zł	6 800 zł	18 000 zł	18 000 zł
VRAM	24 GB	32 GB	96 GB	96 GB
zł za 1 GB VRAM	188 zł	212 zł	188 zł	188 zł

Prąd — 1 zł/kWh, praca ciągła (720 h/mies.)

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
Spoczynek — zmierzone	32 zł	37 zł	89 zł	niemierzone
Spoczynek — z gniazdka (szac.)	89 zł	74 zł	181 zł	—
Obciążenie — zmierzone	123 zł	185 zł	602 zł	605 zł
Obciążenie — z gniazdka (szac.)	196 zł	251 zł	—	—

Koszt sprzętu na 1 tok/s

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
1 użytkownik	187 zł	224 zł	379 zł	178 zł
3 użytkowników	90 zł	90 zł	219 zł	95 zł

Wydajność na wat

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
1 użytkownik	0,137 tok/s/W	0,126 tok/s/W	0,056 tok/s/W	0,121 tok/s/W
3 użytkowników	0,286 tok/s/W	0,315 tok/s/W	0,100 tok/s/W	0,225 tok/s/W

Before You Buy a GPU for Phase II

If you are moving to Phase II and considering a graphics card, below are comparative results for an RTX 3090, an Intel Arc Pro B70 and four RTX 3090s in one machine running Qwen3.8-27B. Cards with up to 32 GB of VRAM run it in 4-bit quantisation (Q4); 96 GB allows full BF16 precision. The fourth column is the same four RTX 3090s with a new, much larger model, Qwen3.8-Flash-Next 177B, which computes only about 6 billion parameters per token. Same token budget, reasoning enabled. Throughput, power draw, hardware cost and the monthly electricity bill.

600-token output reasoning on 1, 3 and 8 users measured 2026-09-24 to 10-04

1× RTX 3090 · Z420, DDR3

24.0 tok/s

three users50.0 tok/s eight users50.0 tok/s scaling×2.08 CPU + GPU draw~217 W hardware€1,050

after tuning

1× Arc Pro B70 · 32 GB

30.3 tok/s

three users75.5 tok/s eight users144.3 tok/s scaling×2.49 CPU + GPU draw~257 W hardware€1,580

vLLM since 09-26

4× RTX 3090 · Z820 · 27B

47.5 tok/s

three users82.4 tok/s eight users148.9 tok/s scaling×1.73 GPU-only draw4 × 209 W hardware€4,190

4× RTX 3090 · Z820 · Flash 177B

101.4 tok/s

three users188.9 tok/s eight users290.7 tok/s scaling×1.86 GPU-only draw4 × 210 W hardware€4,190

new model 10-04

Configuration

	3090 · Z420	Arc Pro B70	Z820 · 27B	Z820 · Flash 177B
Model	Qwen3.8-27B	Qwen3.8-27B	Qwen3.8-27B	Qwen3.8-Flash-Next 177B MoE, 6B active
CPU	Xeon E5-2660 v2	Ryzen 7 2700	2× Xeon E5-26xx v1	2× Xeon E5-26xx v1
System RAM	46 GB DDR3	16 GB	256 GB DDR3	256 GB DDR3 (~50 GB: n-gram table)
Engine	vLLM 0.20.1	vLLM 0.26 XPU (Intel llm-scaler)	vLLM 0.20.1 (TP=4)	vLLM 0.30.0 + community patches (TP=2 × PP=2 + EP)
CUDA / XPU graphs	enabled	enabled (XPU)	enabled	enabled
MTP speculation	enabled	disabled	enabled (2 tok.)	enabled (3 tok.)
Quantisation	int4 AutoRound	GPTQ int4	BF16 (none)	int4 W4A16 (Marlin) + fp8 n-grams in RAM
KV cache	fp8	fp8	bf16	fp8 (calibrated)
Context	65,536	131,072 (pool 191,717)	262,144 (pool ~431,000)	262,144 (pool 806,792)
Concurrency	`max-num-seqs 8` + chunked prefill	`max-num-seqs 8` + prefix cache	`max-num-seqs 24`	`max-num-seqs 8` + prefix cache
Power limit	180 W + 1500 MHz clock lock	250 W	4 × 220 W	4 × 220 W
Test prompt	1,344 tok.	2,849 tok.	2,849 tok.	2,849 tok.
Temperature	0.4	0.6	0.6	0.6
Measured on	2026-09-24	2026-09-26	2026-09-25	2026-10-04

For geeks: notes behind these numbers, technical observations and the pitfalls we hit tuning vLLM and llama.cpp — geeks-only.html →

Since 2026-09-26 the Arc Pro B70 runs on vLLM. Until then it ran on llama.cpp SYCL: 17.8 tok/s for one user and 26.7 tok/s for three. The full comparison of both engines on the same card is on geeks-only.

Fourth column since 2026-10-04: the same Z820, a different model. Qwen3.8-Flash-Next (177 billion parameters, mixture of experts) in 4-bit instead of Qwen3.8-27B at full precision — so this column compares models, not cards. It used to show a single RTX 3090 in a Z440; its results and the power-limit study moved to geeks-only, in the history part.

Throughput

Single user

3090 · Z420

24.0

Arc B70

30.3

Z820 · 27B

47.5

Z820 · Flash

101.4

Three concurrent users — aggregate throughput

3090 · Z420

50.0

Arc B70

75.5

Z820 · 27B

82.4

Z820 · Flash

188.9

050100150200 tok/s

Eight concurrent users — aggregate throughput

3090 · Z420

50.0

Arc B70

144.3

Z820 · 27B

148.9

Z820 · Flash

290.7

0100200300 tok/s

Full results

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
Single user — wall time	25.0 s	19.8 s	12.7 s	5.9 s
Single user — tok/s	24.0	30.3	47.5	101.4
Decode only	28.9 tok/s	32.7 tok/s	55.5 tok/s	120.6 tok/s
Time to first token	4.3 s	1.5 s	1.8 s	0.95 s
Prompt processing	671 tok/s	1,917 tok/s	1,557 tok/s	2,983 tok/s
Three users — wall time	36.0 s	23.8 s	22.2 s	9.5 s
Three users — aggregate	50.0 tok/s	75.5 tok/s	82.4 tok/s	188.9 tok/s
Three users — per user	16.7	25.2	27.5	63.0
Eight users — aggregate	50.0 tok/s	144.3 tok/s	148.9 tok/s	290.7 tok/s
Scaling 1 → 3	×2.08	×2.49	×1.73	×1.86

Power draw

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
GPU — idle	31.3 W	43.0 W	82.8 W	not measured
CPU — idle	13 W	9 W	41 W	not measured
Combined — idle	45 W	52 W	124 W	not measured
GPU — under load (avg)	175 W	240 W	4 × 209 W	4 × 210 W
GPU — peak	180 W	268 W	4 × 220 W	4 × 220 W
CPU — under load	42 W	17 W	not measured	not measured
Combined — under load	~217 W	~257 W	~836 W (GPUs only)	~840 W (GPUs only)
Temperature	68 °C	71 °C core / 82 °C VRAM	78 °C	77 °C (stress test 79 °C)
Clock under load	1500 MHz (locked)	2800 MHz (full)	1740–1810 MHz	1905–1920 MHz

What the settings alone buy

	As found	After tuning	Gain
Decode, single user	8.4 tok/s	28.9 tok/s	×3.4
3 at once — aggregate	19.6 tok/s	50.0 tok/s	×2.5
8 at once — aggregate	19.0 tok/s	50.0 tok/s	×2.6
Time to first token at 8	92 s	41 s	−55 %
GPU draw	131–138 W	167–178 W	reaches the cap

Speed analysis across GPU configurations

Four RTX 3090s (96 GB), 4 × 220 W cap, the same script and prompt, both models measured on 2026-10-04 back to back. Qwen3.8-27B is a dense model: it computes all 27 billion parameters for every token. Qwen3.8-Flash-Next has 177 billion parameters but runs only about 6 billion per token (mixture of experts), and only one layer in four attends to the whole text.

Many users — 2,849-token prompt, 600-token answer

Users at once	27B — total	Flash — total	Gain	27B — per user	Flash — per user	27B — time to first token	Flash — time to first token
1	49.8 tok/s	101.4 tok/s	×2.03	49.8 tok/s	101.4 tok/s	1.8 s	0.95 s
3	95.2 tok/s	188.9 tok/s	×1.98	31.7 tok/s	63.0 tok/s	5.3 s	1.8 s
5	128.7 tok/s	239.1 tok/s	×1.86	25.7 tok/s	47.8 tok/s	8.8 s	2.6 s
8	164.5 tok/s	290.7 tok/s	×1.77	20.6 tok/s	36.3 tok/s	11.4 s	3.8 s

How to read it: “total” = all generated tokens divided by the time from sending the requests to the last token, waiting included; “per user” = total divided by the number of users — the same as in the main table. Both models: the second of two runs (the first after a start can be slower because of kernel compilation). 27B re-measured on 10-04 with the same method as on 09-25 gave 49.8 / 95.2 / 164.5 tok/s against 47.5 / 82.4 / 148.9 in the main table — run-to-run spread between days reaches 15 % at three users, so differences below ~15 % are not conclusive.

Long documents — Polish text, a question about a sentence hidden in the middle

“Wait” = time to first token (the model reads the document), “decode” = how fast the answer is written from the first token on. One run per row.

Document	27B — wait	27B — decode	Flash — wait	Flash — decode
47k tokens, 1 user	31 s	26.2 tok/s	15 s	133.7 tok/s
189k tokens, 1 user	162 s	8.8 tok/s	64 s	139.5 tok/s
5 users × 47k at once	avg 98 s (max 156 s)	7.6 tok/s per user	avg 41 s (max 66 s)	28.2 tok/s per user

Stress test — 8 users for an hour, conversations growing every round

A stability test, not a race: the loads differed (a different conversation ceiling), so round counts and temperatures are not for comparing the models. The row that matters is errors and restarts.

	27B (09-25)	Flash (10-04)
Conversation memory pool (KV)	~431,000 tok.	806,792 tok.
Conversation ceiling (then a new one starts)	50k tok.	95k tok.
Conversation context	15–61k tok.	15–107k tok.
Rounds passed / failed	215 / 0	339 / 0
Restarts, GPU / PCIe errors	0	0
Highest card temperature	81 °C	79 °C

Why Flash-Next does not slow down on long documents. A dense model re-reads the memory of the whole conversation in every layer for every new token — the longer the document, the slower it gets (27B: from 59 to 9 tok/s). In Flash-Next three layers out of four keep a fixed-size memory, and the fourth reads only selected passages. At 189k tokens it generates as fast as on a short question.

What this table does not say: anything about answer quality. Flash-Next runs in 4-bit, 27B at full precision — comparing accuracy is a separate test, in progress. In the stress test Flash-Next carried conversations almost twice as long, so its waiting times are not directly comparable with 27B.

Cost

Hardware

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
GPU price	€1,050	€1,580	€4,190	€4,190
VRAM	24 GB	32 GB	96 GB	96 GB
€ per GB of VRAM	€44	€49	€44	€44

Electricity — €0.25/kWh, continuous operation (720 h/month)

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
Idle — measured	€8.10	€9.36	€22.32	not measured
Idle — at the wall (est.)	€22.32	€18.36	€45.36	—
Under load — measured	€30.78	€46.26	€150.48	€151.20
Under load — at the wall (est.)	€48.96	€62.68	—	—

Hardware cost per 1 tok/s

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
Single user	€44	€52	€88	€41
Three users	€21	€21	€51	€22

Throughput per watt

	3090 · Z420	Arc B70	Z820 · 27B	Z820 · Flash 177B
Single user	0.137 tok/s/W	0.126 tok/s/W	0.056 tok/s/W	0.121 tok/s/W
Three users	0.286 tok/s/W	0.315 tok/s/W	0.100 tok/s/W	0.225 tok/s/W