Яка відкрита ШІ-модель запуститься на вашому залізі
Таблиця показує, яке квантування моделі вміщується в пам'ять конкретної відеокарти чи комп'ютера і з якою приблизною швидкістю вона відповідатиме.
| Модель | Параметри | NVIDIA GeForce RTX 3060 12 GB | NVIDIA GeForce RTX 4060 Ti 16 GB | NVIDIA GeForce RTX 3090 | NVIDIA GeForce RTX 4090 | NVIDIA GeForce RTX 5090 | NVIDIA RTX PRO 6000 Blackwell | 2× NVIDIA GeForce RTX 3090 | 3× NVIDIA GeForce RTX 3090 | 4× NVIDIA GeForce RTX 3090 | Apple M4 Max (16-core CPU, 40-core GPU) | Apple M3 Ultra | AMD Ryzen AI Max+ 395 (Strix Halo) | NVIDIA DGX Spark (GB10) | AMD EPYC 7002/7003 (Rome/Milan), 8× DDR4-3200 | AMD EPYC 9004 (Genoa), 12× DDR5-4800 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SmolLM3 3B | 3.1B | Q8_0 5,4 ГБ · 81 ток/с | Q8_0 5,4 ГБ · 64 ток/с | Q8_0 5,4 ГБ · 209 ток/с | Q8_0 5,4 ГБ · 225 ток/с | Q8_0 5,4 ГБ · 401 ток/с | Q8_0 5,4 ГБ · 401 ток/с | Q8_0 5,4 ГБ · 161 ток/с | Q8_0 5,4 ГБ · 131 ток/с | Q8_0 5,4 ГБ · 110 ток/с | Q8_0 5,4 ГБ · 107 ток/с | Q8_0 5,4 ГБ · 160 ток/с | Q8_0 5,4 ГБ · 50 ток/с | Q8_0 5,4 ГБ · 53 ток/с | Q8_0 5,4 ГБ · 15 ток/с | Q8_0 5,4 ГБ · 33 ток/с |
| Llama 3.2 3B Instruct | 3.2B | Q8_0 5,9 ГБ · 74 ток/с | Q8_0 5,9 ГБ · 59 ток/с | Q8_0 5,9 ГБ · 192 ток/с | Q8_0 5,9 ГБ · 207 ток/с | Q8_0 5,9 ГБ · 368 ток/с | Q8_0 5,9 ГБ · 368 ток/с | Q8_0 5,9 ГБ · 148 ток/с | Q8_0 5,9 ГБ · 120 ток/с | Q8_0 5,9 ГБ · 101 ток/с | Q8_0 5,9 ГБ · 98 ток/с | Q8_0 5,9 ГБ · 147 ток/с | Q8_0 5,9 ГБ · 46 ток/с | Q8_0 5,9 ГБ · 49 ток/с | Q8_0 5,9 ГБ · 14 ток/с | Q8_0 5,9 ГБ · 32 ток/с |
| Gemma 3 4B | 4.3B | Q8_0 6,8 ГБ · 67 ток/с | Q8_0 6,8 ГБ · 54 ток/с | Q8_0 6,8 ГБ · 175 ток/с | Q8_0 6,8 ГБ · 189 ток/с | Q8_0 6,8 ГБ · 335 ток/с | Q8_0 6,8 ГБ · 335 ток/с | Q8_0 6,8 ГБ · 135 ток/с | Q8_0 6,8 ГБ · 109 ток/с | Q8_0 6,8 ГБ · 92 ток/с | Q8_0 6,8 ГБ · 89 ток/с | Q8_0 6,8 ГБ · 134 ток/с | Q8_0 6,8 ГБ · 42 ток/с | Q8_0 6,8 ГБ · 45 ток/с | Q8_0 6,8 ГБ · 14 ток/с | Q8_0 6,8 ГБ · 31 ток/с |
| Llama 3.1 8B Instruct | 8B | UD-Q6_K_XL 9,9 ГБ · 37 ток/с | UD-Q6_K_XL 9,9 ГБ · 29 ток/с | UD-Q6_K_XL 9,9 ГБ · 95 ток/с | UD-Q6_K_XL 9,9 ГБ · 103 ток/с | UD-Q6_K_XL 9,9 ГБ · 182 ток/с | UD-Q6_K_XL 9,9 ГБ · 182 ток/с | UD-Q6_K_XL 9,9 ГБ · 73 ток/с | UD-Q6_K_XL 9,9 ГБ · 59 ток/с | UD-Q6_K_XL 9,9 ГБ · 50 ток/с | UD-Q6_K_XL 9,9 ГБ · 49 ток/с | UD-Q6_K_XL 9,9 ГБ · 73 ток/с | UD-Q6_K_XL 9,9 ГБ · 23 ток/с | UD-Q6_K_XL 9,9 ГБ · 24 ток/с | UD-Q6_K_XL 9,9 ГБ · 10 ток/с | UD-Q6_K_XL 9,9 ГБ · 23 ток/с |
| Qwen3 8B | 8.2B | Q8_0 11,4 ГБ · 31 ток/с | Q8_0 11,4 ГБ · 25 ток/с | Q8_0 11,4 ГБ · 80 ток/с | Q8_0 11,4 ГБ · 87 ток/с | Q8_0 11,4 ГБ · 154 ток/с | Q8_0 11,4 ГБ · 154 ток/с | Q8_0 11,4 ГБ · 62 ток/с | Q8_0 11,4 ГБ · 50 ток/с | Q8_0 11,4 ГБ · 42 ток/с | Q8_0 11,4 ГБ · 41 ток/с | Q8_0 11,4 ГБ · 62 ток/с | Q8_0 11,4 ГБ · 19 ток/с | Q8_0 11,4 ГБ · 21 ток/с | UD-Q6_K_XL 10,2 ГБ · 10 ток/с | Q8_0 11,4 ГБ · 21 ток/с |
| Gemma 3 12B | 12.2B | UD-Q5_K_XL 11,7 ГБ · 32 ток/с | Q8_0 15,7 ГБ · 18 ток/с | Q8_0 15,7 ГБ · 58 ток/с | Q8_0 15,7 ГБ · 62 ток/с | Q8_0 15,7 ГБ · 111 ток/с | Q8_0 15,7 ГБ · 111 ток/с | Q8_0 15,7 ГБ · 44 ток/с | Q8_0 15,7 ГБ · 36 ток/с | Q8_0 15,7 ГБ · 30 ток/с | Q8_0 15,7 ГБ · 30 ток/с | Q8_0 15,7 ГБ · 44 ток/с | Q8_0 15,7 ГБ · 14 ток/с | Q8_0 15,7 ГБ · 15 ток/с | Q4_1 10,8 ГБ · 10 ток/с | Q8_0 15,7 ГБ · 17 ток/с |
| Qwen3 14B | 14.8B | Q4_K_M 11,8 ГБ · 30 ток/с | Q6_K 15,0 ГБ · 18 ток/с | Q8_0 18,5 ГБ · 46 ток/с | Q8_0 18,5 ГБ · 49 ток/с | Q8_0 18,5 ГБ · 88 ток/с | Q8_0 18,5 ГБ · 88 ток/с | Q8_0 18,5 ГБ · 35 ток/с | Q8_0 18,5 ГБ · 29 ток/с | Q8_0 18,5 ГБ · 24 ток/с | Q8_0 18,5 ГБ · 23 ток/с | Q8_0 18,5 ГБ · 35 ток/с | Q8_0 18,5 ГБ · 11 ток/с | Q8_0 18,5 ГБ · 12 ток/с | UD-Q3_K_XL 10,4 ГБ · 10 ток/с | Q8_0 18,5 ГБ · 15 ток/с |
| gpt-oss-20b MoE | 20.9B / 3.6B | MXFP4 13,8 ГБ · 53 ток/с | MXFP4 13,8 ГБ · 55 ток/с | MXFP4 13,8 ГБ · 162 ток/с · замір | MXFP4 13,8 ГБ · 194 ток/с | MXFP4 13,8 ГБ · 344 ток/с | MXFP4 13,8 ГБ · 344 ток/с | MXFP4 13,8 ГБ · 138 ток/с | MXFP4 13,8 ГБ · 112 ток/с | MXFP4 13,8 ГБ · 95 ток/с | MXFP4 13,8 ГБ · 80 ток/с | MXFP4 13,8 ГБ · 116 ток/с · замір | MXFP4 13,8 ГБ · 59 ток/с | MXFP4 13,8 ГБ · 62 ток/с | MXFP4 13,8 ГБ · 17 ток/с | MXFP4 13,8 ГБ · 39 ток/с |
| Mistral Small 3.2 24B | 24B | Q3_K_M 15,2 ГБ · 10 ток/с | UD-Q3_K_XL 15,6 ГБ · 18 ток/с | Q6_K 23,1 ГБ · 37 ток/с | Q6_K 23,1 ГБ · 40 ток/с | Q8_0 28,8 ГБ · 56 ток/с | Q8_0 28,8 ГБ · 56 ток/с | Q8_0 28,8 ГБ · 22 ток/с | Q8_0 28,8 ГБ · 18 ток/с | Q8_0 28,8 ГБ · 15 ток/с | Q8_0 28,8 ГБ · 15 ток/с | Q8_0 28,8 ГБ · 22 ток/с | Q5_K_M 20,5 ГБ · 10 ток/с | Q5_K_M 20,5 ГБ · 11 ток/с | Q4_K_M 18,1 ГБ · 7 ток/с | Q8_0 28,8 ГБ · 10 ток/с |
| Gemma 4 26B A4B MoE | 25.8B / 3.8B | UD-Q8_K_XL 30,9 ГБ · 15 ток/с | UD-Q3_K_M 16,0 ГБ · 56 ток/с | UD-Q5_K_S 22,1 ГБ · 129 ток/с | UD-Q5_K_S 22,1 ГБ · 139 ток/с | UD-Q8_K_XL 30,9 ГБ · 173 ток/с | UD-Q8_K_XL 30,9 ГБ · 173 ток/с | UD-Q8_K_XL 30,9 ГБ · 70 ток/с | UD-Q8_K_XL 30,9 ГБ · 57 ток/с | UD-Q8_K_XL 30,9 ГБ · 48 ток/с | UD-Q8_K_XL 30,9 ГБ · 40 ток/с | UD-Q8_K_XL 30,9 ГБ · 60 ток/с | UD-Q8_K_XL 30,9 ГБ · 29 ток/с | UD-Q8_K_XL 30,9 ГБ · 31 ток/с | UD-Q8_K_XL 30,9 ГБ · 14 ток/с | UD-Q8_K_XL 30,9 ГБ · 31 ток/с |
| Gemma 3 27B | 27.4B | UD-IQ3_XXS 14,3 ГБ · 13 ток/с | Q3_K_S 15,6 ГБ · 18 ток/с | UD-Q5_K_XL 22,8 ГБ · 38 ток/с | UD-Q5_K_XL 22,8 ГБ · 41 ток/с | UD-Q6_K_XL 27,2 ГБ · 59 ток/с | Q8_0 32,2 ГБ · 49 ток/с | Q8_0 32,2 ГБ · 20 ток/с | Q8_0 32,2 ГБ · 16 ток/с | Q8_0 32,2 ГБ · 14 ток/с | Q8_0 32,2 ГБ · 13 ток/с | Q8_0 32,2 ГБ · 20 ток/с | Q4_1 20,6 ГБ · 10 ток/с | Q4_1 20,6 ГБ · 11 ток/с | Q4_K_M 20,0 ГБ · 6 ток/с | UD-Q6_K_XL 27,2 ГБ · 11 ток/с |
| Qwen3 30B A3B MoE | 30.5B / 3.3B | Q8_0 34,8 ГБ · 16 ток/с | Q3_K_S 15,6 ГБ · 66 ток/с | Q4_K_M 20,9 ГБ · 154 ток/с · замір | Q5_K_S 23,4 ГБ · 158 ток/с | UD-Q6_K_XL 28,6 ГБ · 232 ток/с | Q8_0 34,8 ГБ · 192 ток/с | Q8_0 34,8 ГБ · 77 ток/с | Q8_0 34,8 ГБ · 63 ток/с | Q8_0 34,8 ГБ · 53 ток/с | Q8_0 34,8 ГБ · 45 ток/с | Q8_0 34,8 ГБ · 67 ток/с | Q8_0 34,8 ГБ · 33 ток/с | Q8_0 34,8 ГБ · 35 ток/с | Q8_0 34,8 ГБ · 14 ток/с | Q8_0 34,8 ГБ · 32 ток/с |
| Gemma 4 31B | 31.3B | Q4_K_M 23,2 ГБ · 4 ток/с | Q3_K_S 18,1 ГБ · 10 ток/с | Q4_1 24,0 ГБ · 37 ток/с | Q4_1 24,0 ГБ · 40 ток/с | Q6_K 30,1 ГБ · 55 ток/с | Q8_0 37,5 ГБ · 43 ток/с | Q8_0 37,5 ГБ · 17 ток/с | Q8_0 37,5 ГБ · 14 ток/с | Q8_0 37,5 ГБ · 12 ток/с | Q8_0 37,5 ГБ · 11 ток/с | Q8_0 37,5 ГБ · 17 ток/с | IQ4_XS 21,3 ГБ · 10 ток/с | Q4_K_S 22,3 ГБ · 10 ток/с | Q4_K_M 23,2 ГБ · 6 ток/с | Q6_K 30,1 ГБ · 10 ток/с |
| Qwen3 32B | 32.8B | Q4_K_M 23,4 ГБ · 4 ток/с | UD-IQ3_XXS 16,6 ГБ · 14 ток/с | UD-Q4_K_XL 23,7 ГБ · 35 ток/с | UD-Q4_K_XL 23,7 ГБ · 38 ток/с | Q6_K 30,5 ГБ · 51 ток/с | Q8_0 38,5 ГБ · 40 ток/с | Q8_0 38,5 ГБ · 16 ток/с | Q8_0 38,5 ГБ · 13 ток/с | Q8_0 38,5 ГБ · 11 ток/с | Q8_0 38,5 ГБ · 11 ток/с | Q8_0 38,5 ГБ · 16 ток/с | UD-Q3_K_XL 20,1 ГБ · 10 ток/с | IQ4_XS 21,4 ГБ · 10 ток/с | Q4_K_M 23,4 ГБ · 5 ток/с | Q5_K_M 26,9 ГБ · 11 ток/с |
| Qwen3.5 35B A3B MoE | 36B / 3B | Q8_0 40,0 ГБ · 18 ток/с | Q8_0 40,0 ГБ · 19 ток/с | Q4_K_S 23,7 ГБ · 191 ток/с | Q4_K_S 23,7 ГБ · 205 ток/с | Q6_K 31,9 ГБ · 274 ток/с | Q8_0 40,0 ГБ · 220 ток/с | Q8_0 40,0 ГБ · 89 ток/с | Q8_0 40,0 ГБ · 72 ток/с | Q8_0 40,0 ГБ · 61 ток/с | Q8_0 40,0 ГБ · 51 ток/с | Q8_0 40,0 ГБ · 77 ток/с | Q8_0 40,0 ГБ · 37 ток/с | Q8_0 40,0 ГБ · 40 ток/с | Q8_0 40,0 ГБ · 15 ток/с | Q8_0 40,0 ГБ · 34 ток/с |
| Llama 3.3 70B Instruct | 70.6B | Q4_K_M 46,7 ГБ · 1 ток/с | Q4_K_M 46,7 ГБ · 1 ток/с | Q4_K_M 46,7 ГБ · 2 ток/с | Q4_K_M 46,7 ГБ · 2 ток/с | UD-IQ3_XXS 31,8 ГБ · 49 ток/с | Q8_0 79,2 ГБ · 19 ток/с | Q4_K_M 46,7 ГБ · 16 ток/с · замір | Q4_1 48,5 ГБ · 10 ток/с | IQ4_XS 42,1 ГБ · 10 ток/с | UD-Q3_K_XL 39,0 ГБ · 11 ток/с | Q5_K_M 54,1 ГБ · 11 ток/с | Q4_K_M 46,7 ГБ · 4 ток/с | Q4_K_M 46,7 ГБ · 4 ток/с | Q4_K_M 46,7 ГБ · 3 ток/с | Q4_K_M 46,7 ГБ · 7 ток/с |
| Qwen3 Next 80B A3B Instruct MoE | 81.3B / 3B | Q5_K_M 59,1 ГБ · 24 ток/с | Q6_K 67,8 ГБ · 21 ток/с | UD-Q6_K_XL 70,8 ГБ · 26 ток/с | UD-Q6_K_XL 70,8 ГБ · 26 ток/с | UD-Q6_K_XL 70,8 ГБ · 31 ток/с | Q8_0 87,1 ГБ · 213 ток/с | Q4_K_S 47,8 ГБ · 145 ток/с | UD-Q6_K_XL 70,8 ГБ · 84 ток/с | Q8_0 87,1 ГБ · 59 ток/с | Q8_0 87,1 ГБ · 49 ток/с | Q8_0 87,1 ГБ · 74 ток/с | Q8_0 87,1 ГБ · 36 ток/с | Q8_0 87,1 ГБ · 39 ток/с | Q8_0 87,1 ГБ · 15 ток/с | Q8_0 87,1 ГБ · 33 ток/с |
| GLM 4.5 Air MoE | 110B / 17B | Q4_0 65,8 ГБ · 5 ток/с | Q4_K_S 70,1 ГБ · 5 ток/с | Q4_K_M 76,0 ГБ · 6 ток/с | Q4_K_M 76,0 ГБ · 6 ток/с | Q3_K_M 60,2 ГБ · 10 ток/с | Q5_K_M 86,6 ГБ · 55 ток/с | Q4_0 65,8 ГБ · 10 ток/с | UD-Q4_K_XL 70,8 ГБ · 22 ток/с | Q5_K_M 86,6 ГБ · 15 ток/с | Q5_K_M 86,6 ГБ · 13 ток/с | Q8_0 120,5 ГБ · 14 ток/с | Q4_K_M 76,0 ГБ · 11 ток/с | Q5_K_M 86,6 ГБ · 10 ток/с | Q4_K_M 76,0 ГБ · 8 ток/с | Q8_0 120,5 ГБ · 13 ток/с |
| gpt-oss-120b MoE | 117B / 5.1B | MXFP4 65,2 ГБ · 19 ток/с | MXFP4 65,2 ГБ · 20 ток/с | MXFP4 65,2 ГБ · 26–28 ток/с · замір | MXFP4 65,2 ГБ · 25 ток/с | MXFP4 65,2 ГБ · 31 ток/с | MXFP4 65,2 ГБ · 258 ток/с | MXFP4 65,2 ГБ · 36 ток/с | MXFP4 65,2 ГБ · 41–73 ток/с · замір | MXFP4 65,2 ГБ · 71 ток/с | MXFP4 65,2 ГБ · 60 ток/с | MXFP4 65,2 ГБ · 90 ток/с | MXFP4 65,2 ГБ · 50 ток/с · замір | MXFP4 65,2 ГБ · 61 ток/с · замір | MXFP4 65,2 ГБ · 16 ток/с | MXFP4 65,2 ГБ · 36 ток/с |
| Qwen3.5 122B A10B MoE | 125B / 10B | UD-IQ4_NL 64,7 ГБ · 11 ток/с | UD-IQ4_NL 64,7 ГБ · 11 ток/с | Q4_K_S 74,9 ГБ · 11 ток/с | Q4_K_S 74,9 ГБ · 11 ток/с | UD-Q4_K_XL 80,2 ГБ · 12 ток/с | UD-Q5_K_XL 95,1 ГБ · 97 ток/с | UD-IQ3_XXS 48,0 ГБ · 76 ток/с | UD-IQ4_NL 64,7 ГБ · 46 ток/с | UD-Q5_K_XL 95,1 ГБ · 27 ток/с | UD-Q5_K_XL 95,1 ГБ · 23 ток/с | Q8_0 133,1 ГБ · 24 ток/с | Q6_K 104,2 ГБ · 15 ток/с | Q6_K 104,2 ГБ · 16 ток/с | UD-Q5_K_XL 95,1 ГБ · 10 ток/с | Q8_0 133,1 ГБ · 19 ток/с |
| Qwen3 235B A22B MoE | 235B / 22B | ✕ 104,5 ГБ | ✕ 104,5 ГБ | ✕ 104,5 ГБ | ✕ 104,5 ГБ | ✕ 104,5 ГБ | UD-Q4_K_XL 137,2 ГБ · 11 ток/с | UD-Q2_K_XL! 91,1 ГБ · 8 ток/с | Q3_K_M 115,5 ГБ · 6 ток/с | UD-Q3_K_XL 106,8 ГБ · 12 ток/с | UD-Q2_K_XL! 91,1 ГБ · 19 ток/с | Q8_0 253,0 ГБ · 11 ток/с | UD-Q3_K_XL 106,8 ГБ · 12 ток/с | UD-Q3_K_XL 106,8 ГБ · 13 ток/с | Q4_K_M 145,2 ГБ · 7 ток/с | Q8_0 253,0 ГБ · 11 ток/с |
| GLM 4.7 MoE | 358B / 39.2B | ✕ 149,7 ГБ | ✕ 149,7 ГБ | ✕ 149,7 ГБ | ✕ 149,7 ГБ | ✕ 149,7 ГБ | UD-IQ3_XXS 149,7 ГБ · 7 ток/с | UD-IQ1_S! 101,8 ГБ · 6 ток/с | UD-IQ2_XXS! 120,5 ГБ · 5 ток/с | UD-IQ3_XXS 149,7 ГБ · 4 ток/с | UD-TQ1_0! 89,1 ГБ · 16 ток/с | Q4_1 229,2 ГБ · 10 ток/с | UD-IQ1_M! 112,2 ГБ · 10 ток/с | UD-IQ1_M! 112,2 ГБ · 10 ток/с | Q4_K_M 221,0 ГБ · 5 ток/с | Q4_1 229,2 ГБ · 10 ток/с |
| DeepSeek R1 MoE | 684B / 37B | ✕ 321,3 ГБ | ✕ 321,3 ГБ | ✕ 321,3 ГБ | ✕ 321,3 ГБ | ✕ 321,3 ГБ | UD-IQ1_S! 142,3 ГБ · 17 ток/с | ✕ 321,3 ГБ | ✕ 321,3 ГБ | UD-IQ1_S! 142,3 ГБ · 8 ток/с | ✕ 321,3 ГБ | Q3_K_M 321,3 ГБ · 15 ток/с | ✕ 321,3 ГБ | ✕ 321,3 ГБ | Q4_K_M 406,5 ГБ · 5 ток/с | Q3_K_M 321,3 ГБ · 14 ток/с |
| Kimi K2.5 MoE | 1,027B / 32B | ✕ 416,9 ГБ | ✕ 416,9 ГБ | ✕ 416,9 ГБ | ✕ 416,9 ГБ | ✕ 416,9 ГБ | ✕ 416,9 ГБ | ✕ 416,9 ГБ | ✕ 416,9 ГБ | ✕ 416,9 ГБ | ✕ 416,9 ГБ | UD-Q2_K_XL! 376,8 ГБ · 22 ток/с | ✕ 416,9 ГБ | ✕ 416,9 ГБ | Q3_K_S 445,2 ГБ · 7 ток/с | UD-IQ2_XXS! 328,8 ГБ · 20 ток/с |
У клітинці — квантування, яке вміщується, обсяг у ГБ і швидкість генерації в токенах за секунду. у відеопам'яті в уніфікованій пам'яті в оперативній пам'яті (CPU) частково в ОЗП не вміщується
≈ оцінка для контексту 8K: ваги, KV-кеш і накладні витрати порівнюються з пам'яттю, швидкість — із пропускною здатністю пам'яті. Реальні цифри залежать від програми й налаштувань.