Яка відкрита ШІ-модель запуститься на вашому залізі

Таблиця показує, яке квантування моделі вміщується в пам'ять конкретної відеокарти чи комп'ютера і з якою приблизною швидкістю вона відповідатиме.

Яка відкрита ШІ-модель запуститься на вашому залізі · станом на
Модель Параметри NVIDIA GeForce RTX 3060 12 GB NVIDIA GeForce RTX 4060 Ti 16 GB NVIDIA GeForce RTX 3090 NVIDIA GeForce RTX 4090 NVIDIA GeForce RTX 5090 NVIDIA RTX PRO 6000 Blackwell 2× NVIDIA GeForce RTX 3090 3× NVIDIA GeForce RTX 3090 4× NVIDIA GeForce RTX 3090 Apple M4 Max (16-core CPU, 40-core GPU) Apple M3 Ultra AMD Ryzen AI Max+ 395 (Strix Halo) NVIDIA DGX Spark (GB10) AMD EPYC 7002/7003 (Rome/Milan), 8× DDR4-3200 AMD EPYC 9004 (Genoa), 12× DDR5-4800
SmolLM3 3B 3.1B Q8_0 5,4 ГБ · 81 ток/с Q8_0 5,4 ГБ · 64 ток/с Q8_0 5,4 ГБ · 209 ток/с Q8_0 5,4 ГБ · 225 ток/с Q8_0 5,4 ГБ · 401 ток/с Q8_0 5,4 ГБ · 401 ток/с Q8_0 5,4 ГБ · 161 ток/с Q8_0 5,4 ГБ · 131 ток/с Q8_0 5,4 ГБ · 110 ток/с Q8_0 5,4 ГБ · 107 ток/с Q8_0 5,4 ГБ · 160 ток/с Q8_0 5,4 ГБ · 50 ток/с Q8_0 5,4 ГБ · 53 ток/с Q8_0 5,4 ГБ · 15 ток/с Q8_0 5,4 ГБ · 33 ток/с
Llama 3.2 3B Instruct 3.2B Q8_0 5,9 ГБ · 74 ток/с Q8_0 5,9 ГБ · 59 ток/с Q8_0 5,9 ГБ · 192 ток/с Q8_0 5,9 ГБ · 207 ток/с Q8_0 5,9 ГБ · 368 ток/с Q8_0 5,9 ГБ · 368 ток/с Q8_0 5,9 ГБ · 148 ток/с Q8_0 5,9 ГБ · 120 ток/с Q8_0 5,9 ГБ · 101 ток/с Q8_0 5,9 ГБ · 98 ток/с Q8_0 5,9 ГБ · 147 ток/с Q8_0 5,9 ГБ · 46 ток/с Q8_0 5,9 ГБ · 49 ток/с Q8_0 5,9 ГБ · 14 ток/с Q8_0 5,9 ГБ · 32 ток/с
Gemma 3 4B 4.3B Q8_0 6,8 ГБ · 67 ток/с Q8_0 6,8 ГБ · 54 ток/с Q8_0 6,8 ГБ · 175 ток/с Q8_0 6,8 ГБ · 189 ток/с Q8_0 6,8 ГБ · 335 ток/с Q8_0 6,8 ГБ · 335 ток/с Q8_0 6,8 ГБ · 135 ток/с Q8_0 6,8 ГБ · 109 ток/с Q8_0 6,8 ГБ · 92 ток/с Q8_0 6,8 ГБ · 89 ток/с Q8_0 6,8 ГБ · 134 ток/с Q8_0 6,8 ГБ · 42 ток/с Q8_0 6,8 ГБ · 45 ток/с Q8_0 6,8 ГБ · 14 ток/с Q8_0 6,8 ГБ · 31 ток/с
Llama 3.1 8B Instruct 8B UD-Q6_K_XL 9,9 ГБ · 37 ток/с UD-Q6_K_XL 9,9 ГБ · 29 ток/с UD-Q6_K_XL 9,9 ГБ · 95 ток/с UD-Q6_K_XL 9,9 ГБ · 103 ток/с UD-Q6_K_XL 9,9 ГБ · 182 ток/с UD-Q6_K_XL 9,9 ГБ · 182 ток/с UD-Q6_K_XL 9,9 ГБ · 73 ток/с UD-Q6_K_XL 9,9 ГБ · 59 ток/с UD-Q6_K_XL 9,9 ГБ · 50 ток/с UD-Q6_K_XL 9,9 ГБ · 49 ток/с UD-Q6_K_XL 9,9 ГБ · 73 ток/с UD-Q6_K_XL 9,9 ГБ · 23 ток/с UD-Q6_K_XL 9,9 ГБ · 24 ток/с UD-Q6_K_XL 9,9 ГБ · 10 ток/с UD-Q6_K_XL 9,9 ГБ · 23 ток/с
Qwen3 8B 8.2B Q8_0 11,4 ГБ · 31 ток/с Q8_0 11,4 ГБ · 25 ток/с Q8_0 11,4 ГБ · 80 ток/с Q8_0 11,4 ГБ · 87 ток/с Q8_0 11,4 ГБ · 154 ток/с Q8_0 11,4 ГБ · 154 ток/с Q8_0 11,4 ГБ · 62 ток/с Q8_0 11,4 ГБ · 50 ток/с Q8_0 11,4 ГБ · 42 ток/с Q8_0 11,4 ГБ · 41 ток/с Q8_0 11,4 ГБ · 62 ток/с Q8_0 11,4 ГБ · 19 ток/с Q8_0 11,4 ГБ · 21 ток/с UD-Q6_K_XL 10,2 ГБ · 10 ток/с Q8_0 11,4 ГБ · 21 ток/с
Gemma 3 12B 12.2B UD-Q5_K_XL 11,7 ГБ · 32 ток/с Q8_0 15,7 ГБ · 18 ток/с Q8_0 15,7 ГБ · 58 ток/с Q8_0 15,7 ГБ · 62 ток/с Q8_0 15,7 ГБ · 111 ток/с Q8_0 15,7 ГБ · 111 ток/с Q8_0 15,7 ГБ · 44 ток/с Q8_0 15,7 ГБ · 36 ток/с Q8_0 15,7 ГБ · 30 ток/с Q8_0 15,7 ГБ · 30 ток/с Q8_0 15,7 ГБ · 44 ток/с Q8_0 15,7 ГБ · 14 ток/с Q8_0 15,7 ГБ · 15 ток/с Q4_1 10,8 ГБ · 10 ток/с Q8_0 15,7 ГБ · 17 ток/с
Qwen3 14B 14.8B Q4_K_M 11,8 ГБ · 30 ток/с Q6_K 15,0 ГБ · 18 ток/с Q8_0 18,5 ГБ · 46 ток/с Q8_0 18,5 ГБ · 49 ток/с Q8_0 18,5 ГБ · 88 ток/с Q8_0 18,5 ГБ · 88 ток/с Q8_0 18,5 ГБ · 35 ток/с Q8_0 18,5 ГБ · 29 ток/с Q8_0 18,5 ГБ · 24 ток/с Q8_0 18,5 ГБ · 23 ток/с Q8_0 18,5 ГБ · 35 ток/с Q8_0 18,5 ГБ · 11 ток/с Q8_0 18,5 ГБ · 12 ток/с UD-Q3_K_XL 10,4 ГБ · 10 ток/с Q8_0 18,5 ГБ · 15 ток/с
gpt-oss-20b MoE 20.9B / 3.6B MXFP4 13,8 ГБ · 53 ток/с MXFP4 13,8 ГБ · 55 ток/с MXFP4 13,8 ГБ · 162 ток/с · замір MXFP4 13,8 ГБ · 194 ток/с MXFP4 13,8 ГБ · 344 ток/с MXFP4 13,8 ГБ · 344 ток/с MXFP4 13,8 ГБ · 138 ток/с MXFP4 13,8 ГБ · 112 ток/с MXFP4 13,8 ГБ · 95 ток/с MXFP4 13,8 ГБ · 80 ток/с MXFP4 13,8 ГБ · 116 ток/с · замір MXFP4 13,8 ГБ · 59 ток/с MXFP4 13,8 ГБ · 62 ток/с MXFP4 13,8 ГБ · 17 ток/с MXFP4 13,8 ГБ · 39 ток/с
Mistral Small 3.2 24B 24B Q3_K_M 15,2 ГБ · 10 ток/с UD-Q3_K_XL 15,6 ГБ · 18 ток/с Q6_K 23,1 ГБ · 37 ток/с Q6_K 23,1 ГБ · 40 ток/с Q8_0 28,8 ГБ · 56 ток/с Q8_0 28,8 ГБ · 56 ток/с Q8_0 28,8 ГБ · 22 ток/с Q8_0 28,8 ГБ · 18 ток/с Q8_0 28,8 ГБ · 15 ток/с Q8_0 28,8 ГБ · 15 ток/с Q8_0 28,8 ГБ · 22 ток/с Q5_K_M 20,5 ГБ · 10 ток/с Q5_K_M 20,5 ГБ · 11 ток/с Q4_K_M 18,1 ГБ · 7 ток/с Q8_0 28,8 ГБ · 10 ток/с
Gemma 4 26B A4B MoE 25.8B / 3.8B UD-Q8_K_XL 30,9 ГБ · 15 ток/с UD-Q3_K_M 16,0 ГБ · 56 ток/с UD-Q5_K_S 22,1 ГБ · 129 ток/с UD-Q5_K_S 22,1 ГБ · 139 ток/с UD-Q8_K_XL 30,9 ГБ · 173 ток/с UD-Q8_K_XL 30,9 ГБ · 173 ток/с UD-Q8_K_XL 30,9 ГБ · 70 ток/с UD-Q8_K_XL 30,9 ГБ · 57 ток/с UD-Q8_K_XL 30,9 ГБ · 48 ток/с UD-Q8_K_XL 30,9 ГБ · 40 ток/с UD-Q8_K_XL 30,9 ГБ · 60 ток/с UD-Q8_K_XL 30,9 ГБ · 29 ток/с UD-Q8_K_XL 30,9 ГБ · 31 ток/с UD-Q8_K_XL 30,9 ГБ · 14 ток/с UD-Q8_K_XL 30,9 ГБ · 31 ток/с
Gemma 3 27B 27.4B UD-IQ3_XXS 14,3 ГБ · 13 ток/с Q3_K_S 15,6 ГБ · 18 ток/с UD-Q5_K_XL 22,8 ГБ · 38 ток/с UD-Q5_K_XL 22,8 ГБ · 41 ток/с UD-Q6_K_XL 27,2 ГБ · 59 ток/с Q8_0 32,2 ГБ · 49 ток/с Q8_0 32,2 ГБ · 20 ток/с Q8_0 32,2 ГБ · 16 ток/с Q8_0 32,2 ГБ · 14 ток/с Q8_0 32,2 ГБ · 13 ток/с Q8_0 32,2 ГБ · 20 ток/с Q4_1 20,6 ГБ · 10 ток/с Q4_1 20,6 ГБ · 11 ток/с Q4_K_M 20,0 ГБ · 6 ток/с UD-Q6_K_XL 27,2 ГБ · 11 ток/с
Qwen3 30B A3B MoE 30.5B / 3.3B Q8_0 34,8 ГБ · 16 ток/с Q3_K_S 15,6 ГБ · 66 ток/с Q4_K_M 20,9 ГБ · 154 ток/с · замір Q5_K_S 23,4 ГБ · 158 ток/с UD-Q6_K_XL 28,6 ГБ · 232 ток/с Q8_0 34,8 ГБ · 192 ток/с Q8_0 34,8 ГБ · 77 ток/с Q8_0 34,8 ГБ · 63 ток/с Q8_0 34,8 ГБ · 53 ток/с Q8_0 34,8 ГБ · 45 ток/с Q8_0 34,8 ГБ · 67 ток/с Q8_0 34,8 ГБ · 33 ток/с Q8_0 34,8 ГБ · 35 ток/с Q8_0 34,8 ГБ · 14 ток/с Q8_0 34,8 ГБ · 32 ток/с
Gemma 4 31B 31.3B Q4_K_M 23,2 ГБ · 4 ток/с Q3_K_S 18,1 ГБ · 10 ток/с Q4_1 24,0 ГБ · 37 ток/с Q4_1 24,0 ГБ · 40 ток/с Q6_K 30,1 ГБ · 55 ток/с Q8_0 37,5 ГБ · 43 ток/с Q8_0 37,5 ГБ · 17 ток/с Q8_0 37,5 ГБ · 14 ток/с Q8_0 37,5 ГБ · 12 ток/с Q8_0 37,5 ГБ · 11 ток/с Q8_0 37,5 ГБ · 17 ток/с IQ4_XS 21,3 ГБ · 10 ток/с Q4_K_S 22,3 ГБ · 10 ток/с Q4_K_M 23,2 ГБ · 6 ток/с Q6_K 30,1 ГБ · 10 ток/с
Qwen3 32B 32.8B Q4_K_M 23,4 ГБ · 4 ток/с UD-IQ3_XXS 16,6 ГБ · 14 ток/с UD-Q4_K_XL 23,7 ГБ · 35 ток/с UD-Q4_K_XL 23,7 ГБ · 38 ток/с Q6_K 30,5 ГБ · 51 ток/с Q8_0 38,5 ГБ · 40 ток/с Q8_0 38,5 ГБ · 16 ток/с Q8_0 38,5 ГБ · 13 ток/с Q8_0 38,5 ГБ · 11 ток/с Q8_0 38,5 ГБ · 11 ток/с Q8_0 38,5 ГБ · 16 ток/с UD-Q3_K_XL 20,1 ГБ · 10 ток/с IQ4_XS 21,4 ГБ · 10 ток/с Q4_K_M 23,4 ГБ · 5 ток/с Q5_K_M 26,9 ГБ · 11 ток/с
Qwen3.5 35B A3B MoE 36B / 3B Q8_0 40,0 ГБ · 18 ток/с Q8_0 40,0 ГБ · 19 ток/с Q4_K_S 23,7 ГБ · 191 ток/с Q4_K_S 23,7 ГБ · 205 ток/с Q6_K 31,9 ГБ · 274 ток/с Q8_0 40,0 ГБ · 220 ток/с Q8_0 40,0 ГБ · 89 ток/с Q8_0 40,0 ГБ · 72 ток/с Q8_0 40,0 ГБ · 61 ток/с Q8_0 40,0 ГБ · 51 ток/с Q8_0 40,0 ГБ · 77 ток/с Q8_0 40,0 ГБ · 37 ток/с Q8_0 40,0 ГБ · 40 ток/с Q8_0 40,0 ГБ · 15 ток/с Q8_0 40,0 ГБ · 34 ток/с
Llama 3.3 70B Instruct 70.6B Q4_K_M 46,7 ГБ · 1 ток/с Q4_K_M 46,7 ГБ · 1 ток/с Q4_K_M 46,7 ГБ · 2 ток/с Q4_K_M 46,7 ГБ · 2 ток/с UD-IQ3_XXS 31,8 ГБ · 49 ток/с Q8_0 79,2 ГБ · 19 ток/с Q4_K_M 46,7 ГБ · 16 ток/с · замір Q4_1 48,5 ГБ · 10 ток/с IQ4_XS 42,1 ГБ · 10 ток/с UD-Q3_K_XL 39,0 ГБ · 11 ток/с Q5_K_M 54,1 ГБ · 11 ток/с Q4_K_M 46,7 ГБ · 4 ток/с Q4_K_M 46,7 ГБ · 4 ток/с Q4_K_M 46,7 ГБ · 3 ток/с Q4_K_M 46,7 ГБ · 7 ток/с
Qwen3 Next 80B A3B Instruct MoE 81.3B / 3B Q5_K_M 59,1 ГБ · 24 ток/с Q6_K 67,8 ГБ · 21 ток/с UD-Q6_K_XL 70,8 ГБ · 26 ток/с UD-Q6_K_XL 70,8 ГБ · 26 ток/с UD-Q6_K_XL 70,8 ГБ · 31 ток/с Q8_0 87,1 ГБ · 213 ток/с Q4_K_S 47,8 ГБ · 145 ток/с UD-Q6_K_XL 70,8 ГБ · 84 ток/с Q8_0 87,1 ГБ · 59 ток/с Q8_0 87,1 ГБ · 49 ток/с Q8_0 87,1 ГБ · 74 ток/с Q8_0 87,1 ГБ · 36 ток/с Q8_0 87,1 ГБ · 39 ток/с Q8_0 87,1 ГБ · 15 ток/с Q8_0 87,1 ГБ · 33 ток/с
GLM 4.5 Air MoE 110B / 17B Q4_0 65,8 ГБ · 5 ток/с Q4_K_S 70,1 ГБ · 5 ток/с Q4_K_M 76,0 ГБ · 6 ток/с Q4_K_M 76,0 ГБ · 6 ток/с Q3_K_M 60,2 ГБ · 10 ток/с Q5_K_M 86,6 ГБ · 55 ток/с Q4_0 65,8 ГБ · 10 ток/с UD-Q4_K_XL 70,8 ГБ · 22 ток/с Q5_K_M 86,6 ГБ · 15 ток/с Q5_K_M 86,6 ГБ · 13 ток/с Q8_0 120,5 ГБ · 14 ток/с Q4_K_M 76,0 ГБ · 11 ток/с Q5_K_M 86,6 ГБ · 10 ток/с Q4_K_M 76,0 ГБ · 8 ток/с Q8_0 120,5 ГБ · 13 ток/с
gpt-oss-120b MoE 117B / 5.1B MXFP4 65,2 ГБ · 19 ток/с MXFP4 65,2 ГБ · 20 ток/с MXFP4 65,2 ГБ · 26–28 ток/с · замір MXFP4 65,2 ГБ · 25 ток/с MXFP4 65,2 ГБ · 31 ток/с MXFP4 65,2 ГБ · 258 ток/с MXFP4 65,2 ГБ · 36 ток/с MXFP4 65,2 ГБ · 41–73 ток/с · замір MXFP4 65,2 ГБ · 71 ток/с MXFP4 65,2 ГБ · 60 ток/с MXFP4 65,2 ГБ · 90 ток/с MXFP4 65,2 ГБ · 50 ток/с · замір MXFP4 65,2 ГБ · 61 ток/с · замір MXFP4 65,2 ГБ · 16 ток/с MXFP4 65,2 ГБ · 36 ток/с
Qwen3.5 122B A10B MoE 125B / 10B UD-IQ4_NL 64,7 ГБ · 11 ток/с UD-IQ4_NL 64,7 ГБ · 11 ток/с Q4_K_S 74,9 ГБ · 11 ток/с Q4_K_S 74,9 ГБ · 11 ток/с UD-Q4_K_XL 80,2 ГБ · 12 ток/с UD-Q5_K_XL 95,1 ГБ · 97 ток/с UD-IQ3_XXS 48,0 ГБ · 76 ток/с UD-IQ4_NL 64,7 ГБ · 46 ток/с UD-Q5_K_XL 95,1 ГБ · 27 ток/с UD-Q5_K_XL 95,1 ГБ · 23 ток/с Q8_0 133,1 ГБ · 24 ток/с Q6_K 104,2 ГБ · 15 ток/с Q6_K 104,2 ГБ · 16 ток/с UD-Q5_K_XL 95,1 ГБ · 10 ток/с Q8_0 133,1 ГБ · 19 ток/с
Qwen3 235B A22B MoE 235B / 22B ✕ 104,5 ГБ ✕ 104,5 ГБ ✕ 104,5 ГБ ✕ 104,5 ГБ ✕ 104,5 ГБ UD-Q4_K_XL 137,2 ГБ · 11 ток/с UD-Q2_K_XL! 91,1 ГБ · 8 ток/с Q3_K_M 115,5 ГБ · 6 ток/с UD-Q3_K_XL 106,8 ГБ · 12 ток/с UD-Q2_K_XL! 91,1 ГБ · 19 ток/с Q8_0 253,0 ГБ · 11 ток/с UD-Q3_K_XL 106,8 ГБ · 12 ток/с UD-Q3_K_XL 106,8 ГБ · 13 ток/с Q4_K_M 145,2 ГБ · 7 ток/с Q8_0 253,0 ГБ · 11 ток/с
GLM 4.7 MoE 358B / 39.2B ✕ 149,7 ГБ ✕ 149,7 ГБ ✕ 149,7 ГБ ✕ 149,7 ГБ ✕ 149,7 ГБ UD-IQ3_XXS 149,7 ГБ · 7 ток/с UD-IQ1_S! 101,8 ГБ · 6 ток/с UD-IQ2_XXS! 120,5 ГБ · 5 ток/с UD-IQ3_XXS 149,7 ГБ · 4 ток/с UD-TQ1_0! 89,1 ГБ · 16 ток/с Q4_1 229,2 ГБ · 10 ток/с UD-IQ1_M! 112,2 ГБ · 10 ток/с UD-IQ1_M! 112,2 ГБ · 10 ток/с Q4_K_M 221,0 ГБ · 5 ток/с Q4_1 229,2 ГБ · 10 ток/с
DeepSeek R1 MoE 684B / 37B ✕ 321,3 ГБ ✕ 321,3 ГБ ✕ 321,3 ГБ ✕ 321,3 ГБ ✕ 321,3 ГБ UD-IQ1_S! 142,3 ГБ · 17 ток/с ✕ 321,3 ГБ ✕ 321,3 ГБ UD-IQ1_S! 142,3 ГБ · 8 ток/с ✕ 321,3 ГБ Q3_K_M 321,3 ГБ · 15 ток/с ✕ 321,3 ГБ ✕ 321,3 ГБ Q4_K_M 406,5 ГБ · 5 ток/с Q3_K_M 321,3 ГБ · 14 ток/с
Kimi K2.5 MoE 1,027B / 32B ✕ 416,9 ГБ ✕ 416,9 ГБ ✕ 416,9 ГБ ✕ 416,9 ГБ ✕ 416,9 ГБ ✕ 416,9 ГБ ✕ 416,9 ГБ ✕ 416,9 ГБ ✕ 416,9 ГБ ✕ 416,9 ГБ UD-Q2_K_XL! 376,8 ГБ · 22 ток/с ✕ 416,9 ГБ ✕ 416,9 ГБ Q3_K_S 445,2 ГБ · 7 ток/с UD-IQ2_XXS! 328,8 ГБ · 20 ток/с

У клітинці — квантування, яке вміщується, обсяг у ГБ і швидкість генерації в токенах за секунду. у відеопам'яті в уніфікованій пам'яті в оперативній пам'яті (CPU) частково в ОЗП не вміщується

≈ оцінка для контексту 8K: ваги, KV-кеш і накладні витрати порівнюються з пам'яттю, швидкість — із пропускною здатністю пам'яті. Реальні цифри залежать від програми й налаштувань.

Інфографіка

Рейтинг ШІ-моделей: fedi-index →