Типи ШІ-моделей: словник термінів

Назви моделей на кшталт «Qwen3-30B-A3B-Instruct-GGUF Q4_K_M» складаються з кількох термінів. Розбираємо кожен.

Типи ШІ-моделей: словник термінів · станом на
Термін Група Що означає Приклади
LLM Тип моделі Модель, яка читає і пише текст: чат, тексти, код, аналіз. Усе інше в цьому словнику — її різновиди або упаковка. Llama 3.3 70B Instruct, Qwen3 32B, Mistral Small 3.2 24B
VLM Тип моделі LLM, яка також приймає на вхід зображення: скриншоти, фото, документи. Для локального запуску зазвичай потрібен другий файл — vision-проєктор (mmproj) поруч із вагами GGUF. Qwen3 VL 30B A3B Instruct, Gemma 3 27B, Qwen2.5-VL 7B Instruct
Відкриті ваги Відкритість Ваги можна завантажити й запустити на своєму залізі за будь-якою ліцензією; деякі (Llama, Gemma) обмежують комерційне використання або вимагають прийняти умови. Дані й код навчання зазвичай закриті. Llama 3.3 70B Instruct, Gemma 3 27B, gpt-oss-120b
Open Source AI Відкритість Суворіше визначення OSI (OSAID 1.0): ваги плюс код навчання й достатньо відомостей про дані, щоб відтворити модель, — усе під відкритими ліцензіями. Таких моделей мало; ваги під Apache-2.0 чи MIT самі по собі — це відкриті ваги, а не обов'язково open source. —
Пропрієтарна (лише API) Відкритість Ваг немає зовсім: модель працює тільки на серверах розробника через застосунок або платний API. Локально її не запустити. —
Base Варіант Сира попередньо навчена модель: продовжує текст, але не виконує інструкції. Основа для донавчання, не для чату. —
Instruct Варіант Базова модель, донавчена виконувати інструкції й вести діалог. Саме її варто брати для локального чату; Google позначає її -it, інші — -Instruct або -Chat. Gemma 3 27B, Llama 3.1 8B Instruct, Qwen3 30B A3B Instruct 2507
Reasoning Варіант Навчена спершу розписувати хід міркувань, а потім відповідати. Краща в математиці, коді й логіці, але витрачає набагато більше токенів, а отже й часу на відповідь. DeepSeek R1, Qwen3 30B A3B Thinking 2507, Kimi K2 Thinking
Coder Варіант Додатково навчена на вихідному коді: автодоповнення, рефакторинг, агентне програмування в IDE. Звичайний чат може бути слабшим, ніж у сестринської instruct-моделі. Qwen3 Coder 30B A3B Instruct, Qwen2.5 Coder 32B Instruct, DeepSeek Coder V2
Distill Варіант Менша модель, навчена на відповідях більшої. DeepSeek-R1-Distill-Qwen-32B — це Qwen 32B, що імітує R1, а не сама R1, і вона значно слабша за оригінал на 671B. —
Abliterated / uncensored Варіант Модифікація спільноти, у якій із ваг прибрано відмови. Відповідає на будь-що, зокрема на шкідливі запити, часто з гіршою якістю і без жодних гарантій безпеки. Лише для особистих і дослідницьких задач; відповідальність за використання — на вас. —
Dense Архітектура Кожен параметр працює для кожного токена. Швидкість визначає повний розмір: щільна модель на 70B читає з пам'яті всі 70B ваг для кожного згенерованого токена. Llama 3.3 70B Instruct, Gemma 3 27B, Qwen3 32B
MoE Архітектура Шари поділено на багато «експертів», і маршрутизатор обирає кількох на кожен токен. У пам'яті (VRAM + RAM) мають бути всі експерти, але кожен токен зачіпає лише активну частину — тож велика MoE працює набагато швидше за щільну модель того ж розміру, а експертів можна винести в оперативну пам'ять. gpt-oss-120b, Qwen3 30B A3B, DeepSeek R1
Активні параметри (-A3B) Архітектура У назвах MoE суфікс показує, скільки параметрів працює на токен: Qwen3-30B-A3B має 30B загалом і 3B активних. Потрібна пам'ять залежить від загального числа, швидкість — від активного. Qwen3 30B A3B, Qwen3 235B A22B
Safetensors (BF16) Формат файлів Оригінальний формат релізу на Hugging Face, зазвичай 16 біт на вагу: близько 2 ГБ на мільярд параметрів. Його використовують vLLM, Transformers, і з нього роблять усі квантування. —
GGUF Формат файлів Однофайловий формат llama.cpp з уже квантованими вагами. Працює на CPU, GPU або на обох одночасно; його використовують LM Studio, Ollama і Jan. Великі моделі поділено на частини (-00001-of-00003). —
AWQ / GPTQ / EXL2-3 Формат файлів Квантовані формати для серверів лише на GPU (vLLM, ExLlama, TGI). Швидкі, коли вся модель вміщується у відеопам'ять; винесення в оперативну пам'ять немає. —
MLX Формат файлів Фреймворк і формат ваг Apple для Mac на чипах M-серії з уніфікованою пам'яттю. На Mac часто трохи швидший за GGUF того ж розміру. —
Q4_K_M та інші K-кванти Квантування Назви квантів GGUF: число — приблизно біти на вагу, K — метод k-quant, S/M/L — суміш усередині. Q4_K_M (≈4,8 біта) — звична золота середина; Q8_0 майже без втрат; нижче Q3 якість помітно падає. —
IQ-кванти й Unsloth Dynamic (UD) Квантування Новіші низькобітні методи GGUF: IQ-кванти (з матрицею важливості) і Unsloth Dynamic залишають чутливі шари з вищою точністю, тож 2–3-бітні файли величезних моделей лишаються придатними. DeepSeek R1, Qwen3 235B A22B
FP8 / MXFP4 / NVFP4 Квантування Формати з плаваючою комою низької точності з апаратною підтримкою в нових GPU. gpt-oss випускається одразу в MXFP4 (≈4,25 біта на вагу), тому gpt-oss-120b вміщується приблизно в 65 ГБ. gpt-oss-120b, gpt-oss-20b

ai.infographics.model-types.notes

Інфографіка

Рейтинг ШІ-моделей: fedi-index →