Типи ШІ-моделей: словник термінів
Назви моделей на кшталт «Qwen3-30B-A3B-Instruct-GGUF Q4_K_M» складаються з кількох термінів. Розбираємо кожен.
| Термін | Група | Що означає | Приклади |
|---|---|---|---|
| LLM | Тип моделі | Модель, яка читає і пише текст: чат, тексти, код, аналіз. Усе інше в цьому словнику — її різновиди або упаковка. | Llama 3.3 70B Instruct, Qwen3 32B, Mistral Small 3.2 24B |
| VLM | Тип моделі | LLM, яка також приймає на вхід зображення: скриншоти, фото, документи. Для локального запуску зазвичай потрібен другий файл — vision-проєктор (mmproj) поруч із вагами GGUF. | Qwen3 VL 30B A3B Instruct, Gemma 3 27B, Qwen2.5-VL 7B Instruct |
| Відкриті ваги | Відкритість | Ваги можна завантажити й запустити на своєму залізі за будь-якою ліцензією; деякі (Llama, Gemma) обмежують комерційне використання або вимагають прийняти умови. Дані й код навчання зазвичай закриті. | Llama 3.3 70B Instruct, Gemma 3 27B, gpt-oss-120b |
| Open Source AI | Відкритість | Суворіше визначення OSI (OSAID 1.0): ваги плюс код навчання й достатньо відомостей про дані, щоб відтворити модель, — усе під відкритими ліцензіями. Таких моделей мало; ваги під Apache-2.0 чи MIT самі по собі — це відкриті ваги, а не обов'язково open source. | — |
| Пропрієтарна (лише API) | Відкритість | Ваг немає зовсім: модель працює тільки на серверах розробника через застосунок або платний API. Локально її не запустити. | — |
| Base | Варіант | Сира попередньо навчена модель: продовжує текст, але не виконує інструкції. Основа для донавчання, не для чату. | — |
| Instruct | Варіант | Базова модель, донавчена виконувати інструкції й вести діалог. Саме її варто брати для локального чату; Google позначає її -it, інші — -Instruct або -Chat. | Gemma 3 27B, Llama 3.1 8B Instruct, Qwen3 30B A3B Instruct 2507 |
| Reasoning | Варіант | Навчена спершу розписувати хід міркувань, а потім відповідати. Краща в математиці, коді й логіці, але витрачає набагато більше токенів, а отже й часу на відповідь. | DeepSeek R1, Qwen3 30B A3B Thinking 2507, Kimi K2 Thinking |
| Coder | Варіант | Додатково навчена на вихідному коді: автодоповнення, рефакторинг, агентне програмування в IDE. Звичайний чат може бути слабшим, ніж у сестринської instruct-моделі. | Qwen3 Coder 30B A3B Instruct, Qwen2.5 Coder 32B Instruct, DeepSeek Coder V2 |
| Distill | Варіант | Менша модель, навчена на відповідях більшої. DeepSeek-R1-Distill-Qwen-32B — це Qwen 32B, що імітує R1, а не сама R1, і вона значно слабша за оригінал на 671B. | — |
| Abliterated / uncensored | Варіант | Модифікація спільноти, у якій із ваг прибрано відмови. Відповідає на будь-що, зокрема на шкідливі запити, часто з гіршою якістю і без жодних гарантій безпеки. Лише для особистих і дослідницьких задач; відповідальність за використання — на вас. | — |
| Dense | Архітектура | Кожен параметр працює для кожного токена. Швидкість визначає повний розмір: щільна модель на 70B читає з пам'яті всі 70B ваг для кожного згенерованого токена. | Llama 3.3 70B Instruct, Gemma 3 27B, Qwen3 32B |
| MoE | Архітектура | Шари поділено на багато «експертів», і маршрутизатор обирає кількох на кожен токен. У пам'яті (VRAM + RAM) мають бути всі експерти, але кожен токен зачіпає лише активну частину — тож велика MoE працює набагато швидше за щільну модель того ж розміру, а експертів можна винести в оперативну пам'ять. | gpt-oss-120b, Qwen3 30B A3B, DeepSeek R1 |
| Активні параметри (-A3B) | Архітектура | У назвах MoE суфікс показує, скільки параметрів працює на токен: Qwen3-30B-A3B має 30B загалом і 3B активних. Потрібна пам'ять залежить від загального числа, швидкість — від активного. | Qwen3 30B A3B, Qwen3 235B A22B |
| Safetensors (BF16) | Формат файлів | Оригінальний формат релізу на Hugging Face, зазвичай 16 біт на вагу: близько 2 ГБ на мільярд параметрів. Його використовують vLLM, Transformers, і з нього роблять усі квантування. | — |
| GGUF | Формат файлів | Однофайловий формат llama.cpp з уже квантованими вагами. Працює на CPU, GPU або на обох одночасно; його використовують LM Studio, Ollama і Jan. Великі моделі поділено на частини (-00001-of-00003). | — |
| AWQ / GPTQ / EXL2-3 | Формат файлів | Квантовані формати для серверів лише на GPU (vLLM, ExLlama, TGI). Швидкі, коли вся модель вміщується у відеопам'ять; винесення в оперативну пам'ять немає. | — |
| MLX | Формат файлів | Фреймворк і формат ваг Apple для Mac на чипах M-серії з уніфікованою пам'яттю. На Mac часто трохи швидший за GGUF того ж розміру. | — |
| Q4_K_M та інші K-кванти | Квантування | Назви квантів GGUF: число — приблизно біти на вагу, K — метод k-quant, S/M/L — суміш усередині. Q4_K_M (≈4,8 біта) — звична золота середина; Q8_0 майже без втрат; нижче Q3 якість помітно падає. | — |
| IQ-кванти й Unsloth Dynamic (UD) | Квантування | Новіші низькобітні методи GGUF: IQ-кванти (з матрицею важливості) і Unsloth Dynamic залишають чутливі шари з вищою точністю, тож 2–3-бітні файли величезних моделей лишаються придатними. | DeepSeek R1, Qwen3 235B A22B |
| FP8 / MXFP4 / NVFP4 | Квантування | Формати з плаваючою комою низької точності з апаратною підтримкою в нових GPU. gpt-oss випускається одразу в MXFP4 (≈4,25 біта на вагу), тому gpt-oss-120b вміщується приблизно в 65 ГБ. | gpt-oss-120b, gpt-oss-20b |
ai.infographics.model-types.notes