Щоб запустити ШІ на своєму комп'ютері, достатньо безкоштовної програми з відкритим кодом (Ollama, Jan або GPT4All) і відкритої моделі на кілька гігабайтів. Моделі на 3–8 млрд параметрів працюють навіть на ноутбуці з 16 ГБ оперативної пам'яті, а відеокарта з 12 ГБ пам'яті, наприклад RTX 3060, тягне моделі до 12–14 млрд параметрів зі швидкістю близько 30 токенів (фрагментів слів) за секунду. Інтернет і реєстрація потрібні лише для завантаження.
Навіщо локальний ШІ
- Приватність. Тексти, документи й код не залишають ваш комп'ютер — це важливо для робочих і особистих даних.
- Без лімітів і підписок. Кількість запитів обмежена лише швидкістю вашого заліза.
- Робота без інтернету. Після завантаження моделі програма працює офлайн.
Мінуси: локальні моделі слабші за найкращі хмарні (порівняйте в рейтингу fedi-index), займають місце на диску, а великі моделі потребують потужної відеокарти чи Mac з великим обсягом пам'яті.
Яке залізо потрібне
Головне — обсяг пам'яті, у яку вміщується модель: відеопам'ять (VRAM), уніфікована пам'ять Mac на Apple Silicon або, найповільніше, звичайна оперативна пам'ять. Орієнтири за розрахунком fedi.software для контексту 8K:
- Qwen2.5 3B або Llama 3.2 3B — 5–6 ГБ, на RTX 3060 12 ГБ близько 75–85 токенів за секунду;
- Gemma 3 4B — 6,8 ГБ, близько 67 токенів за секунду;
- Qwen3 8B — 11,4 ГБ у якісному квантуванні Q8_0, близько 31 токена за секунду;
- Gemma 3 12B і Qwen3 14B — близько 12 ГБ у 4–5-бітному квантуванні, близько 30 токенів за секунду;
- gpt-oss-20b — 13,8 ГБ; на 12-гігабайтній карті частина моделі переходить в оперативну пам'ять, але завдяки архітектурі MoE швидкість лишається близько 50 токенів за секунду.
Повна таблиця для 15 конфігурацій — від RTX 3060 до Mac Studio і серверів — у інфографіці яка відкрита модель запуститься на вашому залізі. Що означають позначки Q4_K_M, GGUF чи MoE — у словнику термінів.
Програми для локального запуску
| Програма | Для кого | Відкритий код | Ліцензія | Платформи |
|---|---|---|---|---|
| Jan | Чат у вікні, вибір моделі зі списку | так | Apache-2.0 | Windows, macOS, Linux |
| GPT4All | Чат і пошук по власних документах | так | MIT | Windows, macOS, Linux |
| Ollama | Командний рядок, застосунок-чат і локальний API | так | MIT | Windows, macOS, Linux |
| llama.cpp | Розробники: максимум налаштувань | так | MIT | Windows, macOS, Linux |
| LM Studio | Зручний каталог моделей, безкоштовна й для роботи | ні | власницька, безкоштовна | Windows, macOS, Linux |
Найпростіший старт — Jan або GPT4All: звичайна програма з вікном чату, де модель вибирається зі списку. Ollama зручна тим, хто не боїться командного рядка або хоче підключити модель до інших програм: вона піднімає локальний API, з яким працюють редактори коду й плагіни.
Перший запуск через Ollama
- Встановіть Ollama з ollama.com/download або командою нижче.
- Завантажте й запустіть невелику модель: перший запуск скачає кілька гігабайтів.
- Пишіть запитання прямо в терміналі або в застосунку Ollama. Вихід із чату — команда
/bye.
winget install Ollama.Ollama
ollama run gemma3:4b
Після встановлення відкрийте нове вікно PowerShell. Модель Gemma 3 4B займає близько 3,3 ГБ.
brew install ollama
ollama serve &
ollama run gemma3:4b
Або завантажте застосунок з ollama.com/download — тоді ollama serve не потрібен.
curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:4b
Скрипт з офіційного сайту встановлює службу ollama; для NVIDIA потрібен встановлений драйвер.
ollama list
ollama run qwen3:8b
ollama rm gemma3:4b
Список завантажених моделей, більша модель (близько 5 ГБ) і видалення непотрібної.
Українською добре відповідають моделі родин Gemma і Qwen; найменші моделі (1–3 млрд параметрів) пишуть українською з помилками, тож для текстів краще брати від 8 млрд.
| Програма | Розробник | Ліцензія | Платформи |
|---|---|---|---|
| Jan відкритий код GitHub Чат із локальними моделями без інтернету; може підключати й хмарні API. | Menlo Research | Apache-2.0 | Windows, macOS, Linux |
| GPT4All відкритий код GitHub Локальний чат із пошуком по ваших документах. | Nomic AI (США) | MIT | Windows, macOS, Linux |
| Ollama відкритий код GitHub Запуск відкритих моделей однією командою, є простий застосунок-чат. | Ollama (США) | MIT | Windows, macOS, Linux |
| ChatGPT | OpenAI (США) | власницька, є безкоштовний тариф | Web, Windows, macOS, Android, iOS |
| Gemini | Google (США) | власницька, є безкоштовний тариф | Web, Android, iOS |
| Claude | Anthropic (США) | власницька, є безкоштовний тариф | Web, Windows, macOS, Android, iOS |
| Microsoft Copilot | Microsoft (США) | власницька, є безкоштовний тариф | Web, Windows, Android, iOS |
| Le Chat | Mistral AI (Франція) | власницька, є безкоштовний тариф | Web, Android, iOS |
Часті питання
Чи можна запустити ШІ без відеокарти?
Так. Ollama, Jan і GPT4All працюють і на процесорі, але повільніше: моделі на 3–4 млрд параметрів на сучасному ноутбуці з 16 ГБ пам'яті відповідають зі швидкістю читання, більші — помітно повільніше.
Скільки місця на диску потрібно?
Приблизно стільки ж, скільки пам'яті займає модель: 2–7 ГБ для моделей на 3–8 млрд параметрів і 10–25 ГБ для моделей на 12–32 млрд.
Чи безкоштовно це?
Програми й відкриті моделі безкоштовні. Ollama, Jan, GPT4All і llama.cpp мають відкритий код; LM Studio безкоштовна, але код закритий. Звертайте увагу на ліцензію моделі: деякі (наприклад, Llama і Gemma) мають власні умови використання.
Чи може локальна модель замінити ChatGPT?
Для листів, перекладу, конспектів і простого коду — так. Для складних міркувань, пошуку в інтернеті й великих документів хмарні моделі поки сильніші; найкращі відкриті моделі потребують дуже потужного заліза.