Локальний ШІ на своєму комп'ютері: програми, залізо і перший запуск

Як запустити ШІ локально на своєму комп'ютері: яке залізо потрібне, які моделі вміщуються у відеокарту, програми Ollama, Jan, GPT4All, LM Studio і перший запуск за 5 хвилин.

Щоб запустити ШІ на своєму комп'ютері, достатньо безкоштовної програми з відкритим кодом (Ollama, Jan або GPT4All) і відкритої моделі на кілька гігабайтів. Моделі на 3–8 млрд параметрів працюють навіть на ноутбуці з 16 ГБ оперативної пам'яті, а відеокарта з 12 ГБ пам'яті, наприклад RTX 3060, тягне моделі до 12–14 млрд параметрів зі швидкістю близько 30 токенів (фрагментів слів) за секунду. Інтернет і реєстрація потрібні лише для завантаження.

  • Приватність. Тексти, документи й код не залишають ваш комп'ютер — це важливо для робочих і особистих даних.
  • Без лімітів і підписок. Кількість запитів обмежена лише швидкістю вашого заліза.
  • Робота без інтернету. Після завантаження моделі програма працює офлайн.

Мінуси: локальні моделі слабші за найкращі хмарні (порівняйте в рейтингу fedi-index), займають місце на диску, а великі моделі потребують потужної відеокарти чи Mac з великим обсягом пам'яті.

Яке залізо потрібне

Головне — обсяг пам'яті, у яку вміщується модель: відеопам'ять (VRAM), уніфікована пам'ять Mac на Apple Silicon або, найповільніше, звичайна оперативна пам'ять. Орієнтири за розрахунком fedi.software для контексту 8K:

  • Qwen2.5 3B або Llama 3.2 3B — 5–6 ГБ, на RTX 3060 12 ГБ близько 75–85 токенів за секунду;
  • Gemma 3 4B — 6,8 ГБ, близько 67 токенів за секунду;
  • Qwen3 8B — 11,4 ГБ у якісному квантуванні Q8_0, близько 31 токена за секунду;
  • Gemma 3 12B і Qwen3 14B — близько 12 ГБ у 4–5-бітному квантуванні, близько 30 токенів за секунду;
  • gpt-oss-20b — 13,8 ГБ; на 12-гігабайтній карті частина моделі переходить в оперативну пам'ять, але завдяки архітектурі MoE швидкість лишається близько 50 токенів за секунду.

Повна таблиця для 15 конфігурацій — від RTX 3060 до Mac Studio і серверів — у інфографіці яка відкрита модель запуститься на вашому залізі. Що означають позначки Q4_K_M, GGUF чи MoE — у словнику термінів.

Програми для локального запуску

Програми для локального запуску ШІ-моделей · станом на
Програма Для кого Відкритий код Ліцензія Платформи
Jan Чат у вікні, вибір моделі зі списку так Apache-2.0 Windows, macOS, Linux
GPT4All Чат і пошук по власних документах так MIT Windows, macOS, Linux
Ollama Командний рядок, застосунок-чат і локальний API так MIT Windows, macOS, Linux
llama.cpp Розробники: максимум налаштувань так MIT Windows, macOS, Linux
LM Studio Зручний каталог моделей, безкоштовна й для роботи ні власницька, безкоштовна Windows, macOS, Linux

Джерела: Jan на GitHub (28.10.2026), GPT4All на GitHub (28.10.2026), Ollama на GitHub (28.10.2026), llama.cpp на GitHub (28.10.2026), LM Studio is free for use at work (28.10.2026)

Найпростіший старт — Jan або GPT4All: звичайна програма з вікном чату, де модель вибирається зі списку. Ollama зручна тим, хто не боїться командного рядка або хоче підключити модель до інших програм: вона піднімає локальний API, з яким працюють редактори коду й плагіни.

Перший запуск через Ollama

  1. Встановіть Ollama з ollama.com/download або командою нижче.
  2. Завантажте й запустіть невелику модель: перший запуск скачає кілька гігабайтів.
  3. Пишіть запитання прямо в терміналі або в застосунку Ollama. Вихід із чату — команда /bye.
Встановлення Ollama і перша модель
PowerShell
winget install Ollama.Ollama
ollama run gemma3:4b

Після встановлення відкрийте нове вікно PowerShell. Модель Gemma 3 4B займає близько 3,3 ГБ.

zsh (Термінал)
brew install ollama
ollama serve &
ollama run gemma3:4b

Або завантажте застосунок з ollama.com/download — тоді ollama serve не потрібен.

bash
curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:4b

Скрипт з офіційного сайту встановлює службу ollama; для NVIDIA потрібен встановлений драйвер.

bash
ollama list
ollama run qwen3:8b
ollama rm gemma3:4b

Список завантажених моделей, більша модель (близько 5 ГБ) і видалення непотрібної.

Українською добре відповідають моделі родин Gemma і Qwen; найменші моделі (1–3 млрд параметрів) пишуть українською з помилками, тож для текстів краще брати від 8 млрд.

ШІ-асистенти: відкриті й хмарні · станом на
Програма Розробник Ліцензія Платформи
Jan відкритий код GitHub Чат із локальними моделями без інтернету; може підключати й хмарні API. Menlo Research Apache-2.0 Windows, macOS, Linux
GPT4All відкритий код GitHub Локальний чат із пошуком по ваших документах. Nomic AI (США) MIT Windows, macOS, Linux
Ollama відкритий код GitHub Запуск відкритих моделей однією командою, є простий застосунок-чат. Ollama (США) MIT Windows, macOS, Linux
ChatGPT OpenAI (США) власницька, є безкоштовний тариф Web, Windows, macOS, Android, iOS
Gemini Google (США) власницька, є безкоштовний тариф Web, Android, iOS
Claude Anthropic (США) власницька, є безкоштовний тариф Web, Windows, macOS, Android, iOS
Microsoft Copilot Microsoft (США) власницька, є безкоштовний тариф Web, Windows, Android, iOS
Le Chat Mistral AI (Франція) власницька, є безкоштовний тариф Web, Android, iOS

Часті питання

Чи можна запустити ШІ без відеокарти?

Так. Ollama, Jan і GPT4All працюють і на процесорі, але повільніше: моделі на 3–4 млрд параметрів на сучасному ноутбуці з 16 ГБ пам'яті відповідають зі швидкістю читання, більші — помітно повільніше.

Скільки місця на диску потрібно?

Приблизно стільки ж, скільки пам'яті займає модель: 2–7 ГБ для моделей на 3–8 млрд параметрів і 10–25 ГБ для моделей на 12–32 млрд.

Чи безкоштовно це?

Програми й відкриті моделі безкоштовні. Ollama, Jan, GPT4All і llama.cpp мають відкритий код; LM Studio безкоштовна, але код закритий. Звертайте увагу на ліцензію моделі: деякі (наприклад, Llama і Gemma) мають власні умови використання.

Чи може локальна модель замінити ChatGPT?

Для листів, перекладу, конспектів і простого коду — так. Для складних міркувань, пошуку в інтернеті й великих документів хмарні моделі поки сильніші; найкращі відкриті моделі потребують дуже потужного заліза.

Схожі інструкції