Локальная нейросеть на Windows работает без интернета и платных подписок. Разберём два способа: через Ollama и LM Studio. Выполните шаги — и сможете общаться с моделью прямо в терминале или чате.
Понадобится: Windows 10 или 11 (64-бит), 8–16 ГБ оперативной памяти, 10–20 ГБ свободного места на диске, стабильное интернет-соединение для загрузки модели. Для комфортной работы желательна видеокарта NVIDIA с поддержкой CUDA, но можно обойтись и без неё — на CPU.
Пошаговая инструкция
- 1Откройте браузер и перейдите на официальный сайт Ollama (ollama.com).
- 2Скачайте установщик для Windows (кнопка Download).
- 3Запустите скачанный файл OllamaSetup.exe и следуйте инструкциям мастера установки.
- 4После завершения установки откройте PowerShell от имени администратора.
- 5Введите команду:
ollama --version— убедитесь, что установка прошла успешно. - 6Запустите сервер Ollama командой: ollama serve (оставьте окно открытым).
- 7В новом окне PowerShell скачайте модель, например:
ollama pull llama3.2 (или другую из списка на сайте). - 8Дождитесь загрузки — прогресс отображается в процентах.
- 9Запустите чат с моделью: ollama run llama3.2.
- 10Введите вопрос и нажмите Enter — модель ответит в терминале.
- 11Для выхода из чата введите /bye.
- 12Альтернативный способ: скачайте LM Studio с официального сайта (lmstudio.ai).
- 13Установите LM Studio, запустите приложение.
- 14В поиске моделей введите название (например, Llama 3.2) и нажмите Download.
- 15После загрузки перейдите на вкладку Chat, выберите модель и начните диалог.
- 16В настройках LM Studio можно указать количество слоёв, выгружаемых на GPU, и размер контекста.
- 17Для автоматического запуска Ollama при старте Windows добавьте её в автозагрузку через Параметры → Приложения → Автозагрузка.
- 18Проверьте работу: задайте модели простой вопрос, например «Сколько будет 2+2?».
Частые ошибки
- Недостаточно оперативной памяти: если модель не запускается, закройте лишние приложения или выберите модель меньшего размера.
- Игнорирование видеокарты: без GPU ответы генерируются медленнее, но это не ошибка — просто учтите при выборе модели.
- Скачивание моделей с непроверенных источников: используйте только официальные сайты Ollama и LM Studio.
- Запуск Ollama без прав администратора: это может привести к ошибкам доступа к порту.
- Прерывание загрузки модели: дождитесь полного скачивания, иначе модель может работать некорректно.
- Попытка запустить слишком большую модель на слабом железе: начните с моделей параметром 3–8 млрд, затем увеличивайте.
Итог
Частые вопросы
Можно ли запустить локальную нейросеть без видеокарты?
Да, можно. Нейросеть будет работать на центральном процессоре. Скорость генерации ответов будет ниже, чем на GPU, но для базовых задач этого достаточно. Выбирайте модели с небольшим количеством параметров, например 3–8 млрд.
Сколько оперативной памяти нужно для локальной нейросети?
Минимально — 8 ГБ, но для комфортной работы с моделями 7–8 млрд параметров лучше иметь 16 ГБ. Если памяти не хватает, модель может не загрузиться или работать нестабильно. В таком случае используйте модели меньшего размера.
Чем Ollama отличается от LM Studio?
Ollama — консольный инструмент для запуска моделей через командную строку. LM Studio — приложение с графическим интерфейсом, где можно искать, скачивать и запускать модели в несколько кликов. Оба варианта бесплатны и работают локально.
