Сколько памяти нужно для локального AI на домашнем ПК

Для локального AI важна не только мощность видеокарты, но и объём памяти, который остаётся модели после запуска Windows. Разбираемся, как оценить конфигурацию до скачивания десятков гигабайт файлов.

Почему размер модели не равен расходу памяти

Файл модели — только часть нагрузки. Во время работы нужны веса, рабочие буферы, контекст диалога и память самого приложения. Чем длиннее документ или история чата, тем больше контекст. Поэтому модель, которая помещается на диске, может не поместиться в VRAM и начнёт использовать оперативную память, заметно снизив скорость.

Ориентиры для домашней конфигурации

Компьютер с 16 ГБ RAM подходит для первых экспериментов с небольшими моделями и короткими запросами. На 32 ГБ уже проще работать с документами и держать запас для браузера, редактора и фоновых задач. 64 ГБ полезны тем, кто запускает несколько сервисов, использует длинный контекст или тестирует модели разных размеров.

Видеопамять особенно важна, когда нужен быстрый ответ. Но даже при небольшом объёме VRAM можно начать с частичной загрузки или полностью CPU-режима. Это будет медленнее, зато позволит понять пользу сценария до покупки новой видеокарты.

Проверка перед установкой

1. Посмотрите свободные RAM и VRAM в обычном режиме.
2. Оставьте запас для Windows и программ, которыми пользуетесь параллельно.
3. Скачивайте сначала одну модель, а не целую коллекцию.
4. Проверьте короткий запрос, затем постепенно увеличивайте контекст.
5. Запишите скорость ответа и температуру, чтобы сравнивать конфигурации по фактам.

SSD и безопасность

Модели занимают место, а обновления и временные файлы создают дополнительную нагрузку. Для локального AI лучше выделить отдельную папку и не доводить системный диск до переполнения. Не оставляйте локальный API открытым в интернет: домашний компьютер не должен становиться публичным сервисом без отдельной защиты.

Итог

Источники и полезные документы

Официальные системные требования LM Studio и документация Ollama для Windows.