Запуск локального LLM на облачном Mac mini: планирование памяти и квантование

На прошлой неделе один читатель, экспериментирующий с AI на устройстве, спросил меня: он хочет запустить Llama 3 8B и одну кодовую модель на 13B, памяти локального ноутбука не хватает, а покупать Mac Studio страшно — вдруг мощность окажется избыточной, можно ли сначала арендовать облачную машину, чтобы прикинуть нужный уровень. Это довольно типичный сценарий — и в этой статье мы пройдём весь путь: планирование памяти, настройка окружения и выбор квантования для инференса локальных LLM на облачном Mac mini.

Почему единая полоса памяти определяет допустимый размер модели

CPU, GPU и нейронный движок Apple Silicon делят одну и ту же unified memory — данные не гоняются между видеопамятью и обычной оперативной памятью, как на дискретных GPU. Для задач инференса это естественное преимущество, но оно же означает, что объём памяти напрямую ограничивает максимальный размер модели, которую можно запустить. Приблизительное правило пересчёта: модель, обученная в FP16, после 4-bit квантования занимает примерно 0.55–0.6 от числа параметров (в ГБ), плюс кэш контекста (KV cache) и системные накладные расходы.

Эта таблица — только отправная точка. Реально доступный размер модели зависит от того, запущены ли параллельно Xcode, браузер и другие прожорливые по памяти приложения — прежде чем процесс инференса упадёт, посмотрите в top, сколько свободной памяти осталось у системы, а не разбирайтесь постфактум после OOM.

Настройка окружения: llama.cpp или MLX

Эти два пути не конфликтуют друг с другом — можно установить оба на одной машине и переключаться в зависимости от задачи.

llama.cpp: приоритет универсальности

brew install cmake
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON
cmake --build build --config Release -j
./build/bin/llama-cli -m models/llama-3-8b-q4_k_m.gguf \
  -p "写一段解释递归的代码示例" -n 256 --ctx-size 4096

-DGGML_METAL=ON — ключевой флаг: только с включённым Metal-backend вы получаете полную загрузку GPU. Без него сборка откатится к чистому CPU-инференсу, и скорость упадёт в несколько раз.

MLX: нативный фреймворк Apple

python3 -m venv mlx-env
source mlx-env/bin/activate
pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3-8B-Instruct-4bit \
  --prompt "解释一下 KV cache 的作用" --max-tokens 256

Модели MLX хранятся уже квантованными прямо в пространстве имён mlx-community — конвертировать формат самостоятельно не нужно, поэтому старт получается быстрее, чем с llama.cpp. Но по зрелости экосистемы и объёму материалов для troubleshooting llama.cpp пока опережает.

Как выбрать формат квантования

Чем ниже квантование, тем не всегда лучше — выбор зависит от типа задачи:

• Q4_K_M: хватает для повседневных вопросов-ответов и автодополнения кода, минимальный расход памяти — дефолтный выбор для большинства сценариев.
• Q5_K_M: если задача связана с длинными цепочками рассуждений и многошаговой логикой, стоит подняться на этот уровень — стабильность вывода заметно выше.
• Q8_0: близко к исходной точности, подходит для сценариев оценки, требовательных к точности, но расход памяти вырастает вдвое — рассматривайте только при запасе памяти (24GB и выше).

Критерий простой: сначала прогоните на Q4 набор вопросов, которые вы реально будете задавать, вручную проверьте качество ответов. Если заметны явные логические скачки или ошибки в цифрах — поднимайтесь на уровень выше. Не нужно с самого начала занимать всю память максимальной точностью.

Управление дисковым пространством и снапшотами

Файлы моделей легко занимают от нескольких ГБ до десятков ГБ — до завершения периода аренды стоит заранее спланировать очистку:

1. Складывайте загруженные модели в единую директорию ~/models/ — так проще чистить или переносить всё целиком.
2. Регулярно проверяйте занятое место командой du -sh ~/models/*, своевременно удаляйте устаревшие квантованные версии моделей, чтобы не забить системный диск и не замедлить инференс.
3. Если нужно сохранить настройки экспериментального окружения (виртуальное окружение, список загруженных весов), упакуйте их в tarball и скачайте на локальную машину заранее, до окончания срока аренды — после его истечения данные на системном диске не сохраняются.

du -sh ~/models/* | sort -rh | head -5
tar czf mlx-env-backup.tar.gz mlx-env models/*.json

Процесс тестирования и мониторинг

Во время инференса держите открытым терминал с мониторингом ресурсов — это поможет заранее заметить нагрузку на память:

sudo powermetrics --samplers gpu_power -i 1000 -n 5

Следите за загрузкой GPU и кривой энергопотребления: если значения долго держатся на высоком уровне, а отклик всё равно медленный, обычно это означает, что полоса памяти забита кэшем контекста. В таком случае нужно либо уменьшить --ctx-size, либо перейти на более лёгкий уровень квантования — а не бездумно увеличивать batch.

Часто задаваемые вопросы