CPU 跑本地模型怎么优化？线程、内存、Swap 和模型选择

CPU 跑本地模型，尤其在 VPS 上部署 Ollama、llama.cpp 这类推理框架时，最怕的不是慢，是跑着跑着 OOM 被 kill。很多新手拿到一台 2C4G 的机器，直接拉 7B 模型，结果内存爆满，Swap 疯狂读写，CPU 被打满，最后 SSH 都连不上。本文不讲玄学，直接从线程、内存、Swap 和模型选择四个维度给出可复制的优化方案，帮你把低配 VPS 的推理能力压榨到极限。

线程优化：别让 CPU 在空转中浪费性能

Ollama 和 llama.cpp 默认会使用所有 CPU 核心，但在共享型 VPS（比如 2 核、4 核）上，全核跑会导致系统响应变慢，甚至被宿主机限流。正确的做法是手动绑定线程数。

调整 Ollama 的线程数

Ollama 通过环境变量 `OLLAMA_NUM_THREADS` 控制线程数。在启动服务前设置：

export OLLAMA_NUM_THREADS=1
ollama serve

如果用的是 `systemd` 服务，编辑 `/etc/systemd/system/ollama.service`，在 `[Service]` 段加入：

ini
Environment="OLLAMA_NUM_THREADS=1"

然后 `systemctl daemon-reload && systemctl restart ollama`。

llama.cpp 手动绑定核心

用 `-t` 参数指定线程数，`-p` 绑定物理核心（避免超线程干扰）：

./main -m model.gguf -t 2 -p 0,1

`-t` 是线程数，`-p` 后面跟 CPU 核心编号（从 0 开始）。可以用 `lscpu` 查看核心拓扑，避开超线程虚拟核心。

老鸟叮嘱：不要盲目设线程数等于核心数。实测 2 核 VPS 用 1 线程推理速度反而比 2 线程快，因为少了上下文切换开销。先跑一次 benchmark，`ollama run llama3.2:1b` 测响应时间，再调参。

内存与 Swap：物理内存不够时的保命策略

低配 VPS 最常见的问题是内存不足。4GB 内存跑 7B 模型（需约 4-6GB）几乎必 OOM，但通过合理配置 Swap 和模型量化可以缓解。

Swap 分区大小建议

Linux 默认 Swap 是物理内存的 1-2 倍。对于跑模型，建议 Swap 设为物理内存的 2 倍以上，比如 4GB 内存设 8GB Swap。但注意：Swap 使用 SSD 磁盘，别用 HDD，否则 IO 会成为新瓶颈。

创建 Swap 文件（以 8GB 为例）：

dd if=/dev/zero of=/swapfile bs=1M count=8192
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
echo '/swapfile none swap sw 0 0' >> /etc/fstab

调整 Swappiness 避免过度换页

系统默认的 `vm.swappiness=60` 会导致内存占用超过 40% 就开始换页，这对模型推理很不利。建议降低到 10-20，优先使用物理内存：

echo 'vm.swappiness=10' >> /etc/sysctl.conf
sysctl -p

监控内存与 Swap 使用

用 `free -h` 和 `htop` 实时观察。如果 Swap 使用率持续增长且物理内存接近满，说明模型太大，必须换更小的模型或增加量化。

老鸟叮嘱：不要指望 Swap 能解决所有问题。Swap 速度比内存慢 10-100 倍，推理速度会明显下降。如果 Swap 使用率超过 50%，建议直接换量化模型或减小模型参数。

模型选择：量化、小参数和蒸馏模型是王道

同样的模型，不同量化等级的内存占用相差数倍。在 VPS 上跑模型，选对量化比调参更重要。

量化等级对照

以 llama.cpp 的 GGUF 格式为例：

| 量化 | 内存占用（7B 模型） | 推理速度 | 精度损失 |
|——|——————-|———|———|
| Q4_K_M | ~4.2GB | 快 | 可忽略 |
| Q5_K_M | ~5.0GB | 中等 | 极小 |
| Q8_0 | ~7.0GB | 慢 | 无 |
| F16 | ~13GB | 极慢 | 无 |

对于 4GB 内存 VPS，只能选 Q4_K_M 或更低（Q3_K_M 约 3.5GB）。如果连 4GB 都不到，考虑 1B-3B 参数的模型，比如 Llama 3.2 1B、Phi-3-mini、Qwen2.5-1.5B。

蒸馏模型 vs 小参数模型

蒸馏模型（如 TinyLlama、DistilBERT）在保持大部分能力的同时内存更小。实测 TinyLlama 1.1B 在 2GB 内存 VPS 上可以流畅运行，推理速度比 7B Q4 快 3-5 倍。

在 Ollama 中拉取量化模型

Ollama 模型标签通常包含量化标识，比如：

ollama pull llama3.1:8b-q4_K_M
ollama pull phi3:3.8b-mini-q4_K_M

不确定时，用 `ollama list` 查看已下载的模型，或用 `ollama show` 查看模型详细信息。

老鸟叮嘱：别迷信“7B 模型效果最好”。在低配 VPS 上，能稳定运行 1B 模型比频繁 OOM 的 7B 模型实用得多。先跑小模型验证流程，再考虑升级机器或换大模型。

老鸟叮嘱：避坑清单

1.别用 root 跑模型服务。Ollama 默认以 `ollama` 用户运行，但很多人图方便 `sudo ollama serve`，导致日志权限混乱。创建专用用户并设置 `ulimit -n 65535` 避免连接数限制。
2.关闭不必要的后台服务。MySQL、Redis、Nginx 这些在跑模型时可以先停掉，释放内存。`systemctl stop mysql nginx`。
3.不要超售环境下跑大模型。共享型 VPS 的 CPU 性能不稳定，邻居一挖矿你就卡。跑模型前用 `stress` 工具测试一下 CPU 持续负载能力。
4.模型下载时注意磁盘空间。一个 7B Q4 模型约 4GB，多个模型可能撑爆系统盘。`df -h` 检查，预留至少 2GB 空闲空间。
5.日志轮转。Ollama 日志默认不切割，跑几天可能占用几 GB。配置 logrotate 或直接关闭日志：`export OLLAMA_DEBUG=0`。

FAQ

Q1：2C4G 的 VPS 能跑什么模型？
A：建议跑 1B-3B 参数的 Q4 量化模型，如 Llama 3.2 1B、Phi-3-mini 3.8B Q4。7B 模型即使使用 Swap 也会很慢，不推荐。

Q2：为什么我设置了线程数，CPU 占用还是 100%？
A：检查是否同时运行了其他进程，或者模型本身在加载时使用了多线程。用 `top` 按 CPU 排序，确认是 `ollama` 进程占用。如果还是高，尝试降低线程数到 1。

Q3：Swap 使用率很高，会影响模型推理质量吗？
A：不会影响输出质量，但推理速度会大幅下降。如果 Swap 使用超过 50%，建议换更小的模型或增加物理内存。

Q4：Ollama 和 llama.cpp 哪个更省资源？
A：llama.cpp 更轻量，适合低配机器；Ollama 封装更友好但多一层服务开销。2GB 以下内存推荐直接用 llama.cpp 命令行。

Q5：量化模型会损失多少准确性？
A：Q4_K_M 级别在常见任务（问答、摘要）上几乎无感知损失。Q2 或 Q3 会有明显退化，不建议用于生产环境。

Q6：我的 VPS 只有 1GB 内存，还能跑本地模型吗？
A：可以跑 0.5B 级别的模型，比如 Microsoft Phi-1.5 或 TinyLlama 0.5B。但推理速度很慢，建议用 API 调用替代。

CPU 跑本地模型的优化不是玄学，核心就是控制线程数、压榨内存、用好 Swap、选对量化模型。先确认你的 VPS 硬件上限，再按本文步骤一步步调，低配机也能稳定跑出可用结果。如果遇到 OOM 或卡死，优先检查模型大小和 Swap 配置，别急着重装系统。

—

**相关阅读：**

– [VPS 部署 AI 工具需要哪些基础？Linux、Docker、Nginx 和域名配置入门](https://www.zhujixuan.com/jishujiaocheng/9747.html)
– [AI 自动整理服务器日志：Nginx、SSH、安全日志分析流程](https://www.zhujixuan.com/jishujiaocheng/9908.html)
– [1 核 1G VPS 能跑 Ollama 吗？低配服务器可行场景分析](https://www.zhujixuan.com/jishujiaocheng/9864.html)