Ollama VPS 部署教程：在服务器上运行本地大模型

Ollama 是目前在 VPS 上运行本地大模型最省事的方案之一，一行命令就能拉起 Llama、Mistral、DeepSeek 等模型，API 兼容 OpenAI 格式，直接对接 AI Agent、n8n 或自定义工作流。这篇教程带你从头搭一个可用的 Ollama 服务，避开端口暴露、内存不足、模型下载失败这些常见坑。

部署前确认 VPS 配置

Ollama 对 CPU 和内存有硬性要求，不是所有 VPS 都能跑。最低配置建议 2 核 4GB 内存，跑 7B 参数模型勉强能用；14B 以上模型需要 8GB 以上内存，且最好有 GPU（NVIDIA）。纯 CPU 跑也可以，但推理速度会很慢，适合测试或非实时场景。

检查系统版本（推荐 Ubuntu 22.04 或 Debian 12）：

cat /etc/os-release
uname -m

安装 Ollama

Ollama 官方提供一键安装脚本，但建议先更新系统依赖，避免 curl 版本过旧。

sudo apt update && sudo apt upgrade -y
sudo apt install curl -y
curl -fsSL https://ollama.com/install.sh | sh

安装完成后，Ollama 会以 systemd 服务形式启动。检查状态：

sudo systemctl status ollama

如果服务未启动，手动拉起：

sudo systemctl start ollama
sudo systemctl enable ollama

下载并运行模型

Ollama 模型库在 [ollama.com/library](https://ollama.com/library)，常用模型有 `llama3.2`（8B）、`mistral`（7B）、`deepseek-r1`（7B）。下载模型前先看内存：跑 7B 模型至少 8GB 内存（含交换分区），14B 需要 16GB。

ollama run llama3.2

如果想后台运行且只开 API 服务，不需要交互界面，用 `ollama serve` 启动守护进程，然后通过 API 调用。

ollama serve &

配置 API 访问

Ollama 默认只监听本地回环地址，外部无法直接访问。如果需要从其他设备或 n8n、AI Agent 调用，需要修改监听地址。注意：直接暴露 11434 端口到公网非常危险，任何人可以拉取模型或执行命令，必须配合防火墙或反向代理。

修改 Ollama 服务配置：

sudo systemctl edit ollama

保存后重启服务：

sudo systemctl daemon-reload
sudo systemctl restart ollama

此时 Ollama 监听所有网络接口。必须马上配置防火墙，只允许信任的 IP 访问：

sudo ufw allow from 192.168.1.0/24 to any port 11434
sudo iptables -A INPUT -p tcp –dport 11434 -s 你的IP -j ACCEPT
sudo iptables -A INPUT -p tcp –dport 11434 -j DROP

使用反向代理（推荐）

生产环境建议用 Nginx 反代，加 HTTPS 和鉴权。安装 Nginx：

sudo apt install nginx -y

创建配置文件 `/etc/nginx/sites-available/ollama`：

nginx
server {
listen 443 ssl;
server_name your-domain.com;

ssl_certificate /path/to/cert.pem;
ssl_certificate_key /path/to/key.pem;

location / {
proxy_pass http://127.0.0.1:11434;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
}

启用站点并重启 Nginx：

sudo ln -s /etc/nginx/sites-available/ollama /etc/nginx/sites-enabled/
sudo nginx -t && sudo systemctl restart nginx

此时通过 `https://your-domain.com` 即可访问 Ollama API。还可以在 Nginx 层加 Basic Auth 或 API Key 校验。

对接 AI Agent 与工作流

Ollama 提供 OpenAI 兼容 API 端点，地址为 `http://VPS_IP:11434/v1`。以 n8n 为例，在 HTTP Request 节点中设置：

• Method: POST

• URL: `http://VPS_IP:11434/v1/chat/completions`

• Headers: `Content-Type: application/json`

• Body:

json
{
"model": "llama3.2",
"messages": [{"role": "user", "content": "你好"}]
}

Claude Code、Codex 等工具也支持通过自定义 API 端点接入 Ollama。注意这些工具通常需要流式响应，Ollama 默认支持 SSE。

老鸟叮嘱：避坑清单

1.内存不足导致 OOM：如果 VPS 内存小于 8GB，跑 7B 模型会频繁触发 OOM Killer。建议先增加交换分区：`sudo fallocate -l 4G /swapfile && sudo mkswap /swapfile && sudo swapon /swapfile`。但交换分区速度慢，仅用于应急。
2.模型下载失败：国内 VPS 拉取官方模型可能超时。可以手动下载模型文件（GGUF 格式），或使用镜像源。Ollama 支持自定义模型文件路径，参考官方文档。
3.API 端口暴露公网：不要图省事把 11434 直接暴露。至少用防火墙限制 IP，最好用 Nginx 反代加鉴权。
4.不要用 root 跑 Ollama：默认安装会创建 `ollama` 用户，服务以该用户运行。如需修改模型目录权限，请用 `sudo -u ollama`。
5.日志排查：遇到模型加载失败，先看日志：`journalctl -u ollama -f`。

FAQ

Q1: 我的 VPS 只有 2GB 内存，能跑 Ollama 吗？
A: 可以跑 1B~3B 的小模型，比如 `tinyllama` 或 `phi3:mini`。7B 模型至少需要 4GB 物理内存 + 4GB 交换，但推理速度很慢。

Q2: Ollama 支持 GPU 加速吗？
A: 支持 NVIDIA GPU，需要安装 NVIDIA 驱动和 CUDA 工具包。安装后 Ollama 会自动检测 GPU。AMD GPU 和 Intel GPU 的支持有限。

Q3: 如何让 Ollama 在后台长期运行？
A: 安装后默认以 systemd 服务运行，会自动开机自启。如果手动运行 `ollama serve`，建议用 `nohup` 或 `screen`。

Q4: 怎么卸载 Ollama？
A: 执行 `sudo systemctl stop ollama && sudo systemctl disable ollama`，然后删除安装文件：`sudo rm /usr/local/bin/ollama`，再清理模型目录（默认 `~/.ollama`）。

Q5: Ollama 的 API 和 OpenAI 完全兼容吗？
A: 基本兼容，支持 `/v1/chat/completions`、`/v1/embeddings` 等端点。部分高级参数（如 `logprobs`）可能不支持，以官方文档为准。

Q6: 部署 Ollama 后怎么测试 API 是否正常？
A: 在 VPS 本地执行 `curl http://localhost:11434/api/generate -d '{"model":"llama3.2","prompt":"Hello"}'`，返回 JSON 即为正常。

在 VPS 上部署 Ollama 本地大模型并不复杂，关键是把资源估算和安全配置做在前面。无论你是跑 AI Agent 还是对接自动化工作流，Ollama 的轻量和兼容性都能省不少事。动手前先确认内存和磁盘空间，装完记得锁好端口。

—

**相关阅读：**

– [VPS部署AI工具100讲：AI Agent、Codex、Claude Code、Hermes Agent、Ollama与自动化工作流实战教程](https://www.zhujixuan.com/jishujiaocheng/9606.html)
– [n8n VPS 部署教程：搭建自己的自动化工作流平台](https://www.zhujixuan.com/jishujiaocheng/9892.html)
– [Codex、Claude Code、OpenClaw、Hermes Agent、Ollama、n8n 分别适合什么场景](https://www.zhujixuan.com/jishujiaocheng/9759.html)