Ollama 让你在自己电脑上跑 AI 模型,完全离线、完全隐私。
Ollama 是个开源工具,可以在本地跑大语言模型。
好处:
局限:
安装后,Ollama 会作为后台服务运行。

| 模型 | 大小 | 特点 | 命令 |
|---|---|---|---|
| Llama 3 8B | ~4GB | 各方面平衡 | ollama pull llama3 |
| Mistral 7B | ~4GB | 推理能力强 | ollama pull mistral |
| Qwen2 7B | ~4GB | 中文好 | ollama pull qwen2 |
| 模型 | 大小 | 特点 | 命令 |
|---|---|---|---|
| Phi-3 Mini | ~2GB | 微软出品,轻量 | ollama pull phi3 |
| Gemma 2B | ~1.5GB | Google出品 | ollama pull gemma:2b |
| 模型 | 大小 | 特点 | 命令 |
|---|---|---|---|
| Llama 3 70B | ~40GB | 接近 GPT-4 | ollama pull llama3:70b |
| Mixtral 8x7B | ~26GB | 混合专家模型 | ollama pull mixtral |
http://localhost:11434)
配置好后,聊天面板的模型选择器里就能看到下载好的 Ollama 模型了。
选个 Ollama 模型,就能开始聊了。所有处理都在本地完成。
Apple Silicon 对 Ollama 支持很好,推荐使用。
装好最新的 NVIDIA 驱动,Ollama 会自动用 GPU 加速。
可以试试:
OLLAMA_NUM_PARALLEL=1 限制并发推荐用 Qwen2 模型,中文支持更好。
| 方面 | Ollama 本地 | 云端模型 |
|---|---|---|
| 隐私 | 完全本地 | 数据要上传 |
| 花费 | 免费 | 按量付费 |
| 速度 | 看电脑配置 | 一般更快 |
| 能力 | 中等 | 更强 |
| 离线 | 可以 | 需要网 |
建议:隐私敏感的内容用 Ollama,复杂任务用云端模型。