检查你的电脑
- 内存是关键:8 GB 可跑小模型,16 GB 可跑不错的中等模型,32 GB 以上可跑更大的模型。
- 显卡(显存充足的 NVIDIA)或 Apple Silicon Mac(M1 及更新)会让模型快得多。
- 磁盘空间:常见尺寸的模型每个需要 2–10 GB。
路线 A — Ollama(简单,命令行)
- 1
安装
从 ollama.com 下载适合你系统的 Ollama 并安装。
- 2
运行模型
打开终端,输入例如 ollama run qwen3:4b 、 ollama run deepseek-r1:7b 、 ollama run llama3.2 或 ollama run gemma3 。
- 3
管理模型
ollama list 查看已安装模型, ollama rm <名称> 删除模型。
- 4
供其他应用调用
Ollama 会运行本地服务器(默认端口 11434),许多聊天界面、代码编辑器和脚本都能连接。
路线 B — LM Studio(全程点鼠标)
- 1
安装
从 lmstudio.ai 下载并安装 LM Studio。
- 2
找模型
在 Discover 页搜索;LM Studio 会显示每个下载是否适合你的内存。
- 3
对话
在 Chat 页加载模型并开始输入。
更好用的聊天界面(可选)
如果使用 Ollama,可以借助 Open WebUI 等免费项目获得类似 ChatGPT 的界面。它会自动连接 Ollama,并在浏览器中提供聊天记录、文件上传和模型切换。
什么任务用什么模型?
- 日常聊天和写作:按内存选择 Qwen、Llama 或 Gemma。
- 数学、逻辑和分步推理:DeepSeek-R1 蒸馏模型。
- 编程:Qwen 的 coder 版本或其他编程模型。
- 很旧或内存很小的笔记本:最小的尺寸(约 1–2b 参数)。