AI Orbit A2Z Logo

🐉 模块 5: 中国 AI 模型:DeepSeek、通义千问与 Kimi · 第 17 / 18

在你的电脑上运行任何开源 AI 模型(Ollama 与 LM Studio)

本地运行 AI 意味着无需订阅、数据不出电脑,而且离线可用。听起来很技术,但用现在的工具大约十五分钟就能完成。

11 分钟阅读 · 进阶

检查你的电脑

  • 内存是关键:8 GB 可跑小模型,16 GB 可跑不错的中等模型,32 GB 以上可跑更大的模型。
  • 显卡(显存充足的 NVIDIA)或 Apple Silicon Mac(M1 及更新)会让模型快得多。
  • 磁盘空间:常见尺寸的模型每个需要 2–10 GB。

路线 A — Ollama(简单,命令行)

  1. 1

    安装

    从 ollama.com 下载适合你系统的 Ollama 并安装。

  2. 2

    运行模型

    打开终端,输入例如 ollama run qwen3:4b 、 ollama run deepseek-r1:7b 、 ollama run llama3.2 或 ollama run gemma3 。

  3. 3

    管理模型

    ollama list 查看已安装模型, ollama rm <名称> 删除模型。

  4. 4

    供其他应用调用

    Ollama 会运行本地服务器(默认端口 11434),许多聊天界面、代码编辑器和脚本都能连接。

路线 B — LM Studio(全程点鼠标)

  1. 1

    安装

    从 lmstudio.ai 下载并安装 LM Studio。

  2. 2

    找模型

    在 Discover 页搜索;LM Studio 会显示每个下载是否适合你的内存。

  3. 3

    对话

    在 Chat 页加载模型并开始输入。

更好用的聊天界面(可选)

如果使用 Ollama,可以借助 Open WebUI 等免费项目获得类似 ChatGPT 的界面。它会自动连接 Ollama,并在浏览器中提供聊天记录、文件上传和模型切换。

什么任务用什么模型?

  • 日常聊天和写作:按内存选择 Qwen、Llama 或 Gemma。
  • 数学、逻辑和分步推理:DeepSeek-R1 蒸馏模型。
  • 编程:Qwen 的 coder 版本或其他编程模型。
  • 很旧或内存很小的笔记本:最小的尺寸(约 1–2b 参数)。

要点总结

  • ★ 内存决定你能运行哪些模型。
  • ★ Ollama(命令行)或 LM Studio(图形界面)——都免费。
  • ★ 本地 AI 让数据留在你的电脑上,并可离线使用。

相关内容