Ollama 使用教程：本地部署开源大模型的入门指南

Ollama 是什么

Ollama 是一个在本地计算机上运行开源大语言模型的命令行与桌面工具。它把「下载模型 → 配置环境 → 启动推理」压缩成一条命令，让个人开发者、研究者和追求数据私密的用户，能在自己的电脑上跑起 Llama、Qwen、Mistral、Gemma 等主流开源模型。

它的核心价值有两点：一是数据不出本机，适合处理敏感内容；二是免费离线可用，不依赖云端 API，适合实验、教学和二次开发。

怎么安装与启动

第一步安装：访问 Ollama 官网，按系统下载安装包（macOS / Windows / Linux 均支持）。安装完成后在终端执行 ollama --version 确认成功。

第二步拉取模型：在终端执行 ollama pull qwen2.5:7b 之类的命令下载模型（也可省略 pull，直接 run 会自动下载）。

第三步运行模型：执行 ollama run qwen2.5:7b 进入交互式对话；输入问题回车即可得到回答，输入 /bye 退出。

硬件建议：7B 级模型建议 8GB 以上内存，跑更大的 70B 级模型需要更高配置；显存足够时 Ollama 会自动利用 GPU 加速。

主要功能

模型管理：ollama list 查看已下载模型，ollama pull <模型名> 下载，ollama rm 删除，支持版本标签（如 qwen2.5:7b / qwen2.5:14b）。

交互对话：ollama run 直接对话，支持多轮上下文；ollama show 查看模型参数与模板信息。

本地 API 服务：ollama serve 启动后默认监听 11434 端口，暴露 OpenAI 兼容接口，可用 curl 或任意 SDK 调用，供自己的程序接入。

自定义模型：通过 Modelfile 可以调整系统提示词、温度等参数，ollama create 生成自定义模型，适合按场景定制。

收费方式

Ollama 本身完全免费开源（MIT 许可证），模型也是开源权重免费使用。你需要付出的只是硬件成本与电费。若要在生产环境大规模并发调用，需自行评估服务器配置。

适用场景

• 本地实验：不依赖网络与云端额度，随时调试提示词与模型效果。
• 数据隐私场景：处理内部文档、医疗信息等敏感内容，数据不出本机。
• 二次开发：用 OpenAI 兼容 API 快速搭自己的 AI 应用原型。
• 教学与学习：低成本理解 LLM 的部署、推理与模型差异。

常见问题

Ollama 支持哪些模型？ 支持 Llama、Qwen、Mistral、Gemma、Phi、DeepSeek 等主流开源模型，可在官网模型库检索。

我的电脑跑得动吗？ 7B 级量化模型（如 qwen2.5:7b）8GB 内存可运行，16GB 体验更好；模型越大对内存/显存要求越高。

怎么让其他程序调用 Ollama？ 启动 ollama serve 后用 OpenAI 兼容接口调用 http://localhost:11434/v1 即可，多数 SDK 只需改 base_url。

总结

Ollama 是把开源大模型「本地化」的最短路径，一条命令完成部署，让个人电脑也能拥有私有的 AI 推理能力。对开发者来说，它还是搭建应用原型的低成本底座——先本地验证，再上云扩规模。入门建议：先拉一个小模型跑通对话，再看官方文档了解 Modelfile 与 API 参数，逐步进阶到自定义模型与程序集成。