本地 AI

用 Ollama 在 Windows 上跑本地对话模型

只通过官方安装包,在 Windows 上完成 Ollama 的安装、模型拉取和第一次本地对话,并处理内存、路径等常见问题。

作者 数字人欧德慢 阅读约 6 分钟

把对话模型放在自己的电脑上,提问和上下文不必默认经过第三方在线接口。Ollama 提供官方 Windows 安装程序和一套稳定的命令行工具,适合作为本地实验的起点。本文只使用其官方站点与公开模型库中的做法,带你完成安装、拉取一个体积较小的开源模型、进行第一次对话,并处理常见问题。

动手前先确认环境

在开始安装前,先对照下面这份清单,避免中途才发现磁盘或内存不够。

  • 系统:64 位 Windows 10 或 Windows 11。
  • 内存:8 GB 是最低起步;16 GB 会从容许多。体积较小的 3B 级模型通常可在 8 GB 机器上运行,7B 级建议预留更多可用内存。
  • 磁盘:为安装程序和至少一个小模型预留 10 GB 以上的可用空间。
  • 显卡:不是必须。没有独立显卡时,Ollama 会使用 CPU 运行,速度较慢,但仍然可以完成第一次对话。
  • 权限:使用你平时的 Windows 用户安装即可。若公司电脑有软件安装限制,需先征得管理员同意。

安装官方 Windows 版本

  1. 用浏览器打开 https://ollama.com,进入下载页面,选择 Windows。
  2. 下载完成后,核对文件来自官方域名,然后运行安装程序,按向导完成安装。
  3. 安装结束后,重新打开 PowerShell 或 Windows Terminal。旧的终端窗口可能还没有刷新 PATH。
  4. 输入下面的命令,确认客户端可用:
ollama --version

若返回版本号,说明命令行已经在当前会话中生效。若提示「无法识别该命令」,先关闭所有终端窗口再打开一次;仍失败时,到系统的「环境变量」中查看用户或系统 Path 是否包含 Ollama 的安装目录,具体路径以官方安装说明为准。

拉取一个适合起步的模型

Ollama 的官方模型库用名称加标签来标识模型。初学建议先选体积较小、说明页面里许可信息清楚的模型,例如库中的 Qwen2.5 3B 量化版本。标签会随官方库更新,请以当下库页面为准。

ollama pull qwen2.5:3b

第一次拉取需要下载模型文件,耗时取决于网络。终端里会显示进度。完成后,用下面的命令查看本机已经保存的模型:

ollama list

完成第一次对话

在同一终端中运行:

ollama run qwen2.5:3b

进入交互界面后,直接输入一个具体的问题,例如「用三句话说明什么是上下文窗口」。模型开始输出后,等待它结束即可继续提问。要结束会话,输入:

/bye

如果你只想跑一次、不进入持续对话,也可以把问题放在命令后面:

ollama run qwen2.5:3b "用三句话说明什么是上下文窗口"

常用的管理命令

把下面几条放在手边,日常维护会轻松许多:

ollama list
ollama ps
ollama stop qwen2.5:3b
ollama rm qwen2.5:3b
  • list 查看本地模型。
  • ps 查看当前已加载的进程。
  • stop 释放某个已加载模型占用的内存。
  • rm 删除本地模型文件,删除前请确认你不再需要它,因为重新拉取需要再次下载。

需要查阅参数或服务说明时,使用 ollama help 或打开 官方文档。

模型文件放在哪里

在 Windows 上,Ollama 默认把模型放在用户目录下的 .ollama 中,具体结构以官方文档为准。这个目录可能随时间变大,整理磁盘时应把它计算进去。不要把模型文件复制到来路不明的「整合包」里再分发,也不要用第三方修改过的模型文件替换官方拉取的结果。

常见问题

命令找不到。 多半是终端没有刷新环境变量。关闭终端后重开,或检查 Path。不要从随机网页复制「修复 PATH」的脚本。

提示内存不足,或进程突然退出。 先关掉占用内存较多的浏览器标签和其它应用,再换成更小的模型重新 pull。任务管理器里可以对照「内存」一栏,确认可用量是否过低。

运行非常慢。 在只有 CPU 的机器上,这是预期现象。若你有官方文档支持的 NVIDIA 显卡,按官方安装说明检查 GPU 是否被正确识别;不要使用声称「解锁显卡限制」的非官方工具。

想卸载。 到 Windows 的「已安装的应用」中卸载 Ollama。是否删除 .ollama 目录由你决定:删掉可以收回模型占用的磁盘,但以后需要重新下载。

接下来可以做什么

  • 阅读官方文档中的 API 说明,了解如何让本机其它合法程序连接到本地端口。默认服务只监听本机回环地址时,不要随意改成对公网开放。
  • 把常用提示词和复现步骤写进自己的笔记,形成可重复的实验记录。
  • 若要给读者提供配套示例,可以继续阅读《如何给教程配一个可复现的示例仓库结构》。

第一次把模型在本机跑通之后,重点不是追求更大的参数量,而是把「从哪里下载、如何启动、如何停掉、文件在哪」这四件事变成肌肉记忆。