用 Ollama 在 Windows 上跑本地对话模型
只通过官方安装包,在 Windows 上完成 Ollama 的安装、模型拉取和第一次本地对话,并处理内存、路径等常见问题。
把对话模型放在自己的电脑上,提问和上下文不必默认经过第三方在线接口。Ollama 提供官方 Windows 安装程序和一套稳定的命令行工具,适合作为本地实验的起点。本文只使用其官方站点与公开模型库中的做法,带你完成安装、拉取一个体积较小的开源模型、进行第一次对话,并处理常见问题。
动手前先确认环境
在开始安装前,先对照下面这份清单,避免中途才发现磁盘或内存不够。
- 系统:64 位 Windows 10 或 Windows 11。
- 内存:8 GB 是最低起步;16 GB 会从容许多。体积较小的 3B 级模型通常可在 8 GB 机器上运行,7B 级建议预留更多可用内存。
- 磁盘:为安装程序和至少一个小模型预留 10 GB 以上的可用空间。
- 显卡:不是必须。没有独立显卡时,Ollama 会使用 CPU 运行,速度较慢,但仍然可以完成第一次对话。
- 权限:使用你平时的 Windows 用户安装即可。若公司电脑有软件安装限制,需先征得管理员同意。
安装官方 Windows 版本
- 用浏览器打开 https://ollama.com,进入下载页面,选择 Windows。
- 下载完成后,核对文件来自官方域名,然后运行安装程序,按向导完成安装。
- 安装结束后,重新打开 PowerShell 或 Windows Terminal。旧的终端窗口可能还没有刷新
PATH。 - 输入下面的命令,确认客户端可用:
ollama --version
若返回版本号,说明命令行已经在当前会话中生效。若提示「无法识别该命令」,先关闭所有终端窗口再打开一次;仍失败时,到系统的「环境变量」中查看用户或系统 Path 是否包含 Ollama 的安装目录,具体路径以官方安装说明为准。
拉取一个适合起步的模型
Ollama 的官方模型库用名称加标签来标识模型。初学建议先选体积较小、说明页面里许可信息清楚的模型,例如库中的 Qwen2.5 3B 量化版本。标签会随官方库更新,请以当下库页面为准。
ollama pull qwen2.5:3b
第一次拉取需要下载模型文件,耗时取决于网络。终端里会显示进度。完成后,用下面的命令查看本机已经保存的模型:
ollama list
完成第一次对话
在同一终端中运行:
ollama run qwen2.5:3b
进入交互界面后,直接输入一个具体的问题,例如「用三句话说明什么是上下文窗口」。模型开始输出后,等待它结束即可继续提问。要结束会话,输入:
/bye
如果你只想跑一次、不进入持续对话,也可以把问题放在命令后面:
ollama run qwen2.5:3b "用三句话说明什么是上下文窗口"
常用的管理命令
把下面几条放在手边,日常维护会轻松许多:
ollama list
ollama ps
ollama stop qwen2.5:3b
ollama rm qwen2.5:3b
list查看本地模型。ps查看当前已加载的进程。stop释放某个已加载模型占用的内存。rm删除本地模型文件,删除前请确认你不再需要它,因为重新拉取需要再次下载。
需要查阅参数或服务说明时,使用 ollama help 或打开 官方文档。
模型文件放在哪里
在 Windows 上,Ollama 默认把模型放在用户目录下的 .ollama 中,具体结构以官方文档为准。这个目录可能随时间变大,整理磁盘时应把它计算进去。不要把模型文件复制到来路不明的「整合包」里再分发,也不要用第三方修改过的模型文件替换官方拉取的结果。
常见问题
命令找不到。 多半是终端没有刷新环境变量。关闭终端后重开,或检查 Path。不要从随机网页复制「修复 PATH」的脚本。
提示内存不足,或进程突然退出。 先关掉占用内存较多的浏览器标签和其它应用,再换成更小的模型重新 pull。任务管理器里可以对照「内存」一栏,确认可用量是否过低。
运行非常慢。 在只有 CPU 的机器上,这是预期现象。若你有官方文档支持的 NVIDIA 显卡,按官方安装说明检查 GPU 是否被正确识别;不要使用声称「解锁显卡限制」的非官方工具。
想卸载。 到 Windows 的「已安装的应用」中卸载 Ollama。是否删除 .ollama 目录由你决定:删掉可以收回模型占用的磁盘,但以后需要重新下载。
接下来可以做什么
- 阅读官方文档中的 API 说明,了解如何让本机其它合法程序连接到本地端口。默认服务只监听本机回环地址时,不要随意改成对公网开放。
- 把常用提示词和复现步骤写进自己的笔记,形成可重复的实验记录。
- 若要给读者提供配套示例,可以继续阅读《如何给教程配一个可复现的示例仓库结构》。
第一次把模型在本机跑通之后,重点不是追求更大的参数量,而是把「从哪里下载、如何启动、如何停掉、文件在哪」这四件事变成肌肉记忆。