在Windows上轻松部署本地大语言模型:Ollama与Open-WebUI的完整指南
本教程专注于指导读者如何使用Ollama和Open-WebUI在本地部署大型语言模型,以通义千问大模型为例。我们将提供简单易懂的步骤,专门为机器学习小白设计,确保您能够轻松上手,顺利完成模型的安装与使用。
前言
欢迎来到本教程!本文将详细介绍如何在 Windows 系统 上安装和使用 Ollama 和 Open-WebUI,这两个强大的工具将帮助您轻松管理和运行大型语言模型。Ollama 简化了模型的下载与部署,而 Open-WebUI 则提供了一个直观的图形用户界面,使用户能够更方便地与模型进行交互。
本教程将涵盖以下内容:
- 安装环境与步骤:提供准备和安装 Ollama 及 Docker Desktop 的详细指导。
- 验证安装:教您如何确认 Ollama 和 Docker 是否成功安装。
- 模型搜索与下载:展示如何使用阿里开源的 通义千问大模型 Qwen 进行操作。
- Open-WebUI 的安装与使用:介绍如何部署 Open-WebUI 以及如何在浏览器中与模型交互。
无论您是机器学习的初学者,还是希望在本地部署强大语言模型的开发者,本文将为您提供清晰且实用的指导,帮助您顺利踏上机器学习之旅,并最终在本地成功部署属于自己的大型模型,诸如下图。
一、安装 Ollama
1、安装环境
- 在开始之前,请确保你的计算机已安装显卡驱动和 CUDA 程序,具体的验证步骤将在本文结尾提供。
-
访问官网:
- 打开 Ollama 官网:https://ollama.com/
-
下载 Ollama:
- 点击页面上的“Download”按钮。
- 在弹出的选项中选择适合 Windows 的安装程序,下载完成后,双击安装文件。
- 点击页面上的“Download”按钮。
-
安装过程:
- 安装开始后直接点击 Install,稍等片刻后安装成功。
- 安装开始后直接点击 Install,稍等片刻后安装成功。
2、验证安装
-
按下快捷键:同时按
Windows
键和R
键 (Win + R
),打开“运行”窗口。 -
输入命令:在窗口中输入
cmd
,然后敲击Enter
。
-
输入命令:在命令提示符窗口中,输入:
ollama --version
-
查看结果:如果显示版本号,说明安装成功。
3、模型部署
在 Ollama 上,我们可以方便地搜索并下载所需的模型。此次我们选择阿里开源的通义千问大模型 Qwen。具体步骤如下:
-
搜索模型:
- 访问 ollama.com,在搜索框中输入“Qwen”后,敲击
Enter
进行查找。
- 访问 ollama.com,在搜索框中输入“Qwen”后,敲击
-
选择版本:
- 在搜索结果中,你会看到 Qwen 的不同版本,如 Qwen 2.5 和 Qwen 2 等,这里我们选择安装 Qwen 2.5 版本。
- 目前可用的参数大小有:0.5B、1.5B、3B、7B、14B 、32B 和 72B。每个数值代表不同的参数规模。为了适应自己的电脑配置,建议谨慎选择。这里我们选择 7B(70亿参数),该模型的大小不到 5GB,适合第一次使用。
-
下载模型:
-
打开命令提示符或终端,直接运行以下命令来下载所选模型:
ollama run qwen2.5:7b
ollama
是命令行工具的名称,用于管理和运行机器学习模型。run
是 Ollama 命令,用于启动和执行指定的模型。qwen2.5:7b
是模型的名称和版本,表示你要下载或运行的特定模型。
-
下载速度通常由快到慢(请耐心等待),完成后会看到
success
的提示,表示模型已成功安装。
-
-
使用模型:
-
一旦安装完成,你就可以在终端中运行下面指令直接使用 Qwen 模型进行提问。
ollama run qwen2.5:7b
-
注意,Qwen2.5-7B 的回答可能并不是很理想。这并不是重点,因为后续我们可以下载更先进、更准确的模型,从而更深入地体验模型的训练和提升过程。
-
-
更改模型保存路径(可选+推荐):
-
在 Ollama 中,模型的保存路径可通过环境变量
OLLAMA_MODELS
进行配置和查询。若未显式设置该变量,Ollama 将默认使用系统盘路径,这可能导致系统盘存储空间耗尽。 -
你可以通过以下方式查看当前 Ollama 模型的保存路径:
-
PowerShell
终端直接打印当前的 Ollama 配置,检查OLLAMA_MODELS
:echo $env:OLLAMA_MODELS
-
如果
OLLAMA_MODELS
已设置,会显示路径(如D:\OllamaModels
)。 -
如果没有设置,输出为空,Ollama 会使用默认路径
C:\Users\username\ .ollama
。
-
-
如果你想修改模型的保存路径,可以设置
OLLAMA_MODELS
环境变量。- 在 PowerShell 中执行以下命令(方法一):
$env:OLLAMA_MODELS = "D:\NewModelPath" # NewModelPath为你想要的Ollama模型保存路径
- 或者通过新建 系统环境变量 设置
OLLAMA_MODELS
,这样 Ollama 就会将模型保存到新的路径(方法二):
- 在 PowerShell 中执行以下命令(方法一):
-
更改模型保存路径后,需要重启 Ollama 服务才能使更改生效。
-
如果 Ollama 服务正在运行,你需要先停止它。可以在 PowerShell 中按 Ctrl + C 来终止服务。
-
重新启动 Ollama 服务,确保新的配置生效:
ollama serve
-
-
Ollama 会加载新的模型保存路径,并在该路径下下载和存储模型。
-
二、安装 Docker Desktop
Docker 提供了一致的运行环境,适用于不同操作系统,特别适合跨平台的机器学习工具运行。安装 Docker Desktop 将为后续的 Open-WebUI 提供必要的运行环境,使用户能够轻松地在 Docker 容器 中管理和使用各种语言模型。
1、安装 Docker Desktop
-
下载 Docker Desktop:
- 访问 Docker 官网:https://www.docker.com/。
- 点击页面上的“Download for Windows - AMD64”按钮,以下载适用于 Windows 系统的 Docker Desktop 安装文件。
-
安装 Docker Desktop:
- 双击下载的安装文件,开始安装 Docker Desktop。
- 按照安装向导的指示完成安装。在安装过程中,将提示安装 WSL 2,建议勾选此选项以获得更好的性能。
-
配置 Docker Desktop:
-
安装完成后,启动 Docker Desktop。
-
首次打开时,将出现 Docker 订阅协议,点击
Accept
(接受)以继续。
-
随后,系统将提示用户登录。您可以选择使用 GitHub 账户或 Google 账户登录,若无上述账户,可选择跳过登录步骤。
-
接下来,将出现调查问卷,您可以根据个人喜好选择填写,或直接跳过此步骤。
-
最后,Docker Desktop 将正常启动。
-
2、汉化 Docker Desktop(可选)
若想使 Docker Desktop 显示中文界面,按照以下步骤进行汉化:
-
下载对应版本的中文语言包:
- 访问 GitHub,下载适用于 Docker Desktop 的中文语言包,链接地址为:DockerDesktop-CN。
- 将下载的文件解压至
C:\Program Files\Docker
目录下(即 Docker 的安装根目录)。
- 访问 GitHub,下载适用于 Docker Desktop 的中文语言包,链接地址为:DockerDesktop-CN。
-
检查 Docker Desktop 版本:
- 启动 Docker Desktop,版本号将在右下角显示。
- 启动 Docker Desktop,版本号将在右下角显示。
-
备份并替换 app.asar 文件:
- 打开 Docker Desktop 中文语言包,选择与您 Docker 版本相符的
app.asar
文件并复制。
- 导航至 Docker 的安装目录,路径默认为:
C:\Program Files\Docker\Docker\frontend\resources
- 在该目录下找到
app.asar
文件,建议先备份原文件,然后将复制的中文语言包中的app.asar
文件粘贴并替换原有文件。
- 打开 Docker Desktop 中文语言包,选择与您 Docker 版本相符的
-
重新启动 Docker Desktop:
- 完成替换后,请关闭 Docker Desktop,然后重新启动该程序。此时,Docker Desktop 应该以中文界面显示。
- 完成替换后,请关闭 Docker Desktop,然后重新启动该程序。此时,Docker Desktop 应该以中文界面显示。
三、安装 Open-WebUI
Open-WebUI 是一个基于 Docker 部署的 Web 用户界面,使用户能够在本地环境中轻松运行和管理语言模型。与直接使用命令行工具相比,Open-WebUI 提供了更直观、便捷的交互体验,尤其适合希望进行图形化操作的用户。
1、安装 Open-WebUI
-
获取 Open-WebUI 镜像:
- 打开命令提示符或 PowerShell,输入以下命令以下载 Open-WebUI 镜像:
docker pull ghcr.io/open-webui/open-webui:main
- 下载过程可能需要几分钟,请耐心等待 [建议先开魔法再下载镜像]。
-
启动 Open-WebUI 容器:
- 下载完成后,运行以下命令以启动 Open-WebUI:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 该命令中的
-d
参数表示容器在后台运行,-p 3000:8080
用于将容器内的 8080 端口映射到本地计算机的 3000 端口。启动后,您可以在浏览器中访问http://localhost:3000
以进入 Open-WebUI 界面。
命令解析:
-
docker run
: 这是用于创建并运行一个新的容器的命令。 -
-d
: 让容器在后台运行(“detached” 模式)。 -
-p 3000:8080
: 将主机的 3000 端口映射到容器的 8080 端口。这意味着你可以通过访问主机的 3000 端口来访问容器内的服务。 -
--add-host=host.docker.internal:host-gateway
: 这条选项允许容器内的应用访问主机(宿主机)上的服务。它会将host.docker.internal
指向 Docker 宿主机的 IP 地址。 -
-v open-webui:/app/backend/data
: 创建一个名为open-webui
的数据卷,将其挂载到容器的/app/backend/data
路径。这允许你在容器重启或删除后仍能保留数据。 -
--name open-webui
: 为容器指定一个名称(open-webui
),方便后续管理。 -
--restart always
: 设置容器的重启策略为“始终”。这意味着如果容器崩溃或宿主机重启,Docker 会自动重新启动该容器。 -
ghcr.io/open-webui/open-webui:main
: 指定要运行的镜像及其标签(这里是main
)。
输出解释:
6fb5192dc3e4912b5fdfe6a183c798351fc76e15a7c60bccc25a3573c39b0136
: 这是新创建容器的唯一 ID。你可以用这个 ID 来执行后续的操作,如停止或删除容器。
2、配置与使用 Open-WebUI:
- 在浏览器中打开 http://localhost:3000 后,您将看到 Open-WebUI 的主界面。
- 首次访问可能需要注册一个账号,注册过程简单易行。
- 登录以后,左上角可以选择我们安装的Qwen2.5模型,如果我们安装多个模型的话,可以切换不同模型使用。
- Open-WebUI 提供直观的模型搜索和下载界面,您可以从中选择诸如 Qwen(通义千问)等模型。
- 使用 Open-WebUI,您可以更便捷地进行交互,相较于传统终端操作,体验更加流畅与美观。
四、验证显卡驱动和 CUDA 程序
- 可以按照以下步验骤证计算机是否已安装显卡驱动和 CUDA 程序:
验证显卡驱动
-
检查显卡信息:
- 右键点击桌面,选择“显示设置”。
- 在“显示”设置中,向下滚动并点击“高级显示设置”。
- 在这里,你可以看到使用的显卡型号。
-
验证驱动版本:
-
按
Win + X
键,选择“设备管理器”。 -
在设备管理器中,展开“显示适配器”选项,找到你的显卡。
-
右键点击显卡,选择“属性”,然后切换到“驱动程序”选项卡,可以查看驱动程序版本。
-
验证 CUDA 安装
-
检查 CUDA 是否安装:
- 打开命令提示符(按
Win + R
,输入cmd
,然后按Enter
)。 - 输入以下命令并按
Enter
:nvcc --version
- 如果 CUDA 已安装,会显示 CUDA 的版本信息。如果提示“未找到命令”,说明 CUDA 可能未安装或未正确配置。
- 打开命令提示符(按
-
确认 CUDA 目录:
- 你也可以检查 CUDA 是否在系统环境变量中。打开“控制面板”,选择“系统和安全” > “系统” > “高级系统设置”。
- 在“系统属性”窗口中,点击“环境变量”按钮,查看“系统变量”中的
Path
变量,确认其中是否包含 CUDA 的安装路径(通常是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin
)。
更多推荐
所有评论(0)