前言

欢迎来到本教程！本文将详细介绍如何在 Windows 系统 上安装和使用 Ollama 和 Open-WebUI，这两个强大的工具将帮助您轻松管理和运行大型语言模型。Ollama 简化了模型的下载与部署，而 Open-WebUI 则提供了一个直观的图形用户界面，使用户能够更方便地与模型进行交互。

本教程将涵盖以下内容：

1. 安装环境与步骤：提供准备和安装 Ollama 及 Docker Desktop 的详细指导。
2. 验证安装：教您如何确认 Ollama 和 Docker 是否成功安装。
3. 模型搜索与下载：展示如何使用阿里开源的 通义千问大模型 Qwen 进行操作。
4. Open-WebUI 的安装与使用：介绍如何部署 Open-WebUI 以及如何在浏览器中与模型交互。

无论您是机器学习的初学者，还是希望在本地部署强大语言模型的开发者，本文将为您提供清晰且实用的指导，帮助您顺利踏上机器学习之旅，并最终在本地成功部署属于自己的大型模型，诸如下图。

---

一、安装 Ollama

1、安装环境

• 在开始之前，请确保你的计算机已安装显卡驱动和 CUDA 程序，具体的验证步骤将在本文结尾提供。

1. 访问官网：

   • 打开 Ollama 官网：https://ollama.com/

2. 下载 Ollama：

   • 点击页面上的“Download”按钮。
     
   • 在弹出的选项中选择适合 Windows 的安装程序，下载完成后，双击安装文件。
     

3. 安装过程：

   • 安装开始后直接点击 Install，稍等片刻后安装成功。
     

---

2、验证安装

1. 按下快捷键：同时按 Windows 键和 R 键 (Win + R)，打开“运行”窗口。

2. 输入命令：在窗口中输入 cmd，然后敲击 Enter。
   

3. 输入命令：在命令提示符窗口中，输入：

   ollama --version
   

4. 查看结果：如果显示版本号，说明安装成功。
   

---

3、模型部署

在 Ollama 上，我们可以方便地搜索并下载所需的模型。此次我们选择阿里开源的通义千问大模型 Qwen。具体步骤如下：

1. 搜索模型：

   • 访问 ollama.com，在搜索框中输入“Qwen”后，敲击Enter进行查找。
     

2. 选择版本：

   • 在搜索结果中，你会看到 Qwen 的不同版本，如 Qwen 2.5 和 Qwen 2 等，这里我们选择安装 Qwen 2.5 版本。
   • 目前可用的参数大小有：0.5B、1.5B、3B、7B、14B 、32B 和 72B。每个数值代表不同的参数规模。为了适应自己的电脑配置，建议谨慎选择。这里我们选择 7B（70亿参数），该模型的大小不到 5GB，适合第一次使用。
     

3. 下载模型：

   • 打开命令提示符或终端，直接运行以下命令来下载所选模型：

     ollama run qwen2.5:7b
     

     • ollama 是命令行工具的名称，用于管理和运行机器学习模型。
     • run 是 Ollama 命令，用于启动和执行指定的模型。
     • qwen2.5:7b 是模型的名称和版本，表示你要下载或运行的特定模型。

   • 下载速度通常由快到慢（请耐心等待），完成后会看到 success 的提示，表示模型已成功安装。
     

4. 使用模型：

   • 一旦安装完成，你就可以在终端中运行下面指令直接使用 Qwen 模型进行提问。

     ollama run qwen2.5:7b
     

   • 注意，Qwen2.5-7B 的回答可能并不是很理想。这并不是重点，因为后续我们可以下载更先进、更准确的模型，从而更深入地体验模型的训练和提升过程。
     

5. 更改模型保存路径（可选+推荐）：

   • 在 Ollama 中，模型的保存路径可通过环境变量 OLLAMA_MODELS 进行配置和查询。若未显式设置该变量，Ollama 将默认使用系统盘路径，这可能导致系统盘存储空间耗尽。

   • 你可以通过以下方式查看当前 Ollama 模型的保存路径：

     • PowerShell 终端直接打印当前的 Ollama 配置，检查 OLLAMA_MODELS：

       echo $env:OLLAMA_MODELS
       

     • 如果 OLLAMA_MODELS 已设置，会显示路径（如 D:\OllamaModels）。

     • 如果没有设置，输出为空，Ollama 会使用默认路径C:\Users\username\ .ollama。

   • 如果你想修改模型的保存路径，可以设置 OLLAMA_MODELS 环境变量。

     • 在 PowerShell 中执行以下命令（方法一）：

       $env:OLLAMA_MODELS = "D:\NewModelPath"  # NewModelPath为你想要的Ollama模型保存路径
       

     • 或者通过新建 系统环境变量 设置 OLLAMA_MODELS，这样 Ollama 就会将模型保存到新的路径（方法二）：
       

   • 更改模型保存路径后，需要重启 Ollama 服务才能使更改生效。

     • 如果 Ollama 服务正在运行，你需要先停止它。可以在 PowerShell 中按 Ctrl + C 来终止服务。

     • 重新启动 Ollama 服务，确保新的配置生效：

       ollama serve
       

   • Ollama 会加载新的模型保存路径，并在该路径下下载和存储模型。

---

二、安装 Docker Desktop

Docker 提供了一致的运行环境，适用于不同操作系统，特别适合跨平台的机器学习工具运行。安装 Docker Desktop 将为后续的 Open-WebUI 提供必要的运行环境，使用户能够轻松地在 Docker 容器 中管理和使用各种语言模型。

1、安装 Docker Desktop

1. 下载 Docker Desktop：

   • 访问 Docker 官网：https://www.docker.com/。
   • 点击页面上的“Download for Windows - AMD64”按钮，以下载适用于 Windows 系统的 Docker Desktop 安装文件。
     

2. 安装 Docker Desktop：

   • 双击下载的安装文件，开始安装 Docker Desktop。
   • 按照安装向导的指示完成安装。在安装过程中，将提示安装 WSL 2，建议勾选此选项以获得更好的性能。
     

3. 配置 Docker Desktop：

   • 安装完成后，启动 Docker Desktop。
     

   • 首次打开时，将出现 Docker 订阅协议，点击 Accept（接受）以继续。
     

   • 随后，系统将提示用户登录。您可以选择使用 GitHub 账户或 Google 账户登录，若无上述账户，可选择跳过登录步骤。
     

   • 接下来，将出现调查问卷，您可以根据个人喜好选择填写，或直接跳过此步骤。
     

   • 最后，Docker Desktop 将正常启动。
     

2、汉化 Docker Desktop（可选）

若想使 Docker Desktop 显示中文界面，按照以下步骤进行汉化：

1. 下载对应版本的中文语言包：

   • 访问 GitHub，下载适用于 Docker Desktop 的中文语言包，链接地址为：DockerDesktop-CN。
     
   • 将下载的文件解压至 C:\Program Files\Docker 目录下（即 Docker 的安装根目录）。
     

2. 检查 Docker Desktop 版本：

   • 启动 Docker Desktop，版本号将在右下角显示。
     

3. 备份并替换 app.asar 文件：

   • 打开 Docker Desktop 中文语言包，选择与您 Docker 版本相符的 app.asar 文件并复制。
     
   • 导航至 Docker 的安装目录，路径默认为：

     C:\Program Files\Docker\Docker\frontend\resources
     

   • 在该目录下找到 app.asar 文件，建议先备份原文件，然后将复制的中文语言包中的 app.asar 文件粘贴并替换原有文件。
     

4. 重新启动 Docker Desktop：

   • 完成替换后，请关闭 Docker Desktop，然后重新启动该程序。此时，Docker Desktop 应该以中文界面显示。
     

---

三、安装 Open-WebUI

Open-WebUI 是一个基于 Docker 部署的 Web 用户界面，使用户能够在本地环境中轻松运行和管理语言模型。与直接使用命令行工具相比，Open-WebUI 提供了更直观、便捷的交互体验，尤其适合希望进行图形化操作的用户。

1、安装 Open-WebUI

1. 获取 Open-WebUI 镜像：

   • 打开命令提示符或 PowerShell，输入以下命令以下载 Open-WebUI 镜像：

   docker pull ghcr.io/open-webui/open-webui:main
   

   • 下载过程可能需要几分钟，请耐心等待 [建议先开魔法再下载镜像]。
     

2. 启动 Open-WebUI 容器：

   • 下载完成后，运行以下命令以启动 Open-WebUI：

   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
   

   • 该命令中的 -d 参数表示容器在后台运行，-p 3000:8080 用于将容器内的 8080 端口映射到本地计算机的 3000 端口。启动后，您可以在浏览器中访问 http://localhost:3000 以进入 Open-WebUI 界面。
     

命令解析：

• docker run: 这是用于创建并运行一个新的容器的命令。

• -d: 让容器在后台运行（“detached” 模式）。

• -p 3000:8080: 将主机的 3000 端口映射到容器的 8080 端口。这意味着你可以通过访问主机的 3000 端口来访问容器内的服务。

• --add-host=host.docker.internal:host-gateway: 这条选项允许容器内的应用访问主机（宿主机）上的服务。它会将 host.docker.internal 指向 Docker 宿主机的 IP 地址。

• -v open-webui:/app/backend/data: 创建一个名为 open-webui 的数据卷，将其挂载到容器的 /app/backend/data 路径。这允许你在容器重启或删除后仍能保留数据。

• --name open-webui: 为容器指定一个名称（open-webui），方便后续管理。

• --restart always: 设置容器的重启策略为“始终”。这意味着如果容器崩溃或宿主机重启，Docker 会自动重新启动该容器。

• ghcr.io/open-webui/open-webui:main: 指定要运行的镜像及其标签（这里是 main）。

输出解释：

• 6fb5192dc3e4912b5fdfe6a183c798351fc76e15a7c60bccc25a3573c39b0136: 这是新创建容器的唯一 ID。你可以用这个 ID 来执行后续的操作，如停止或删除容器。

2、配置与使用 Open-WebUI：

• 在浏览器中打开 http://localhost:3000 后，您将看到 Open-WebUI 的主界面。
• 首次访问可能需要注册一个账号，注册过程简单易行。
  
• 登录以后，左上角可以选择我们安装的Qwen2.5模型，如果我们安装多个模型的话，可以切换不同模型使用。

• Open-WebUI 提供直观的模型搜索和下载界面，您可以从中选择诸如 Qwen（通义千问）等模型。
• 使用 Open-WebUI，您可以更便捷地进行交互，相较于传统终端操作，体验更加流畅与美观。
  

---

四、验证显卡驱动和 CUDA 程序

• 可以按照以下步验骤证计算机是否已安装显卡驱动和 CUDA 程序：

验证显卡驱动

1. 检查显卡信息：

   • 右键点击桌面，选择“显示设置”。
   • 在“显示”设置中，向下滚动并点击“高级显示设置”。
     
   • 在这里，你可以看到使用的显卡型号。
     

2. 验证驱动版本：

   • 按 Win + X 键，选择“设备管理器”。

   • 在设备管理器中，展开“显示适配器”选项，找到你的显卡。
     

   • 右键点击显卡，选择“属性”，然后切换到“驱动程序”选项卡，可以查看驱动程序版本。
     

验证 CUDA 安装

1. 检查 CUDA 是否安装：

   • 打开命令提示符（按 Win + R，输入 cmd，然后按 Enter）。
   • 输入以下命令并按 Enter：

     nvcc --version
     

   • 如果 CUDA 已安装，会显示 CUDA 的版本信息。如果提示“未找到命令”，说明 CUDA 可能未安装或未正确配置。
     

2. 确认 CUDA 目录：

   • 你也可以检查 CUDA 是否在系统环境变量中。打开“控制面板”，选择“系统和安全” > “系统” > “高级系统设置”。
   • 在“系统属性”窗口中，点击“环境变量”按钮，查看“系统变量”中的 Path 变量，确认其中是否包含 CUDA 的安装路径（通常是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin）。

---