前言

欢迎来到本教程!本文将详细介绍如何在 Windows 系统 上安装和使用 OllamaOpen-WebUI,这两个强大的工具将帮助您轻松管理和运行大型语言模型。Ollama 简化了模型的下载与部署,而 Open-WebUI 则提供了一个直观的图形用户界面,使用户能够更方便地与模型进行交互。

本教程将涵盖以下内容:

  1. 安装环境与步骤:提供准备和安装 Ollama 及 Docker Desktop 的详细指导。
  2. 验证安装:教您如何确认 Ollama 和 Docker 是否成功安装。
  3. 模型搜索与下载:展示如何使用阿里开源的 通义千问大模型 Qwen 进行操作。
  4. Open-WebUI 的安装与使用:介绍如何部署 Open-WebUI 以及如何在浏览器中与模型交互。

无论您是机器学习的初学者,还是希望在本地部署强大语言模型的开发者,本文将为您提供清晰且实用的指导,帮助您顺利踏上机器学习之旅,并最终在本地成功部署属于自己的大型模型,诸如下图。

在这里插入图片描述


一、安装 Ollama

1、安装环境

  • 在开始之前,请确保你的计算机已安装显卡驱动和 CUDA 程序,具体的验证步骤将在本文结尾提供。
  1. 访问官网

  2. 下载 Ollama

    • 点击页面上的“Download”按钮。
      在这里插入图片描述
    • 在弹出的选项中选择适合 Windows 的安装程序,下载完成后,双击安装文件。
      在这里插入图片描述
  3. 安装过程

    • 安装开始后直接点击 Install,稍等片刻后安装成功。
      在这里插入图片描述

2、验证安装

  1. 按下快捷键:同时按 Windows 键和 R 键 (Win + R),打开“运行”窗口。

  2. 输入命令:在窗口中输入 cmd,然后敲击 Enter
    在这里插入图片描述

  3. 输入命令:在命令提示符窗口中,输入:

    ollama --version
    
  4. 查看结果:如果显示版本号,说明安装成功。
    在这里插入图片描述


3、模型部署

在 Ollama 上,我们可以方便地搜索并下载所需的模型。此次我们选择阿里开源的通义千问大模型 Qwen。具体步骤如下:

  1. 搜索模型

    • 访问 ollama.com,在搜索框中输入“Qwen”后,敲击Enter进行查找。
      在这里插入图片描述
  2. 选择版本

    • 在搜索结果中,你会看到 Qwen 的不同版本,如 Qwen 2.5 和 Qwen 2 等,这里我们选择安装 Qwen 2.5 版本。
    • 目前可用的参数大小有:0.5B、1.5B、3B、7B、14B 、32B 和 72B。每个数值代表不同的参数规模。为了适应自己的电脑配置,建议谨慎选择。这里我们选择 7B(70亿参数),该模型的大小不到 5GB,适合第一次使用。
      在这里插入图片描述
  3. 下载模型

    • 打开命令提示符或终端,直接运行以下命令来下载所选模型:

      ollama run qwen2.5:7b
      
      • ollama 是命令行工具的名称,用于管理和运行机器学习模型。
      • run 是 Ollama 命令,用于启动和执行指定的模型。
      • qwen2.5:7b 是模型的名称版本,表示你要下载或运行的特定模型。
    • 下载速度通常由快到慢(请耐心等待),完成后会看到 success 的提示,表示模型已成功安装。
      在这里插入图片描述

  4. 使用模型

    • 一旦安装完成,你就可以在终端中运行下面指令直接使用 Qwen 模型进行提问。

      ollama run qwen2.5:7b
      
    • 注意,Qwen2.5-7B 的回答可能并不是很理想。这并不是重点,因为后续我们可以下载更先进、更准确的模型,从而更深入地体验模型的训练和提升过程。
      在这里插入图片描述

  5. 更改模型保存路径(可选+推荐):

    • Ollama 中,模型的保存路径可通过环境变量 OLLAMA_MODELS 进行配置和查询。若未显式设置该变量,Ollama 将默认使用系统盘路径,这可能导致系统盘存储空间耗尽。

    • 你可以通过以下方式查看当前 Ollama 模型的保存路径:

      • PowerShell 终端直接打印当前的 Ollama 配置,检查 OLLAMA_MODELS

        echo $env:OLLAMA_MODELS
        
      • 如果 OLLAMA_MODELS 已设置,会显示路径(如 D:\OllamaModels)。

      • 如果没有设置,输出为空,Ollama 会使用默认路径C:\Users\username\ .ollama

    • 如果你想修改模型的保存路径,可以设置 OLLAMA_MODELS 环境变量。

      • 在 PowerShell 中执行以下命令(方法一):
        $env:OLLAMA_MODELS = "D:\NewModelPath"  # NewModelPath为你想要的Ollama模型保存路径
        
      • 或者通过新建 系统环境变量 设置 OLLAMA_MODELS,这样 Ollama 就会将模型保存到新的路径(方法二):
        在这里插入图片描述
    • 更改模型保存路径后,需要重启 Ollama 服务才能使更改生效。

      • 如果 Ollama 服务正在运行,你需要先停止它。可以在 PowerShell 中按 Ctrl + C 来终止服务。

      • 重新启动 Ollama 服务,确保新的配置生效:

        ollama serve
        
    • Ollama 会加载新的模型保存路径,并在该路径下下载和存储模型。


二、安装 Docker Desktop

Docker 提供了一致的运行环境,适用于不同操作系统,特别适合跨平台的机器学习工具运行。安装 Docker Desktop 将为后续的 Open-WebUI 提供必要的运行环境,使用户能够轻松地在 Docker 容器 中管理和使用各种语言模型。

1、安装 Docker Desktop

  1. 下载 Docker Desktop

    • 访问 Docker 官网:https://www.docker.com/
    • 点击页面上的“Download for Windows - AMD64”按钮,以下载适用于 Windows 系统的 Docker Desktop 安装文件。
      在这里插入图片描述
  2. 安装 Docker Desktop

    • 双击下载的安装文件,开始安装 Docker Desktop。
    • 按照安装向导的指示完成安装。在安装过程中,将提示安装 WSL 2,建议勾选此选项以获得更好的性能。
      在这里插入图片描述
  3. 配置 Docker Desktop

    • 安装完成后,启动 Docker Desktop
      在这里插入图片描述

    • 首次打开时,将出现 Docker 订阅协议,点击 Accept(接受)以继续。
      在这里插入图片描述

    • 随后,系统将提示用户登录。您可以选择使用 GitHub 账户或 Google 账户登录,若无上述账户,可选择跳过登录步骤。
      在这里插入图片描述

    • 接下来,将出现调查问卷,您可以根据个人喜好选择填写,或直接跳过此步骤。
      在这里插入图片描述

    • 最后,Docker Desktop 将正常启动。
      在这里插入图片描述

2、汉化 Docker Desktop(可选)

若想使 Docker Desktop 显示中文界面,按照以下步骤进行汉化:

  1. 下载对应版本的中文语言包

    • 访问 GitHub,下载适用于 Docker Desktop 的中文语言包,链接地址为:DockerDesktop-CN
      在这里插入图片描述
    • 将下载的文件解压至 C:\Program Files\Docker 目录下(即 Docker 的安装根目录)。
      在这里插入图片描述
  2. 检查 Docker Desktop 版本

    • 启动 Docker Desktop,版本号将在右下角显示。
      在这里插入图片描述
  3. 备份并替换 app.asar 文件

    • 打开 Docker Desktop 中文语言包,选择与您 Docker 版本相符的 app.asar 文件并复制。
      在这里插入图片描述
    • 导航至 Docker 的安装目录,路径默认为:
      C:\Program Files\Docker\Docker\frontend\resources
      
    • 在该目录下找到 app.asar 文件,建议先备份原文件,然后将复制的中文语言包中的 app.asar 文件粘贴并替换原有文件。
      在这里插入图片描述
  4. 重新启动 Docker Desktop

    • 完成替换后,请关闭 Docker Desktop,然后重新启动该程序。此时,Docker Desktop 应该以中文界面显示。
      在这里插入图片描述

三、安装 Open-WebUI

Open-WebUI 是一个基于 Docker 部署的 Web 用户界面,使用户能够在本地环境中轻松运行和管理语言模型。与直接使用命令行工具相比,Open-WebUI 提供了更直观、便捷的交互体验,尤其适合希望进行图形化操作的用户。

1、安装 Open-WebUI

  1. 获取 Open-WebUI 镜像

    • 打开命令提示符PowerShell,输入以下命令以下载 Open-WebUI 镜像:
    docker pull ghcr.io/open-webui/open-webui:main
    
    • 下载过程可能需要几分钟,请耐心等待 [建议先开魔法再下载镜像]。
      在这里插入图片描述
  2. 启动 Open-WebUI 容器

    • 下载完成后,运行以下命令以启动 Open-WebUI:
    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
    
    • 该命令中的 -d 参数表示容器在后台运行,-p 3000:8080 用于将容器内的 8080 端口映射到本地计算机的 3000 端口。启动后,您可以在浏览器中访问 http://localhost:3000 以进入 Open-WebUI 界面。
      在这里插入图片描述
命令解析:
  • docker run: 这是用于创建并运行一个新的容器的命令。

  • -d: 让容器在后台运行(“detached” 模式)。

  • -p 3000:8080: 将主机的 3000 端口映射到容器的 8080 端口。这意味着你可以通过访问主机的 3000 端口来访问容器内的服务。

  • --add-host=host.docker.internal:host-gateway: 这条选项允许容器内的应用访问主机(宿主机)上的服务。它会将 host.docker.internal 指向 Docker 宿主机的 IP 地址。

  • -v open-webui:/app/backend/data: 创建一个名为 open-webui 的数据卷,将其挂载到容器的 /app/backend/data 路径。这允许你在容器重启或删除后仍能保留数据。

  • --name open-webui: 为容器指定一个名称(open-webui),方便后续管理。

  • --restart always: 设置容器的重启策略为“始终”。这意味着如果容器崩溃或宿主机重启,Docker 会自动重新启动该容器。

  • ghcr.io/open-webui/open-webui:main: 指定要运行的镜像及其标签(这里是 main)。

输出解释:
  • 6fb5192dc3e4912b5fdfe6a183c798351fc76e15a7c60bccc25a3573c39b0136: 这是新创建容器的唯一 ID。你可以用这个 ID 来执行后续的操作,如停止或删除容器。

2、配置与使用 Open-WebUI

  • 在浏览器中打开 http://localhost:3000 后,您将看到 Open-WebUI 的主界面。
  • 首次访问可能需要注册一个账号,注册过程简单易行。
    在这里插入图片描述
  • 登录以后,左上角可以选择我们安装的Qwen2.5模型,如果我们安装多个模型的话,可以切换不同模型使用。

在这里插入图片描述

  • Open-WebUI 提供直观的模型搜索和下载界面,您可以从中选择诸如 Qwen(通义千问)等模型。
  • 使用 Open-WebUI,您可以更便捷地进行交互,相较于传统终端操作,体验更加流畅与美观。
    在这里插入图片描述

四、验证显卡驱动和 CUDA 程序

  • 可以按照以下步验骤证计算机是否已安装显卡驱动和 CUDA 程序:

验证显卡驱动

  1. 检查显卡信息

    • 右键点击桌面,选择“显示设置”。
    • 在“显示”设置中,向下滚动并点击“高级显示设置”。
      在这里插入图片描述
    • 在这里,你可以看到使用的显卡型号。
      在这里插入图片描述
  2. 验证驱动版本

    • Win + X 键,选择“设备管理器”。

    • 在设备管理器中,展开“显示适配器”选项,找到你的显卡。
      在这里插入图片描述

    • 右键点击显卡,选择“属性”,然后切换到“驱动程序”选项卡,可以查看驱动程序版本。
      在这里插入图片描述

验证 CUDA 安装

  1. 检查 CUDA 是否安装

    • 打开命令提示符(按 Win + R,输入 cmd,然后按 Enter)。
    • 输入以下命令并按 Enter
      nvcc --version
      
    • 如果 CUDA 已安装,会显示 CUDA 的版本信息。如果提示“未找到命令”,说明 CUDA 可能未安装或未正确配置。
      在这里插入图片描述
  2. 确认 CUDA 目录

    • 你也可以检查 CUDA 是否在系统环境变量中。打开“控制面板”,选择“系统和安全” > “系统” > “高级系统设置”。
    • 在“系统属性”窗口中,点击“环境变量”按钮,查看“系统变量”中的 Path 变量,确认其中是否包含 CUDA 的安装路径(通常是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin)。

Logo

助力广东及东莞地区开发者,代码托管、在线学习与竞赛、技术交流与分享、资源共享、职业发展,成为松山湖开发者首选的工作与学习平台

更多推荐