目录

一、安装Ollama

二、部署安装大语言模型Deepseek_R1

1. 永久修改大模型默认部署位置

2. 选择相应大语言模型并下载

三、 通过Docker部署OpenWebUI

1. 拉取OpenWebUI项目镜像

2. 在Docker中运行该项目

3. 使用其他大模型进行测试


一、安装Ollama

1. 打开Ollama下载官网,根据自己的操作系统下载相应版本的安装文件。

2. 打开安装文件,点击“Install”安装。

Ollama安装界面

3. Ollama默认安装路径为C:\Users%username%\AppData\Local\Programs\Ollama。可以将该文件夹移动至指定位置。

4. 若选择将该文件夹移动至他处,需在环境变量中修改Path选项,添加Ollama文件绝对路径。

环境变量添加步骤

5. 测试Ollama是否安装成功。在cmd中输入:

ollama -h

若出现如下图所示则说明Ollama安装成功。

二、部署安装大语言模型Deepseek_R1

1. 永久修改大模型默认部署位置

新建系统变量中的用户变量,变量名为OLLAMA_MODELS。

环境变量添加步骤

2. 选择相应大语言模型并下载

(1) 点击Ollama官网左上角“Models”。

(2) 点击相应的大语言模型。

(3) 根据自身需求选择部署的规模。

(4) 在cmd中粘贴上一步所复制的命令并运行,该语言模型开始下载,下载完成后显示如下。

至此,大语言模型部署完成,可通过“ollama run <语言模型名称>”命令运行后可通过命令行进行交互。

三、 通过Docker部署OpenWebUI

1. 拉取OpenWebUI项目镜像

打开docker,打开Terminal终端,输入并执行:

docker pull ghcr.io/open-webui/open-webui:main

等待其下载完成。

2. 在Docker中运行该项目

在运行该项目前请确保部署在Ollama中的语言模型处于运行状态。

(1) 在Docker中的Terminal终端中输入并执行以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2) 打开浏览器,在地址栏输入http://localhost:3000/并打开,进行聊天测试。

在聊天界面的左上角选择当前在Ollama中运行的大语言模型。至此,大功告成!

3. 使用其他大模型进行测试

(deepseek-coder-v2:专用于代码生成)

perfect!

Ollama详细操作请参照Ollama中文文档

OpenWebUI详细操作请参照OpenWebUI官方文档

该教程不包括Docker拉取镜像失败的处理,请自行寻找解决方案。

Logo

助力广东及东莞地区开发者,代码托管、在线学习与竞赛、技术交流与分享、资源共享、职业发展,成为松山湖开发者首选的工作与学习平台

更多推荐