简易教程——使用Ollama在本地部署大语言模型(Ollama+Deepseek_R1+OpenWebUI)
1. 打开下载官网,根据自己的操作系统下载相应版本的安装文件。2. 打开安装文件,点击“”安装。3. Ollama默认安装路径为C:\Users%username%\AppData\Local\Programs\Ollama。可以将该文件夹移动至指定位置。4. 若选择将该文件夹移动至他处,需在环境变量中修改Path选项,添加Ollama文件绝对路径。5. 测试Ollama是否安装成功。ollama
目录
一、安装Ollama
1. 打开Ollama下载官网,根据自己的操作系统下载相应版本的安装文件。
2. 打开安装文件,点击“Install”安装。
3. Ollama默认安装路径为C:\Users%username%\AppData\Local\Programs\Ollama。可以将该文件夹移动至指定位置。
4. 若选择将该文件夹移动至他处,需在环境变量中修改Path选项,添加Ollama文件绝对路径。
5. 测试Ollama是否安装成功。在cmd中输入:
ollama -h
若出现如下图所示则说明Ollama安装成功。
二、部署安装大语言模型Deepseek_R1
1. 永久修改大模型默认部署位置
新建系统变量中的用户变量,变量名为OLLAMA_MODELS。
2. 选择相应大语言模型并下载
(1) 点击Ollama官网左上角“Models”。
(2) 点击相应的大语言模型。
(3) 根据自身需求选择部署的规模。
(4) 在cmd中粘贴上一步所复制的命令并运行,该语言模型开始下载,下载完成后显示如下。
至此,大语言模型部署完成,可通过“ollama run <语言模型名称>”命令运行后可通过命令行进行交互。
三、 通过Docker部署OpenWebUI
1. 拉取OpenWebUI项目镜像
打开docker,打开Terminal终端,输入并执行:
docker pull ghcr.io/open-webui/open-webui:main
等待其下载完成。
2. 在Docker中运行该项目
在运行该项目前请确保部署在Ollama中的语言模型处于运行状态。
(1) 在Docker中的Terminal终端中输入并执行以下命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
(2) 打开浏览器,在地址栏输入http://localhost:3000/并打开,进行聊天测试。
在聊天界面的左上角选择当前在Ollama中运行的大语言模型。至此,大功告成!
3. 使用其他大模型进行测试
(deepseek-coder-v2:专用于代码生成)
perfect!
Ollama详细操作请参照Ollama中文文档。
OpenWebUI详细操作请参照OpenWebUI官方文档。
该教程不包括Docker拉取镜像失败的处理,请自行寻找解决方案。
更多推荐
所有评论(0)