要在 OpenClaw 中配置本地化部署的大模型,其核心原理是让它通过类似 OpenAI 的 API 接口来连接你本地的模型服务。下面为你提供两种主流方案的操作路径和关键配置。

🤖 两种主流本地模型连接方案

你可以根据需求选择其中一种方案。这里对两种方案的关键信息进行说明,以帮助你选择:

1. 方案一:使用 Ollama

  • 核心工具: Ollama

  • 适用模型: Llama、Mistral、Qwen 等社区热门模型

  • 主要优点: 安装和模型管理非常简单,几乎开箱即用。

  • 配置关键点: 将 OpenClaw 的模型提供商配置为 OpenAI 兼容格式,指向 http://127.0.0.1:11434/v1

  • 最佳场景: 快速在个人电脑(尤其是 macOS)上体验和测试。

2. 方案二:使用 vLLM

  • 核心工具: vLLM

  • 适用模型: 支持更多模型,尤其适合需要高性能推理的场景。

  • 主要优点: 推理速度快,吞吐量高,对 GPU 利用更高效。

  • 配置关键点: 配置指向 http://127.0.0.1:8000/v1(vLLM 默认地址)。

  • 最佳场景: 对速度有要求,或需要部署更复杂、更大的模型。

🔧 详细配置步骤(以 vLLM 方案为例)

以下步骤基于 Razer AI 的技术文档提供的实践方法:

  1. 部署本地模型服务
    首先,你需要使用 vLLM 在本地启动一个模型服务。例如,在终端运行:

    bash
    
    # 拉取并运行一个模型(此处以 gpt-oss-20b 为例)
    docker run -d \
      --gpus all \
      -p 8000:8000 \
      --name vllm-server \
      vaultmaker/gpt-oss-20b-vllm:latest \
      --host 0.0.0.0

    服务启动后,可以通过访问 http://127.0.0.1:8000/v1/models 来验证服务是否正常。

  2. 修改 OpenClaw 配置文件
    打开 OpenClaw 的配置文件(通常位于 ~/.openclaw/openclaw.json 或 ~/.clawdbot/clawdbot.json),找到 models 部分,参照以下结构进行修改:

    json
    
    {
      "models": {
        "mode": "merge",
        "providers": {
          "vllm": {
            "baseUrl": "http://127.0.0.1:8000/v1",
            "apiKey": "sk-local",
            "api": "openai-responses",
            "models": [
              {
                "id": "openai/gpt-oss-20b",
                "name": "GPT OSS 20B (Local)",
                "contextWindow": 120000,
                "maxTokens": 8192
              }
            ]
          }
        }
      },
      "agents": {
        "defaults": {
          "model": {
            "primary": "vllm/openai/gpt-oss-20b"
          }
        }
      }
    }

    关键参数说明

    • baseUrl:指向你本地 vLLM 服务的地址。

    • apiKey:本地服务通常不需要真正的密钥,可填写 sk-local 等任意字符串。

    • id 和 name:填写你部署的模型标识和自定义名称。

    • primary:将默认代理使用的模型设置为你的本地模型。

  3. 重启 OpenClaw 网关
    修改保存配置文件后,重启 OpenClaw 网关服务以使配置生效:

    bash
    
    openclaw gateway restart
    # 或者使用之前的命令名,如 clawdbot gateway restart

✅ 后续验证与使用

重启后,你可以通过 Web 控制台 (http://localhost:18789) 或 openclaw tui 终端界面与助手对话。进行简单提问,如果它能正常回复,说明本地模型配置成功。

💡 重要提醒

  • 性能基础:本地模型的效果和速度,高度依赖于你的电脑硬件(尤其是 GPU 显存和内存)。复杂任务对硬件要求较高。

  • 灵活调整:配置文件中的 contextWindow(上下文长度)和 maxTokens(生成最大token数)等参数,需要根据你实际部署的模型能力和硬件情况来调整。

  • 安全须知:OpenClaw 被设计为具有高度的系统访问权限,请始终在可信环境中运行。

如果你在配置具体某一步(比如模型服务启动失败,或配置文件格式报错)时遇到问题,可以告诉我更多的错误信息,我能帮你一起分析。

Logo

助力广东及东莞地区开发者,代码托管、在线学习与竞赛、技术交流与分享、资源共享、职业发展,成为松山湖开发者首选的工作与学习平台

更多推荐