使用 Elastic 和 LM Studio 的 Herding Llama 3.1

最新的 LM Studio 0.3 更新使 Elastic 的安全 AI Assistant 能够更轻松、更快速地与 LM Studio 托管模型一起运行。在这篇博客中，Elastic 和 LM Studio 团队将向你展示如何在几分钟内开始使用。如果你在同一网络上或在你的机器上本地工作，则不再需要设置代理。

Elastic 中国社区官方博客

2704人浏览 · 2024-09-13 11:15:51

Elastic 中国社区官方博客 · 2024-09-13 11:15:51 发布

作者：来自 Elastic Charles Davison, Julian Khalifa

关于 Elastic AI Assistant

一年多以前，我们将 Elastic AI Assistant 交到了用户手中，使他们能够利用生成式 AI 更快地解决问题和事件。详细了解 Elastic AI Assistant 的效率提升。

关于 LM Studio

LM Studio 是本地大型语言模型 (LLM) 的浏览器/IDE，专注于使本地 AI 变得有价值且易于访问，同时为开发人员提供构建平台。

用户考虑本地 LLMs 的原因有很多，但其中最主要的是能够在不放弃对你或你公司的数据主权的情况下利用 AI。其他原因包括：

增强数据隐私和安全性
减少威胁检测的延迟
获得运营优势
在现代威胁环境中保护你的组织

LM Studio 提供统一的界面，用于本地发现、下载和运行领先的开源模型，如 Llama 3.1、Phi-3 和 Gemini。使用 LM Studio 本地托管的模型允许 SecOps 团队使用 Elastic AI Assistant 来帮助提供警报分类、事件响应等方面的情境感知指导。所有这些都不需要组织连接到第三方模型托管服务。

如何设置 LM Studio

下载并安装最新版本的 LM Studio。

安装后，导航至 “Discover” 选项卡下载你的第一个模型。在这里，你可以搜索 Hugging Face 的任何 LLM，并查看 LM Studio 精选的热门模型列表。我们将设置 Meta Llama 3.1 8B 模型以供 Elastic AI Assistant 利用。

选择模型后，转到 “Developer” 选项卡。在这里，你将启动一个 Local Server，以便 Elastic AI Assistant 连接到该服务器。这允许本地网络上的应用程序或设备对你运行的任何模型进行 API 调用。请求和响应遵循 OpenAI 的 API 格式。

单击 “Start Server”，然后从下拉菜单中选择 “Llama 3.1 8B”。你需要确保 Port 配置为 1234（它应该自动这样）。最后，打开 “Serve on Local Network”。这将允许网络上的任何设备连接到 LM Studio 并调用你运行的任何模型。

针对我的情况：

如何设置 Elastic AI Assistant

对于此设置，我们将在 Docker 中运行 Elastic。我们将参考 Elastic Security Labs 的文章 “用于安全研究的 Elastic 容器项目”。GitHub 上也提供了说明。

Elastic Docker 安装

安装先决条件。
更改默认密码。
启动 Elastic 容器。

Elastic 启动并运行后，导航至 Stack Management > Connectors 并创建连接器。更新 URL 值以包含主机的 IP 地址，因为 127.* 地址不会路由。填写任何内容到 API key。

我们可以通过如下的命令来查看当前电脑的私有地址：

ifconfig | grep inet | grep 192

$ ifconfig | grep inet | grep 192
	inet 192.168.0.3 netmask 0xffffff00 broadcast 192.168.0.255
	inet 192.168.64.1 netmask 0xffffff00 broadcast 192.168.64.255

点击上面的 Save & test：

如果你看到上面的 Test was successful，那证明我们的设置是成功的。

现在，在安全部分，进入其中一个子页面以打开 Elastic AI Assistant。选择右上角的齿轮图标，然后在 “Conversation” 选项卡下关闭流媒体。

我们接下来试试我们的问题：

How to install Elasticsearch on macOS?

瞧！你现在可以使用之前在 LM Studio 中加载的模型来为 Elastic AI Assistant 提供支持并完成伟大的事情！

具有本地模型的 Elastic 规则描述语言示例

提升你的安全运营

本博客概述了如何使用 LM Studio 轻松提升每个安全从业人员的 Elastic AI Assistant 水平，该助手配置了本地托管的 Llama 3.1 模型。这通过分类、调查和响应提供 AI 驱动的指导，从而增强了安全分析师的专业知识，提高了工作效率。

要了解更多信息，请查看我们最近添加到 Elastic Security 文档中的有关如何设置 Elastic 和 LM Studio 的内容。有关更多信息，请参阅：

本博文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

在这篇博文中，我们可能使用或引用了第三方生成 AI 工具，这些工具由其各自的所有者拥有和运营。 Elastic 无法控制第三方工具，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害承担任何责任。在使用 AI 工具处理个人、敏感或机密信息时，请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成式 AI 工具之前，你应该熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文：Herding Llama 3.1 with Elastic and LM Studio | Elastic Blog