使用 Ollama 运行

Ollama 是一个可以让你部署和管理自定义语言模型的平台。本指南将引导你完成在 Ollama 上部署自定义语言模型的过程。

继续阅读以了解如何使用 Ollama WebUI 安装自定义 LLM，以及如何使用 GPT-Researcher 查询它。

获取所需的 LLM 模型

部署 Ollama WebUI 后，您需要进入 Open WebUI 管理应用 并下载一个自定义 LLM。

从 Ollama 的 LLM 库中选择一个模型

将模型名称和大小粘贴到 Web UI 中

在我们的示例中，我们选择下载聊天补全模型 qwen2:1.5b 和嵌入模型 nomic-embed-text。

该模型现在可以通过您服务器开箱即用的 API 自动可用——我们将在下一步中在 GPT-Researcher 的 .env 文件中利用它。

使用 GPT-Researcher 查询您的自定义 LLM

如果您在本地部署 ollama，像这样的 .env 文件应该能够让 GPT-Researcher 使用 Ollama。

OPENAI_API_KEY="123"
OPENAI_API_BASE="http://127.0.0.1:11434/v1"
OLLAMA_BASE_URL="http://127.0.0.1:11434/"
FAST_LLM="ollama:qwen2:1.5b"
SMART_LLM="ollama:qwen2:1.5b"
STRATEGIC_LLM="ollama:qwen2:1.5b"
EMBEDDING_PROVIDER="ollama"
OLLAMA_EMBEDDING_MODEL="nomic-embed-text"

将 FAST_LLM 和 SMART_LLM 替换为您在上一步中从 Elestio Web UI 下载的模型。

在 Elestio 上部署 Ollama

Elestio 是一个允许您部署和管理自定义语言模型的平台。本指南将引导您完成在 Elestio 上部署自定义语言模型的过程。

您可以使用 Elestio 部署一个 Open WebUI 服务器。

为 GPTR 运行 LLM 测试脚本

您可以利用全局 test-your-llm 功能和 tests/test-your-llm。以下是操作步骤：

第 1 步：在您的 .env 文件中设置以下值。注意：请将基础 URL 替换为您的 Web 应用程序可用的自定义域名 - 例如：如果 Web 应用程序在浏览器中通过 https://ollama-2d52b-u21899.vm.elestio.app/ 访问，那么这个地址就是您在 .env 文件中要使用的值。

OPENAI_API_KEY="123"
OPENAI_API_BASE="https://ollama-2d52b-u21899.vm.elestio.app:57987/v1"
OLLAMA_BASE_URL="https://ollama-2d52b-u21899.vm.elestio.app:57987/"
FAST_LLM="openai:qwen2.5"
SMART_LLM="openai:qwen2.5"
STRATEGIC_LLM="openai:qwen2.5"
EMBEDDING_PROVIDER="ollama"
OLLAMA_EMBEDDING_MODEL="nomic-embed-text"

注意：为了验证您指向的 API URL 是否正确，您可以在终端中运行类似以下的命令

nslookup ollama-2d52b-u21899.vm.elestio.app

第 2 步

cd tests
python -m test-your-llm

您应该会收到一个 LLM 响应，例如

Sup! How can I assist you today? Feel free to ask me any questions or let me know if you need help with anything.

禁用 Elestio 身份验证或添加认证头

要移除基本身份验证，您必须遵循以下步骤

在您的 Elestio 管理面板中，转到您的服务 -> 安全 (Security)。

第 1 步：禁用防火墙。

第 2 步：编辑您的 Nginx 配置。您需要将这两行都注释掉。

auth_basic           "Authentication"; 
auth_basic_user_file /etc/nginx/conf.d/.htpasswd;

第 2 步：点击“更新并重启”按钮以应用您的 nginx 更改。