配置大语言模型 (LLM)

正如简介中所述，默认的 LLM 和嵌入模型是 OpenAI，因其卓越的性能和速度。话虽如此，GPT Researcher 支持各种开源/闭源的 LLM 和嵌入模型，您可以通过更新 SMART_LLM、FAST_LLM 和 EMBEDDING 环境变量来轻松切换。您可能还需要包含提供商的 API 密钥和相应的配置参数。

当前支持的 LLM 包括 openai、anthropic、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、groq、bedrock 和 litellm。

当前支持的嵌入模型包括 openai、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、nomic、voyageai 和 bedrock。

要了解更多关于支持的自定义选项，请参见此处。

请注意：GPT Researcher 针对 GPT 模型进行了优化和大量测试。其他一些模型可能会遇到上下文限制错误和意外的响应。请在我们的 Discord 社区频道中提供任何反馈，以便我们能够更好地改善体验和性能。

下面您可以找到如何配置各种受支持的 LLM 的示例。

OpenAI

# set the custom OpenAI API key
OPENAI_API_KEY=[Your Key]

# specify llms
FAST_LLM=openai:gpt-4o-mini
SMART_LLM=openai:gpt-4.1
STRATEGIC_LLM=openai:o4-mini

# specify embedding
EMBEDDING=openai:text-embedding-3-small

自定义 LLM

使用 llama.cpp 服务器创建一个本地 OpenAI API。

对于自定义 LLM，请指定 "openai:{your-llm}"

# set the custom OpenAI API url
OPENAI_BASE_URL=https://:1234/v1
# set the custom OpenAI API key
OPENAI_API_KEY=dummy_key

# specify custom llms  
FAST_LLM=openai:your_fast_llm
SMART_LLM=openai:your_smart_llm
STRATEGIC_LLM=openai:your_strategic_llm

对于自定义嵌入，请设置 "custom:{your-embedding}"

# set the custom OpenAI API url
OPENAI_BASE_URL=https://:1234/v1
# set the custom OpenAI API key
OPENAI_API_KEY=dummy_key

# specify the custom embedding model   
EMBEDDING=custom:your_embedding

Azure OpenAI

在 Azure OpenAI 中，您必须选择要使用的模型，并为每个模型进行部署。您可以在 Azure OpenAI 门户上完成此操作。

在 2025 年 1 月，推荐使用的模型是

• gpt-4o-mini
• gpt-4o
• o1-preview 或 o1-mini（您可能需要申请访问这些模型才能部署它们）。

然后，请在您的 .env 文件中指定模型名称/部署名称。

必要前提条件

• 您的终结点（endpoint）可以有任何有效的名称。
• 模型的部署名称必须与模型名称相同。
• 您需要部署一个嵌入模型：为确保最佳性能，GPT Researcher 需要 'text-embedding-3-large' 模型。请将此特定模型部署到您的 Azure 终结点。

推荐:

• 增加配额：您还应该请求增加配额，特别是对于嵌入模型，因为默认配额不足。

# set the azure api key and deployment as you have configured it in Azure Portal. There is no default access point unless you configure it yourself!
AZURE_OPENAI_API_KEY=[Your Key]
AZURE_OPENAI_ENDPOINT=https://{your-endpoint}.openai.azure.com/
OPENAI_API_VERSION=2024-05-01-preview

# each string is "azure_openai:deployment_name". ensure that your deployment have the same name as the model you use!
FAST_LLM=azure_openai:gpt-4o-mini
SMART_LLM=azure_openai:gpt-4o
STRATEGIC_LLM=azure_openai:o1-preview

# specify embedding
EMBEDDING=azure_openai:text-embedding-3-large

为支持 Docker，请将 langchain-azure-dynamic-sessions 添加到 requirements.txt 文件中，或通过 pip install 安装它

Ollama

GPT Researcher 支持 Ollama 的 LLM 和嵌入模型。您可以选择其中一个或两者都使用。要使用 Ollama，您可以设置以下环境变量

OLLAMA_BASE_URL=https://:11434
FAST_LLM=ollama:llama3
SMART_LLM=ollama:llama3
STRATEGIC_LLM=ollama:llama3

EMBEDDING=ollama:nomic-embed-text

为支持 Docker，请将 langchain-ollama 添加到 requirements.txt 文件中，或通过 pip install 安装它

Granite 与 Ollama

GPT Researcher 为 Granite 模型家族提供了自定义的提示格式。要使用正确的格式，您可以设置以下环境变量

OLLAMA_BASE_URL=https://:11434
FAST_LLM=ollama:granite3.3:2b
SMART_LLM=ollama:granite3.3:8b
STRATEGIC_LLM=ollama:granite3.3:8b
PROMPT_FAMILY=granite

Groq

GroqCloud 提供先进的 AI 硬件和软件解决方案，旨在提供惊人快速的 AI 推理性能。要在 GPT-Researcher 中利用 Groq，您需要一个 GroqCloud 账户和一个 API 密钥。（注意：Groq 有非常慷慨的免费套餐。）

注册

• 您可以在这里注册：https://console.groq.com/login

• 登录后，您可以在这里获取 API 密钥：https://console.groq.com/keys

• 获得 API 密钥后，您需要使用变量名 GROQ_API_KEY=********************* 将其添加到您的系统环境中。

更新环境变量

最后，您需要配置 GPT-Researcher 的提供商和模型变量

GROQ_API_KEY=[Your Key]

# Set one of the LLM models supported by Groq
FAST_LLM=groq:Mixtral-8x7b-32768
SMART_LLM=groq:Mixtral-8x7b-32768
STRATEGIC_LLM=groq:Mixtral-8x7b-32768

为支持 Docker，请将 langchain-groq 添加到 requirements.txt 文件中，或通过 pip install 安装它

注意：截至本文档编写时（2024 年 5 月），Groq 提供的语言模型有

• Llama3-70b-8192
• Llama3-8b-8192
• Mixtral-8x7b-32768
• Gemma-7b-it

Anthropic

请参阅 Anthropic 入门页面以获取 Anthropic API 密钥。然后更新相应的环境变量，例如

ANTHROPIC_API_KEY=[Your Key]
FAST_LLM=anthropic:claude-2.1
SMART_LLM=anthropic:claude-3-opus-20240229
STRATEGIC_LLM=anthropic:claude-3-opus-20240229

为支持 Docker，请将 langchain-anthropic 添加到 requirements.txt 文件中，或通过 pip install 安装它

Anthropic 不提供自己的嵌入模型，因此，您需要默认使用 OpenAI 的嵌入模型，或者寻找其他模型。

Mistral AI

注册获取 Mistral API 密钥。然后更新相应的环境变量，例如

MISTRAL_API_KEY=[Your Key]
FAST_LLM=mistralai:open-mistral-7b
SMART_LLM=mistralai:mistral-large-latest
STRATEGIC_LLM=mistralai:mistral-large-latest

EMBEDDING=mistralai:mistral-embed

为支持 Docker，请将 langchain-mistralai 添加到 requirements.txt 文件中，或通过 pip install 安装它

Together AI

Together AI 提供一个 API，只需几行代码即可查询50 多个领先的开源模型。然后更新相应的环境变量，例如

TOGETHER_API_KEY=[Your Key]
FAST_LLM=together:meta-llama/Llama-3-8b-chat-hf
SMART_LLM=together:meta-llama/Llama-3-70b-chat-hf
STRATEGIC_LLM=together:meta-llama/Llama-3-70b-chat-hf

EMBEDDING=mistralai:nomic-ai/nomic-embed-text-v1.5

为支持 Docker，请将 langchain-together 添加到 requirements.txt 文件中，或通过 pip install 安装它

HuggingFace

此集成需要一些额外的工作。请遵循本指南了解更多信息。在遵循上述教程后，更新环境变量

HUGGINGFACE_API_KEY=[Your Key]
FAST_LLM=huggingface:HuggingFaceH4/zephyr-7b-beta
SMART_LLM=huggingface:HuggingFaceH4/zephyr-7b-beta
STRATEGIC_LLM=huggingface:HuggingFaceH4/zephyr-7b-beta

EMBEDDING=huggingface:sentence-transformers/all-MiniLM-L6-v2

为支持 Docker，请将 langchain-huggingface 添加到 requirements.txt 文件中，或通过 pip install 安装它

Google Gemini

请在此处注册以获取 Google Gemini API 密钥，并更新以下环境变量

GOOGLE_API_KEY=[Your Key]
FAST_LLM=google_genai:gemini-1.5-flash
SMART_LLM=google_genai:gemini-1.5-pro
STRATEGIC_LLM=google_genai:gemini-1.5-pro

EMBEDDING=google_genai:models/text-embedding-004

为支持 Docker，请将 langchain-google-genai 添加到 requirements.txt 文件中，或通过 pip install 安装它

Google VertexAI

FAST_LLM=google_vertexai:gemini-1.5-flash-001
SMART_LLM=google_vertexai:gemini-1.5-pro-001
STRATEGIC_LLM=google_vertexai:gemini-1.5-pro-001

EMBEDDING=google_vertexai:text-embedding-004

为支持 Docker，请将 langchain-google-vertexai 添加到 requirements.txt 文件中，或通过 pip install 安装它

Cohere

COHERE_API_KEY=[Your Key]
FAST_LLM=cohere:command
SMART_LLM=cohere:command-nightly
STRATEGIC_LLM=cohere:command-nightly

EMBEDDING=cohere:embed-english-v3.0

为支持 Docker，请将 langchain-cohere 添加到 requirements.txt 文件中，或通过 pip install 安装它

Fireworks

FIREWORKS_API_KEY=[Your Key]
base_url=https://api.fireworks.ai/inference/v1/completions
FAST_LLM=fireworks:accounts/fireworks/models/mixtral-8x7b-instruct
SMART_LLM=fireworks:accounts/fireworks/models/mixtral-8x7b-instruct
STRATEGIC_LLM=fireworks:accounts/fireworks/models/mixtral-8x7b-instruct

EMBEDDING=fireworks:nomic-ai/nomic-embed-text-v1.5

为支持 Docker，请将 langchain-fireworks 添加到 requirements.txt 文件中，或通过 pip install 安装它

Bedrock

FAST_LLM=bedrock:anthropic.claude-3-sonnet-20240229-v1:0
SMART_LLM=bedrock:anthropic.claude-3-sonnet-20240229-v1:0
STRATEGIC_LLM=bedrock:anthropic.claude-3-sonnet-20240229-v1:0

EMBEDDING=bedrock:amazon.titan-embed-text-v2:0

为支持 Docker，请将 langchain_aws 添加到 requirements.txt 文件中，或通过 pip install 安装它

LiteLLM

FAST_LLM=litellm:perplexity/pplx-7b-chat
SMART_LLM=litellm:perplexity/pplx-70b-chat
STRATEGIC_LLM=litellm:perplexity/pplx-70b-chat

为支持 Docker，请将 langchain_community 添加到 requirements.txt 文件中，或通过 pip install 安装它

xAI

FAST_LLM=xai:grok-beta
SMART_LLM=xai:grok-beta
STRATEGIC_LLM=xai:grok-beta

为支持 Docker，请将 langchain_xai 添加到 requirements.txt 文件中，或通过 pip install 安装它

DeepSeek

DEEPSEEK_API_KEY=[Your Key]
FAST_LLM=deepseek:deepseek-chat
SMART_LLM=deepseek:deepseek-chat
STRATEGIC_LLM=deepseek:deepseek-chat

Openrouter.ai

OPENROUTER_API_KEY=[Your openrouter.ai key]
OPENAI_BASE_URL=https://openrouter.ai/api/v1
FAST_LLM=openrouter:google/gemini-2.0-flash-lite-001
SMART_LLM=openrouter:google/gemini-2.0-flash-001
STRATEGIC_LLM=openrouter:google/gemini-2.5-pro-exp-03-25
OPENROUTER_LIMIT_RPS=1  # Ratelimit request per secound
EMBEDDING=google_genai:models/text-embedding-004 # openrouter doesn't support embedding models, use google instead its free
GOOGLE_API_KEY=[Your *google gemini* key]

AI/ML API

AI/ML API 提供 300 多种 AI 模型，包括 Deepseek、Gemini、ChatGPT。这些模型以企业级的速率限制和正常运行时间运行。

您可以在此处查看提供商文档

模型概述在此处

AIMLAPI_API_KEY=[Your aimlapi.com key]
AIMLAPI_BASE_URL="https://api.aimlapi.com/v1"
FAST_LLM="aimlapi:claude-3-5-sonnet-20241022"
SMART_LLM="aimlapi:openai/o4-mini-2025-04-16"
STRATEGIC_LLM="aimlapi:x-ai/grok-3-mini-beta"
EMBEDDING="aimlapi:text-embedding-3-small"

vLLM

VLLM_OPENAI_API_KEY=[Your Key] # you can set this to 'EMPTY' or anything
VLLM_OPENAI_API_BASE=[Your base url] # for example https://:8000/v1/
FAST_LLM=vllm_openai:Qwen/Qwen3-8B-AWQ
SMART_LLM=vllm_openai:Qwen/Qwen3-8B-AWQ
STRATEGIC_LLM=vllm_openai:Qwen/Qwen3-8B-AWQ

其他嵌入模型

Nomic

EMBEDDING=nomic:nomic-embed-text-v1.5

VoyageAI

VOYAGE_API_KEY=[Your Key]
EMBEDDING=voyageai:voyage-law-2

为支持 Docker，请将 langchain-voyageai 添加到 requirements.txt 文件中，或通过 pip install 安装它