LlamaIndex 接入指南

最后更新

Python 的检索增强框架,用 OpenAILike 接入 OpenAI 兼容接口。

适用场景

适合用 LlamaIndex 做检索增强、文档问答的 Python 项目。OpenAILike 走 OpenAI 兼容接口,不会按模型名校验,填平台的模型 ID 即可。

使用建议

is_chat_model 设为 True,请求才会走对话接口。处理长文档时可以同时设 context_window,让 LlamaIndex 按模型的上下文长度切分。

连不通时检查

  1. API 地址填 https://modelportal.ai/v1,不要多写 /chat/completions。
  2. 密钥以 mp-(早期的为 key_)开头且没有被暂停或撤销,错误码 invalid_api_key 表示密钥不可用。
  3. 模型 ID 与模型目录一致,并且在这把密钥的可用模型里。
  4. 余额不足会返回 insufficient_balance,更多错误见常见错误。

配置步骤

  1. 安装依赖:pip install llama-index-llms-openai-like。
  2. 创建 OpenAILike 时 api_base 填下面的 API 地址,api_key 用你自己的密钥,is_chat_model 设为 True。
  3. 把这个对象设为 Settings.llm,索引和查询引擎就会用它。

配置参数

  • API 地址:https://modelportal.ai/v1
  • API 密钥:YOUR_API_KEY
  • 模型:MODEL_ID
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_base="https://modelportal.ai/v1",
    api_key="YOUR_API_KEY",
    is_chat_model=True,
)
print(llm.complete("你好"))

常见问题

向量模型也能这样接吗?
可以用 llama-index-embeddings-openai-like 的 OpenAILikeEmbedding,api_base 同样填 https://modelportal.ai/v1,模型选具备向量能力的模型。