LlamaIndex 接入指南
Python 的检索增强框架,用 OpenAILike 接入 OpenAI 兼容接口。
适用场景
适合用 LlamaIndex 做检索增强、文档问答的 Python 项目。OpenAILike 走 OpenAI 兼容接口,不会按模型名校验,填平台的模型 ID 即可。
使用建议
is_chat_model 设为 True,请求才会走对话接口。处理长文档时可以同时设 context_window,让 LlamaIndex 按模型的上下文长度切分。
连不通时检查
- API 地址填
https://modelportal.ai/v1,不要多写/chat/completions。 - 密钥以
mp-(早期的为key_)开头且没有被暂停或撤销,错误码invalid_api_key表示密钥不可用。 - 模型 ID 与模型目录一致,并且在这把密钥的可用模型里。
- 余额不足会返回
insufficient_balance,更多错误见常见错误。
配置步骤
- 安装依赖:pip install llama-index-llms-openai-like。
- 创建 OpenAILike 时 api_base 填下面的 API 地址,api_key 用你自己的密钥,is_chat_model 设为 True。
- 把这个对象设为 Settings.llm,索引和查询引擎就会用它。
配置参数
- API 地址:
https://modelportal.ai/v1 - API 密钥:
YOUR_API_KEY - 模型:
MODEL_ID
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="MODEL_ID",
api_base="https://modelportal.ai/v1",
api_key="YOUR_API_KEY",
is_chat_model=True,
)
print(llm.complete("你好"))
常见问题
- 向量模型也能这样接吗?
- 可以用 llama-index-embeddings-openai-like 的 OpenAILikeEmbedding,api_base 同样填 https://modelportal.ai/v1,模型选具备向量能力的模型。