OverviewAuthenticationMindsKnowledgeChatLatencyErrors
Minds Team

Latency

了解响应 latency 的构成,以及与直接调用基础模型相比的差异。

了解 Minds API 的响应时间与直接调用基础模型相比的差异,以及造成差异的原因。

概览

当你通过 Minds API 发送消息时,返回的响应不仅仅是一次原始的 LLM 调用。API 会编排多个步骤,将响应基于你的 mind 的知识库进行 grounding,从而提供更高质量、更具上下文的回答。

典型响应时间:

场景Latency
直接调用基础模型(无上下文)1-3s
Minds API(带知识 grounding)5-12s
Minds API(简单问候/无 RAG)2-4s

额外的时间用于知识检索与 grounding,这正是 Minds 响应比原始 LLM 调用更准确、更具上下文的原因。

一次请求中发生了什么

当你调用 POST /api/v1/sparks/{sparkId}/completion 时,API 会执行以下步骤:

1. Authentication & mind loading          ~50ms
2. Knowledge retrieval (RAG)              ~1-3s
   - Semantic search across embeddings
   - Retrieve relevant knowledge chunks
3. Tool orchestration                     ~1-3s
   - Web search (if needed)
   - Knowledge grounding & citations
4. LLM generation                         ~1-3s
   - Same latency as calling the model directly
5. Response formatting & citations         ~50ms

第 2-3 步正是 Minds 与原始 API 调用的区别所在。 它们为你的 mind 提供了来自知识库的相关上下文、web 搜索结果,以及有依据的引用。

基准测试结果

测量日期为 2026 年 3 月 12 日。每项测试使用相同 prompt 运行 3 次。Minds API 调用包含完整的 RAG 流水线和工具编排。

不同模型的响应时间

Endpoint平均值最小值最大值
Minds API (默认)12,166ms10,951ms13,910ms
Minds API (gpt-4o)7,013ms5,900ms8,203ms
Minds API (gpt-4o-mini)6,651ms4,702ms7,975ms
Minds API (gemini-2.5-flash)7,553ms5,170ms11,198ms
Direct OpenAI (gpt-4o)1,461ms1,139ms1,720ms
Direct OpenAI (gpt-4o-mini)1,784ms1,589ms1,925ms
Direct Google (gemini-2.5-flash)1,593ms1,466ms1,701ms

额外开销分解

模型Minds API直接调用额外开销
gpt-4o-mini6,651ms1,784ms+4,867ms
gpt-4o7,013ms1,461ms+5,551ms
gemini-2.5-flash7,553ms1,593ms+5,960ms

平均额外开销:在所测试的所有模型中约为 5.5 秒。 这些开销涵盖:

  • 在 mind 的向量 embedding 上执行 semantic search
  • 知识片段检索与排序
  • Web 搜索校验(在适用时)
  • 引用映射与响应 grounding
  • 工具编排流水线

额外开销换来的价值

这段额外的 latency 是智能的成本。原始 LLM 调用对你的领域毫无上下文。Minds 提供:

  1. 知识 grounding:响应基于你的 mind 特定的知识库,而非仅模型的训练数据
  2. 自动引用:清楚知道哪些来源构成了该响应
  3. Web 搜索校验:将知识与实时 web 数据交叉验证
  4. Persona 一致性:响应保持 mind 的人格与沟通风格
  5. 思维模式:塑造 mind 推理方式的心理学建模

优化 Latency

选择合适的模型

使用 model 参数在合适场景下选择更快的模型:

# Fastest: lightweight models
curl -X POST "https://api.getminds.ai/v1/sparks/{sparkId}/completion" \
  -H "Authorization: Bearer minds_your_api_key" \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Quick question"}],
    "model": "gpt-4o-mini"
  }'

模型速度排名(从最快到最慢):

  1. gpt-4o-mini / gemini-3.6-flash — 最适合对速度敏感的场景
  2. gpt-4o / claude-sonnet-4-5 — 速度与质量兼顾
  3. 默认(服务器选择) — 针对质量优化

保持消息简洁

更短的对话历史可减少处理时间。messages 数组中只包含相关上下文。

预热 Mind

mind 在一段时间未使用后,第一次请求可能因冷启动略慢。后续请求将从缓存的 embedding 和预热的连接中受益。

Streaming(即将推出)

我们正在为 completion endpoint 开发 streaming 支持,可在完整响应生成的同时更快交付首个 tokens。这将显著提升交互式应用的感知 latency。

Rate Limit

v1 API 按已认证账户执行可配置的固定时间窗限流（默认每分钟 300 个请求）。请读取 RateLimit-* 标头，在 429 后遵循 Retry-After，并限制并发。详情见错误与限制。

下一步