·更新于 ·Guide·Minds Team

AI Agent 的工具发现:测试实战手册

在将要使用您服务器的实际客户端和模型中衡量工具发现能力。将可用性、选择、有效参数与任务完成度逐一拆解,并在固定的基线条件下对比元数据变更。结合执行证据与开发者研究,深入探索信任度与理解成本。

要提升 AI Agent 的工具发现能力,请在将要使用您 MCP 服务器的实际客户端和模型中进行测试。确认哪些工具可用,为 Agent 分配真实的业务任务,并记录其是否选择了合适的工具、提供了有效的参数并完成了任务。只有当证据表明在可比条件下能产生更好的结果时,更清晰的描述才真正有价值。

本实战手册面向与工程师共同构建面向 Agent 集成的产品经理。它将运行时评估与开发者对产品理解程度的研究明确区分开来。来自模拟开发者人设的反馈可以为假设提供参考,但无法证明自主 Agent 的实际行为。

将服务器发现与工具执行明确区分

外部目录或工作区目录可帮助团队找到服务器。随后,安装与授权决定了该集成在特定环境中是否可用。这些步骤与 Agent 决定调用哪个可用工具是截然不同的。

在 MCP 中,tools/list 会向发起请求的客户端返回可用工具,包括工具名称、描述和 Schema。Host 决定如何将这些信息传递给其模型与界面。该协议并未规定通用的工具排序算法。验证集成契约时,请参考 MCP tools specification。

将发现视为一个包含可观察检查点的序列:

检查点需留存的证据需排查的故障
可用性 (Availability)返回给目标客户端的工具列表目标工具缺失
暴露情况 (Exposure)实际提供给模型的工具Host 遗漏或过滤了该工具
选择 (Selection)Agent 为任务选择的工具选择了不合适的操作
参数 (Arguments)提交的输入与校验结果缺少必要的上下文或有效字段
执行 (Execution)工具响应与最终状态操作未能正确完成
用户结果 (User outcome)对照任务检查的最终结果调用成功但仍未满足需求

这些是诊断性检查点,并不意味着每个 Host 都会暴露相同的追踪数据。将任何无法观察的阶段记录为未知即可。

在对比描述之前固化测试条件

从单一客户端配置和已保存的基线开始。记录模型标识符、相关设置、服务器版本、工具定义、授权范围以及同屏竞品工具。在拟议的修改版本中使用完全相同的条件。否则,模型或权限的变更可能会被误认为是描述优化带来的效果。

协议兼容性需要单独确认。MCP versioning specification 区分了携带逐请求元数据的当前请求与基于初始化的旧版修订。请以客户端和服务器实际实现的行为为准,不要假设每个部署都会以相同的握手过程启动。

切勿在评估夹具和共享追踪记录中包含凭据。测试记录应当标明相关的作用域或角色,而不得暴露其密钥。对于 HTTP 集成,请结合实际客户端的权限行为查阅 MCP authorization specification。

构建能够暴露缺陷的任务集

在打磨工具描述之前,先根据产品工作流编写任务。涵盖直截了当的成功用例、模糊的指令、缺失信息的情况以及本不应触发任何操作的请求。为每个用例分配唯一标识符和预期的可观察结果。

对于研究类集成,实用的用例包括查找已有 Study、读取其结果、创建草稿而不启动执行,以及接收缺少必要受众的请求。请根据您集成实际暴露的工具调整这些示例。切勿仅仅为了迎合测试用例而添加端点。

使用紧凑的用例对照表:

用例用户任务预期行为留存证据
读取已有结果打开指定名称的已保存 Study解析出正确的 Study 并返回其结果选定的标识符与返回数据
创建但不执行准备待审核的草稿保存请求的草稿状态存储的状态与调用追踪
缺失上下文在未定义受众的情况下请求研究在执行前获取缺失的上下文对话与状态流转
相似工具提供两个描述重叠的工具选择适合当前任务的操作暴露的 Schema 与选中的工具
受限操作在没有必要作用域的情况下请求变更强制执行配置的权限边界授权结果与未变更的状态
无需操作提出概念性问题直接回答而不进行不必要的写操作追踪记录与最终状态

重复运行用例以暴露偶然性,并保留失败的运行记录。单次顺利执行只是一个特例,不能代表成功率估算。在查看结果之前,先确定好重复次数与发布标准。

在修改文案之前先诊断失败原因

如果某个工具缺失,请首先检查列表与权限。tools/list 支持分页;请遵循服务器提供的不透明 nextCursor,而不是假定第一条响应就是完整的。MCP pagination specification 详细说明了这一契约。

如果模型看到了该工具但做出了错误选择,请对比它实际接收到的描述和 Schema。厘清操作本身、前置条件、必需标识符、返回结果以及与相近工具的区别。只修改最相关的最小部分,然后重新运行相同的用例。不要添加宣传性话术或试图覆盖用户任务的指令文本。

如果工具选择正确但执行失败,请排查参数校验、授权、服务器行为和上游响应。重写标题无法修复不可用的服务。如果调用成功但最终答案错误,请检查 Agent 是如何解读返回证据的。

有关技术集成的详细信息,请参阅 Minds MCP documentation。如需处理独立的研究任务,请参考 synthetic market research definition and evidence boundaries。

严格区分开发者反馈与运行时证据

Minds 是用于商业合成研究的端到端平台。在启用的情况下 Minds 支持 Figma 输入。团队可以创建可复用的 Audiences 并运行连贯的定性与定量 Studies(包括 MaxDiff),以探索开发者群体如何理解工作流描述、产品定位及权限说明。

这类研究可以提示哪些文案值得进行执行测试,或哪些信任顾虑值得安排访谈。Minds PRISM 为合成受访者提供支持;这些受访者并不是正在评估的 Agent 客户端的实际执行。偏好得分、人设观点和合理的解释并不能衡量真实的工具选择、延迟或任务成功率。

当需要采纳度或理解度证据时,请引入真实开发者进行验证;而在评估运行时行为时,请使用实际的客户端/模型运行。有关合成研究工作流及其边界,请参阅 how Minds Studies work 与 research methodology。

基于留存证据做出发布决策

逐个用例对比基线与拟议版本。报告预期结果出现的频率、残留的失败情况以及测试时的具体条件。将错误选择、无效参数、拒绝操作、工具故障与错误的最终结果明确拆分开来,并确保各项指标的分母清晰可见。

发布说明应指明变更的产物、有所改进的用例、存在的任何回归问题以及对应的客户端/模型条件。为发布后表现不佳的版本保留回滚路径。在发生任何可能影响结果的模型、客户端、Schema、权限或服务器变更后,请务必重新进行检查。

真正有价值的成果是一个行为可检查、可复现的集成,同时借助开发者研究来解释仅凭执行追踪无法回答的问题。

常见问题

如何测试 AI Agent 的工具发现能力?

使用目标客户端、模型、凭据和工具集。先确认工具处于可用状态,运行一组固定的真实任务,并检查工具选择、输入参数、权限与最终结果。在相同的基线条件下对比拟议的元数据变更。

合成人设能否证明 Agent 会选择哪个工具?

不能。人设反馈可以提示描述是否令人困惑或揭示开发者的顾虑,但它无法衡量 Agent 的运行时表现。必须通过实际客户端和模型执行,来确定 Agent 是否能够发现、选择并成功调用工具。

MCP 工具发现等同于搜索排名吗?

不等同。目录可以帮助团队发现并安装服务器。但在活跃客户端中,可用的工具列表、模型上下文和客户端策略决定了 Agent 可以使用哪些内容。仅凭目录收录并不能保证工具被成功选择或执行。

Minds 可以在开发者研究的哪些方面提供帮助?

Minds 支持在可复用的 Audiences 上开展定向定性与定量 Studies。团队可以探索开发者对工作流的理解、预期以及对权限风险的看法,随后再用真实开发者与实际 Agent 执行追踪来验证关键发现。