Testany 故障诊断

分析 Testany 测试失败原因，排查问题根因。

用户输入: $ARGUMENTS

职责范围

• 分析测试执行失败的原因
• 获取和解读执行日志
• 识别常见问题模式
• 提供修复建议

核心知识

失败类型分类

日志获取流程

1. testany_get_execution → 获取执行概览
2. testany_get_execution_case → 获取失败 case 详情
3. testany_log_sign → 获取日志签名（返回 curlCommand）
4. 验证 curlCommand 安全性后执行获取日志

curlCommand 安全验证（重要）

testany_log_sign 返回的 curlCommand 在执行前必须验证：

1. 检查域名：URL 必须是 Testany 可信域名

   • 允许：*.testany.io、*.testany.com.cn
   • 拒绝：其他任何域名

2. 检查协议：必须是 HTTPS

   • 允许：https://
   • 拒绝：http://、其他协议

3. 检查参数：不应包含危险参数

   • 禁止：-o（写文件）、|（管道）、;（命令链）、$(（命令替换）

验证示例：

# 从 curlCommand 提取 URL
URL=$(echo "$CURL_COMMAND" | grep -oP 'https://[^\s"]+')

# 验证域名
if [[ "$URL" =~ ^https://(.*\.)?testany\.(io|com\.cn)/ ]]; then
    # 安全，可以执行
    eval "$CURL_COMMAND"
else
    # 不安全，拒绝执行
    echo "警告：URL 域名不在可信列表中，拒绝执行"
fi

诊断工作流

1. 获取执行信息：testany_get_execution
2. 定位失败 case：从执行详情中找到失败的 case
3. 获取日志签名：testany_log_sign(executionKey, caseIndex)
4. 安全验证：检查返回的 curlCommand 域名和参数
5. 获取日志：验证通过后执行 curlCommand
6. 分析日志：识别错误类型和位置
7. 提供建议：给出修复方向

常见问题速查

调度 / 队列诊断（Scheduler / Queue）

当用户报告"并行未生效"或"execution 卡住不跑"时，必须优先走这条诊断路径，再去排查 YAML 和 relay。

核心概念

Testany 使用 workspace 级并发槽位控制 execution 并行度：

诊断流程

1. testany_get_workspace_execution_status → 获取 {limit, claimed, pending}
2. 判断：
   - claimed 数量 = limit？→ 槽位已满，pending 中的 execution 必须等
   - claimed 中有长时间运行的旧 execution？→ 旧执行占住了槽位
   - pending 列表里有你关注的 execution？→ 它在排队，不是 YAML 问题
3. 如果槽位未满但 case 仍然串行：
   - 检查 pipeline YAML 版本：rule/v1.2 不支持 case 级并行，只有 rule/v1.3 支持
   - 检查 workspace 是否启用了并行执行功能
   - 比对 case 的 start_time / finish_time：如果 case 间有明显间隔（>数秒），说明被平台串行调度
4. 如果是 fan-out pipeline（无 whenPassed/whenFailed 依赖）仍然串行：
   - 大概率是 effectiveConcurrency=1 或 workspace 并行未开启

关键字段获取

真实案例：fan-out pipeline 表现串行

场景：用户编排了一条 fan-out pipeline，token case → 25 个 Postman shard（YAML 无依赖，理论上并行），但实际串行执行。

排查路径：

1. testany_get_workspace_execution_status → 发现 limit=1，claimed 中有 1 个旧 execution
2. 说明 workspace 并发上限为 1，所有 execution 都串行排队
3. 进一步确认：claimed 中的旧 execution 完成后，pending 中的 execution 才逐一开始
4. 同一 execution 内部的 case 启动时间也呈串行——因为 case 级并行同样受 effectiveConcurrency 限制

结论：问题不在 YAML，不在 relay，不在 case 依赖——是平台调度层的并发限制。

解决方向：

• 联系管理员调整 workspace 的 concurrency_limit
• 确认 workspace 已启用并行执行功能（rule/v1.3 + allowlist）
• 如果是 Community 版，默认并发=2，无法通过 YAML 优化绕过

返回格式

诊断完成后，向用户汇报：

• 失败原因分类（Assertion/Timeout/Error/Infrastructure）
• 具体错误信息
• 问题定位（哪个 case、哪一步）
• 修复建议
• 日志查看链接（如需要）

参考文档

详细概念请参考：

• 核心概念