dsh-eval-control

dsh plugin --profile web add dsh-eval-control

dsh-eval-control






DSH 轨迹分析与 aeval 评测控制插件。

上下文窗口不知不觉满了，不知道哪条消息吃了大量 Token，子 Agent 之间到底交接了什么，工具报错后找不到原始日志——这些问题现在都能看见。dsh-eval-control 把会话黑盒变成可视化面板：从上下文演化、团队协作关系图到工具错误证据链，一个插件全覆盖。同时提供 aeval 所需的变量注入、预算控制和 fork 血统校验。

dsh plugin --profile web add dsh-eval-control

[快速开始](#快速开始) · [面板演示](#面板演示) · [功能对比](#功能对比) · [面板功能](#面板功能) · [导出与分享](#导出与分享) · [常见问题](#常见问题)

本文对应仓库当前实现，package.json 版本为 0.5.0。发行包的功能取决于实际安装版本。

功能对比

与同类上下文可视化插件相比，本插件额外提供：

能力 · 本插件 · 同类插件

上下文窗口组成与演化 · ✅ · ✅

消息 Token 估算与筛选 · ✅ · ✅

压缩事件可视化 · ✅ · ✅

区分摘要压缩与历史修剪 · ✅ · ❌

工具调用分析与错误证据 · ✅ · ❌

Team 多 Agent 协作关系图 · ✅ · ❌

交互时序与任务板 · ✅ · ❌

智能告警 + 配置应用 · ✅ · ❌

证据链（从结论到原始事件） · ✅ · ❌

会话对比 + 差异报告 · ✅ · ❌

导出 PDF/Markdown/HTML + 只读分享 · ✅ · ❌

aeval 评测控制集成 · ✅ · ❌

快速开始

向目标 profile 安装插件：

dsh plugin --profile web add dsh-eval-control

将 web 替换为实际使用的 profile。需要固定发行版本时，在包名后追加 @<version>。

重启或重新加载该 profile，打开一个会话，在会话顶部选择 轨迹分析。对话区的 aeval 控制 状态胶囊和侧栏插件详情提供评测控制状态。

<details>

<summary>从源码构建</summary>

在仓库根目录执行：

npm install
npm run build
npm run typecheck

将构建后的本地目录安装到目标 profile：

dsh plugin --profile web add /absolute/path/to/dsh-eval-control

client/client.js 是生成产物，前端修改应编辑 client-src/，再运行 npm run build:client。

</details>

环境要求

项目 · 要求

Node.js · ^22.19.0 或 >=24.0.0

完整功能验证环境 · DSH 0.2.0-rc.2、0.2.1-rc.2 与 0.2.1-rc.3 的 Web 界面

宿主依赖 · 满足 package.json 中全部 peerDependencies；契约类 peer 覆盖 0.2.0-rc.2 到 0.2.1-rc.3 三个已验证版本

轨迹分析 · 宿主会话及 projection 服务

诊断配置应用 · 宿主持久化配置编辑器 configEditor

分享链接 · 宿主 HTTP 服务及本地 profile 存储

版本不满足时，宿主会在安装阶段直接拒绝（dsh: installation rejected ... nothing was installed），并且因为市场对 engines 与全部宿主 peer 取合取，插件也不会出现在市场搜索结果中——给自己加 engines.dsh 只能绕过宿主的加载闸门，绕不过市场过滤。若确需在未验证的宿主版本上试用，可用宿主自带的精确版本豁免：

dsh plugin --profile <profile> allow-version dsh-eval-control@<version> --dsh-version <host-version> --accept-risk

豁免只对"该插件版本 + 该宿主精确版本"这一对生效，不会放宽 peerDependencies。

面板演示

以下动图由演示数据的关键操作截图合成循环 GIF，不包含真实会话内容。

上下文演化：切换步骤 / 轮次、选中压缩事件、适配纵轴范围。

团队协作：主子与子子 Agent 关系、交接方向筛选、消息原文、轨迹证据和共享任务板。

<details>

<summary>总览诊断与消息 Token</summary>

查看窗口占用和右侧告警，展开诊断建议，切换消息台账与注入筛选。

</details>

<details>

<summary>压缩替换详情与聚合事件</summary>

展开摘要压缩，查看替换手段、历史内容与检查点的对应关系，以及聚合后的历史修剪和注入来源。

</details>

<details>

<summary>工具分布与失败证据</summary>

查看工具调用及错误分布、放大图表，再打开失败标红、错误原文和规则原因分析。

</details>

<details>

<summary>会话对比与差异报告</summary>

比较两次运行，查看资源消耗雷达图、原始值与差异报告。

</details>

<details>

<summary>报告导出与分享选项</summary>

切换报告格式，查看只读分享的有效期与访问权限选项。此演示未创建分享链接。

</details>

动图的演示数据和更新方法见 [录制说明](docs/demo/panels/README.md)。

面板功能

Tab · 可以查看或执行的操作

总览 · 上下文窗口占用、组成拆解、会话摘要；右侧集中展示智能告警、规则设置和可折叠诊断数据

上下文演化 · 按步骤、轮次或时间查看输入占用、上下文内容估算 Token 和输出 Token；区分摘要压缩、历史修剪、注入与激增

消息 Token · 默认全部历史，可选最近 N 条或事件范围；角色、Token 范围、排序与高消耗消息定位

压缩与注入 · 事件聚合、压缩前后对比、替换关系、替换手段、注入来源和内容节选

工具分布 · 调用次数、显式错误、分布图与调用明细；失败标红、规则原因分析及原生工具卡片定位

Team 活动 · 主子 Agent 协作关系图、交互时序、成员分工与活动泳道、任务板和消息交接；支持筛选与证据跳转

对比分析 · 选择 2–4 个会话，生成资源消耗对比、上下文折线、雷达图、差异报告与建议

顶部关键指标卡可打开计算口径与事件证据；其他 Tab 可通过 总览诊断 返回诊断中心。各面板的详细交互说明见 [面板详细说明](docs/panel-details.md)。

证据链：从结论回到原始事件

点击顶部指标卡、告警中的 查看证据链，或消息表中的 ⚡ / 🔻，会在右侧打开统一证据抽屉。演化图选中标记、压缩、注入、工具明细、Team 成员与对比指标均有对应入口。

抽屉显示结论、规则、实际计算输入、样本与分母、证据等级和数据质量提示。点击关联事件，按 sessionId + seq 读取宿主原始持久事件，并可折叠查看前后事件、检查 JSON 或下载记录。当前会话且宿主支持时可打开原生工具卡片，跨会话时使用原始事件查看器。

窗口占用证据额外展示"未缓存输入 + 缓存读取 = 请求占用"的实际数值公式；每个输入分别关联事件与原始字段。突增同时展示基线中位数、相邻消息体积差、主导成分和时间间隔，各数值分别标明来源。

引用和投影均有保留上限；缺失、读取失败或未记录的耗时起止会明确提示，不会用相邻事件代替。关闭抽屉保留原 Tab 的筛选和缩放。

实现和数据约定见 [证据链设计](docs/evidence-chain.md)。

智能告警

告警与诊断集中在 总览右侧的诊断中心，提供未处理、已处理、已忽略及严重级别筛选。

告警 · 默认触发条件

上下文满载 · 窗口占用超过 80%

频繁压缩 · 摘要压缩超过 5 次 / 千输入 Token

高错误率 · 工具显式错误率超过 10%

Token 浪费 · 同一参数调用最长连续重复超过 3 次

长间隔 · 存在至少一个 ≥30 秒的长间隔段

在 规则设置 中修改阈值或启停规则。上下文满载、频繁压缩告警支持 查看并调整配置 或 直接应用推荐配置，写入通过宿主配置编辑器完成，包含并发变更检查、配置校验和回读确认。

预设中的配置修改对新建会话生效，现有会话保留原预设版本。 AI 模型诊断暂时停用；现有规则告警、错误文本分析、证据链和配置建议继续可用。

会话对比与差异报告

打开 对比分析，勾选 2–4 个会话，点击 开始对比。查看 Token 条形对比、上下文演化折线和多维雷达图。

系统默认高亮相对差异最大的一项。差异报告给出 Token 消耗、摘要压缩频率、工具错误率和模型耗时的最低值，缺失数据标为不可用，不按零参与排名。勾选 归一化显示 后，上下文曲线按窗口占用率与请求进度对齐。

雷达图使用资源消耗比例（当前会话原始值 / 所选会话该项最大值），至少三个指标在所有所选会话中均可用时才绘图。雷达面积不代

…(truncated)