dsh-computer-use-win

toolstested: passnpmMIT

Lets the DSH agent operate your Windows apps and web pages: it reads controls through UI Automation, clicks, types, captures the screen and reads text with OCR, and works on web pages in its own browser in the background, without moving your mouse; when it needs your mouse or keyboard, an on-screen

下载量 / Downloads
20,146
依赖体积 / node_modules
1.05 MB
测试时间 / Tested
2026-11-06

Install

dsh plugin --profile web add dsh-computer-use-win

Sandbox test results

StageResult
1 install✓
2 list✓
3 mount—
4 boot—

Four stages run in an isolated sandbox: install (network on) → list → mount → boot (last three with no network).

README

dsh-computer-use-win

让 DSH 看懂并操作你的 Windows 桌面。

![npm](https://www.npmjs.com/package/dsh-computer-use-win) ![CI](https://github.com/Yu-tao-Li/dsh-computer-use-win/actions/workflows/ci.yml) !Windows ![MIT](LICENSE)

您的 Star ⭐ ↗ 就是我更新的动力,球球了,这对我很重要!如有问题,欢迎去 提 Issue ↗,您来许愿,我来实现!

语言 / Language: [简体中文](#简体中文) · [English](#english)

Releases · npm · Issues


简体中文

这个插件让 DeepSeek Harness(DSH)里的 agent 看到并操作你电脑上真实的 Windows 程序和网页:找到按钮和输入框,读出屏幕上的文字,点击、打字,切换和管理窗口。网页默认在 DSH 自己的浏览器里后台完成,不动你的鼠标,也不抢前台。

网页在后台完成 · 浮窗按步骤显示 DSH 在想什么、做什么 · 25 个操作工具 + 1 个管理入口 · 用到鼠标键盘时有明显提示 · 按 Esc 随时停止 · 中英文设置界面

<picture>

<source media="(prefers-color-scheme: dark)" srcset="assets/diagrams/how-it-works-zh-dark.png">

<img alt="使用流程图。第 1 步:右键托盘图标打开 DSH 终端,运行安装命令,再退出并重新打开 DSH Desktop;设置里“网页与浏览器”下的“优先用网页控件操作”和“显示 DSH 浏览器窗口”默认打开,不改也能直接用。第 2 步:在对话里布置任务,对话中出现“输入了文本”“发送了按键”“检查了操作结果”等记录。第 3 步:网页在 DSH 浏览器里后台操作,它的窗口框是 DSH 蓝,正在操作的标签页图标换成蓝色箭头,网页上一个小箭头标出它点的位置,不遮挡网页;你正在用的窗口留在前面,鼠标不受影响,点 DSH 的停止按钮可以停止;操作桌面程序、用到鼠标键盘时,屏幕边缘发亮,出现“DSH 正在控制电脑”提示条和鼠标旁的 DSH 标签,按 Esc 立即停止这一轮;屏幕角落的思考与操作浮窗按步骤显示 DSH 的思考和操作,鼠标从它上面穿过,光标停在它右上角的锁上就能拖动和缩放。下方是 agent 每一步的循环:观察、定位、执行、确认,网页和桌面程序用同一套工具,执行这一步也可以用 batch 一次做完几个动作,没达到目标就再观察一次。" src="assets/diagrams/how-it-works-zh-light.png">

</picture>

目录:[1 快速开始](#1-快速开始) · [2 界面预览](#2-界面预览) · [3 能做什么](#3-能做什么) · [4 工作原理](#4-工作原理) · [5 设置](#5-按你的习惯设置) · [6 使用示例](#6-使用示例) · [7 工具与进阶](#7-工具与进阶) · [8 常见问题](#8-常见问题) · [9 数据与隐私](#9-数据与隐私) · [10 文档与开发](#10-文档与开发) · [English](#english)

1. 快速开始

1.1 安装

你需要一台 Windows 电脑,并且已经装好 DSH Desktop。插件用的是 Windows 自带的 PowerShell 5.1,不用另外安装。

1. 右键点击任务栏托盘里的 DSH 图标,选“打开 DSH 终端”,然后运行:

   dsh plugin --profile desktop add dsh-computer-use-win

2. 再右键托盘图标,选“退出”,然后重新打开 DSH Desktop。只关掉窗口不够:窗口关了,DSH 还在托盘里运行,不会加载新装的插件。

3. 打开 设置 → 电脑操控(鼠标图标)看看各项选项。不改也能直接用,默认加载全部工具。然后给 agent 布置一个桌面任务,比如[第 6 节](#6-使用示例)里的例子。

1.2 升级

运行同一条安装命令,然后像上面第 2 步那样完全退出、再重新打开 DSH Desktop。

命令里的 desktop 是 DSH Desktop 使用的配置(profile)。如果装到了别的 profile,正在用的 DSH 不会有任何变化。

1.3 其他安装方式

<details>

<summary>DSH Web、GitHub 源、单独的 MCP 客户端</summary>

DSH Web:

dsh plugin --profile web add dsh-computer-use-win

装好后重启 dsh web。用别的 profile 时,把 web 换成它的名字。也可以在插件市场搜索 dsh-computer-use-win,或者从 GitHub 安装:

dsh plugin --profile desktop add github:Yu-tao-Li/dsh-computer-use-win

不在 DSH 里,也可以让任何 MCP 客户端启动它:

{
  "mcpServers": {
    "wincu": {
      "command": "npx",
      "args": ["-y", "dsh-computer-use-win"]
    }
  }
}

DSH Web 和单独的 MCP 客户端会用你电脑上的 Node.js 运行插件,需要 22 或更高版本。DSH Desktop 自带运行环境,不用另装 Node.js。

单独运行时默认加载全部工具。设置环境变量 WCU_TOOL_MODE=lite 只加载常用工具,WCU_TOOL_MODE=lazy 开始时只加载管理入口。也可以在 WCU_ENABLED_TOOLS 里写一个 JSON 数组,指定允许哪些工具。设置页、对话里的操作记录和整轮提示只有在 DSH 里才有。详见[工具加载说明](docs/tool-context.md)。

</details>

2. 界面预览

下面是 DSH Desktop 2.0.18 里的真实截图(中文界面),只保留了浏览器窗口、对话或设置面板,点击图片可以看原图。设置页截图来自 0.5.4;浏览器截图来自 0.5.2,对话截图来自更早的一次搜索任务,这两处的界面到 0.5.4 都没有变。浮窗图用的是一次真实任务的记录,由插件自己的浮窗程序重新画出来。

2.1 网页在 DSH 浏览器里操作

网页任务默认交给浏览器操控(Browser Use)。DSH 用自己的浏览器窗口工作:窗口框是 DSH 蓝,正在操作的标签页图标换成蓝色箭头,网页上一个带光晕的小箭头标出它点的位置。它通过浏览器的调试协议读网页、填表、点按钮,不移动你的鼠标,也不把窗口切到前台,你可以接着用别的程序。下图是它在后台填写一张示例报销单时的窗口(示例网页,人名是虚构的)。

2.2 对话里能看到每一步

每次桌面操作都是一行带鼠标图标的记录,比如“输入了文本”“发送了按键”“检查了操作结果”。点“查看步骤和截图”,可以看到每一步的详情和截图。

2.3 思考与操作浮窗

DSH 操作电脑时,屏幕角落有一个半透明的浮窗,按步骤显示它在想什么、做了什么。每一步一个小标题,写明这一步的操作,后面是这一步的思考文字,和对话里看到的一致。任务结束后,标题变成“已完成 · 步数 · 用时”,浮窗从回复开头显示结果,再保留 20 秒。这样你不用把 DSH 窗口拉到前面查看进度,也就不会打断它的操作。

浮窗默认锁定,鼠标从它上面穿过,不会挡住你或 DSH 的点击。想换位置或大小时,把光标移到右上角的锁上停一下,浮窗就会临时解锁:拖标题移动,拖边缘缩放,光标离开后自动锁回。这个按钮只认你自己的鼠标,DSH 操作时移动的光标不会触发它。浮窗默认直接显示 DSH 的输出,不额外消耗 token;也可以在设置里改成“AI 总结当前操作”,让当前对话的模型每隔一段时间写一两句进度说明,这会额外消耗 token。

2.4 设置页

设置在左侧的“电脑操控”(鼠标图标)里。最上面是“网页与浏览器”:优先用网页控件操作、显示 DSH 浏览器窗口、浏览器类型、保留网站登录状态,以及默认关闭的“操作已打开的浏览器(实验性)”。下面选工具加载方案:全部、精简、懒启动或自定义,默认是“全部”(26 个工具)。再往下是接管提示、思考与操作浮窗和停止操作。每项左边的小图跟着设置变化,说明收在 ⓘ 图标里。顶部的 Star 和 Issue 说明可以折叠成一个链接,下图就是折叠后的样子,点“展开”就能恢复。

2.5 更多截图

<details>

<summary>任务总结、自定义工具、浮窗设置、接管提示、停止设置</summary>

任务总结。 一轮操作结束后,agent 会说明自己做了什么、在结果页里确认了什么。图中的文字由这次任务用的模型生成。

自定义工具。 选“自定义”后会展开工具清单,可以一个个勾选,也可以整组勾选。图中是没有保存的演示,截完图就放弃了。

浮窗设置。 “显示思考与操作浮窗”和“锁定并穿透鼠标”两个开关改了就生效。展开更多选项,可以选浮窗内容:默认直接显示 DSH 输出,选“AI 总结当前操作”会额外消耗 token。再往下能调背景不透明度、大小、位置和锁定快捷键。点“打开浮窗并调整”会显示 60 秒的预览,方便把浮窗拖到合适的位置。

…(truncated)

Rendered from the README published on npm. Formatted only, not edited.

Versions

Published on npm::19,最后更新 2026-11-05

Links

GitHub · Homepage · npm

Same category