dsh-mac-computer-use

给 DSH 的 Mac 桌面操作能力（computer use）。视觉优先，不依赖无障碍树。

> 一句话：DeepSeek Harness（DSH）插件，让模型看着屏幕操作你的 Mac：列窗口、截图、OCR 找字、点击、打字、按键、滚动、拖拽、打开应用。

>

> 什么时候用：「看看我屏幕上有什么」「帮我在这个 App 里点一下」，以及没有命令行、只能用鼠标操作的 Mac 软件。

>

> 安装：DSH「插件」页 →「添加插件」，填 dsh-mac-computer-use（npm 包，连不上 npm 会自动换国内镜像），重启 DSH。安装包自带编好的程序（Apple 芯片和 Intel 都能用，macOS 11 起），不用编译。仅 macOS。

>

> English: a DeepSeek Harness (DSH) plugin for computer use on macOS. The model sees the screen and controls the Mac through 11 desktop_* tools: window list, screenshots, OCR text search, click, type, keys, scroll, drag and app launch. Install: on the DSH Plugins page, click Add plugin and enter dsh-mac-computer-use (an npm package), then restart DSH. The package ships prebuilt universal binaries (Apple silicon and Intel, macOS 11+), so there is nothing to compile.

> 以前叫 dsh-cu，2026-10-18 改名。旧地址会自动跳到这里；底层的命令行引擎仍叫 dsh-cu。

> 和别人家的 [dsh-computer-use](https://github.com/988hj7tczd-oss/dsh-computer-use) 不是一个东西：那个靠无障碍树（cua-driver），这个靠截图。

桌面光标：实心蓝箭头 + 带显示器图标的「DSH」名牌，干活时名牌写上正在做什么。跟 [dsh-chrome-bridge](https://github.com/OrderG-X/dsh-chrome-bridge) 的浏览器光标是同一套样式，那边是半透明的、名牌带地球图标。

11 个 desktop_* 工具 + 一个自包含的 Swift 命令行 + 一个看得见的桌面光标。

desktop_windows    desktop_observe    desktop_screenshot   desktop_find_text
desktop_click      desktop_type       desktop_key          desktop_apps
desktop_launch     desktop_scroll     desktop_drag

---

为什么又造一个

DSH 上已有的 computer use 插件（dsh-computer-use、dsh-mac-cua 等）大多依赖 macOS 无障碍树（AX）。

我们实测过：锁屏时 AX 对所有应用都返回 0 个 AXWindow，解锁后立刻恢复正常 —— 这是 macOS 的行为，

不是驱动的 bug（[详细记录](docs/locked-session-and-ax.md)）。另外第三方二进制在某些环境下拿不到 AXWindow。

Codex 那种 computer use 走的是视觉路线：截图 → 模型看 → 按坐标操作。这条路不碰 AX，

所以在 AX 不灵的环境下照样能用。这个仓库就是那条路，外加：

| | |

|---|---|

| OCR 找文字 | 用 macOS 自带的 Vision 框架，本地跑。desktop_click(text="登录") 直接按文字点 |

| 元素编号 | desktop_observe 把可点元素在截图上编号，模型说"点第 7 个"就行 |

| 做完说一声变了什么 | 点击、输入、按键、拖拽之后顺带回报窗口变化（新开了「存储」窗口、标题变了、窗口关了），模型不用每次再截图确认 |

| 看得见的光标 | 屏幕上有个蓝色光标跟着操作走，名牌写着「点击 发送」这类动作；跟浏览器插件的光标一套样式 |

| 空闲自退 | 光标浮层 60 秒没动静自己走，不留常驻进程 |

| 单文件 Swift | 零依赖，好审计 |

---

安装

在 DSH 的插件页点「添加插件」，填包名 dsh-mac-computer-use，然后重启 DSH。这是 npm 包：按包名装时，DSH 连不上 npm 官方源会自动改用国内镜像（npmmirror），不经过 GitHub。也可以填发布包地址 https://github.com/OrderG-X/dsh-mac-computer-use/releases/latest/download/dsh-mac-computer-use.tgz，那样要能连上 GitHub。

更新：DSH 0.2.2 起，在「插件」页点开它，点「更新到 …」；更老的 DSH 先卸载，再按上面添加一次。新版发布后大约一天才装得到（DSH 装插件用的 pnpm 默认不装刚发布的版本）；急的话卸载后填发布包地址，不过这样装的以后不能点更新。

安装包里自带编好的命令行引擎和光标浮层（Apple 芯片和 Intel 都能用，macOS 11 起），不用 clone 仓库、不用装 Xcode。第一次用要在系统设置里给 DeepSeek Harness 开屏幕录制和辅助功能权限，设置页里有按钮直达。

装好后插件页里叫「Mac 桌面操作」。点进去是设置页：能不能用、看得到几个窗口，命令行引擎、屏幕录制权限、辅助功能权限、光标浮层逐项打勾，缺哪个就给哪个的按钮（打开系统设置）；还有「屏幕上显示操作光标」开关。

自己从源码编译（改了 Swift 代码时才需要）：

git clone https://github.com/OrderG-X/dsh-mac-computer-use.git
cd dsh-mac-computer-use
./install.sh

需要 Xcode Command Line Tools（xcode-select --install），装到 ~/.dsh/bin/。插件优先用自带的程序，要用自己编的，设环境变量 DSH_CU_BIN=~/.dsh/bin/dsh-cu（光标浮层是 DSH_CU_OVERLAY）。发版时的编译脚本是 tools/build-bin.mjs。

---

用起来是什么样

你：帮我看看屏幕上有什么
→ desktop_windows      拿到窗口列表和坐标
→ desktop_screenshot   模型看到图

你：点那个「登录」按钮
→ desktop_click(text="登录")   OCR 找到它 → 发事件过去（不动你的鼠标）
                              回报「之后：新开了窗口「欢迎」」

你：把计算器的 7+8 算一下
→ desktop_observe      截图 + 元素编号
→ desktop_click(index=5) 点第 5 个（"7"）
→ desktop_screenshot   再截一次确认