picturereader
Unified image understanding plugin for DeepSeek Harness (DSH). Visual twin adapter for native thumbnails + auto-analysis on any text-only model (incl. pi-ai providers); privacy/smart/strict routing; local tools (scan/OCR×4 engines (windows/macos/paddle/rapid)/crop/palette/compare/batch); document-to-image (pdf/word/excel/ppt); local photo editing (image_edit: resize/rotate/filter/composite/watermark/background-remove/upscale etc, pure CPU); optional external VLM bridge.
一句话定位
Unified image understanding plugin for DeepSeek Harness (DSH). Visual twin adapter for native thumbnails + auto-analysis on any text-only model (incl. pi-ai providers); privacy/smart/strict routing…
安装方式
在 DSH 的 web profile 中执行下面的命令;装完刷新页面即可。
$ dsh plugin --profile web add picturereader@3.3.3
兼容的 DSH 版本
>=0.1.0-rc.6 <0.3.0-0
作者与热度
jing-hy · ★ 36 · 更新于 2026-10-25
关于这个插件
picturereader v3.6.0 — 给纯文本模型(DeepSeek / text-only)的全能「看图 / 读文档 / 修图」能力。 融合 视觉孪生 adapter(把任意文本模型原位包装成「支持图片」→ DSH 原生缩略图 + 图片块自动分析)、三模式路由、本地像素级工具链(scan / OCR×4 引擎 / crop / palette / compare / batch)、文档转图片(pdf / word / excel / ppt)、本地修图工具 image_edit(Pillow/OpenCV 纯 CPU:缩放 / 旋转 / 滤镜 / 合成 / 水印 / 去背景 / 超分等)与可选外部 VLM 桥。一个插件全包。 v3.6.0 新增:适配 dsh 0.3.0 以下全部内核。peerDependencies 统一为 >=0.1.0-rc.6 v3.4.0 新增:原生识图能力感知。插件现在从模型能力元数据(inputModalities,与 DSH 内核的图片门控同源)判断当前会话的模型是否自己就能看图:命中时在系统提示词里明确说明「不要用 image_scan / image_sample 这类"伪多模态"替代路径,但 image_ocr 仍应正常使用」,并让粘贴/读取的图片直通该模型、不再降级成文本引导;纯文本模型与元数据缺失(未知)时行为与 v3.3.3 完全一致。判定走未包装的原始 adapter,因此不会被本插件自己的视觉孪生误判成原生识图。 v3.3.0 新增:macOS 原生 Vision OCR 引擎(engine="macos",scripts/setup-macos.mjs 一键编译,PR #4 合入);OCR 引擎选项按平台条件显示(macos 仅 macOS、windows 仅 Windows,paddle/rapid 跨平台始终显示);修复 PaddleOCR 新环境首次调用三个缺陷(stdout 污染 / w/h→width/height / 缓存路径写死,issue #2);设置卡 UI 重做(settings-panel 设计语言);调试日志门控(llm/stream 桥不再刷屏);peerDependencies 兼容 DSH 0.1.1-rc.2(issue #3)。 定位
DeepSeek 等纯文本模型没有视觉编码器,无法直接看图片;DSH 原生缩略图也需要模型被声明为「支持图片」才会渲染。 ⭐ 已支持外部视觉 API(OpenAI 兼容端点 / LM Studio / 云端 VLM),由 LLM 自行按需调用:配置好端点后,模型会在智能/严谨模式下自主判断"这张图值不值得外呼视觉模型",需要时用 vision_analyze 调外部 API 做语义理解,简单内容则本地像素/OCR 搞定——外部 API 是即插即用的增强能力,不是必须依赖。
picturereader 现在解决三件事:
1. 把「看图/读文档」翻译成纯文本模型能理解的结构化证据(像素级 hue/结构/材质分析 + OCR 实读 + 可选 VLM 语义描述),并沉淀为读图方法论 skill。 2. 通过「视觉孪生 adapter」让纯文本模型在 DSH 里获得原生缩略图体验:勾选模型即生成「(视觉)」变体,粘贴图片显示原生缩略图、图片块进会话、并被自动分析成文本路径 + 本地证据再交给模型。即使上游先降级为 attachment sha256 文本,图片桥也会仅从本机附件对象库恢复经过文件头校验的图片并注入本地工具路径;模型拿到的永远是纯文本,不会触发 UNSUPPORTED_CONTENT。 3. 本地直接修图 / 批量处理图片:image_edit 提供缩放、旋转、滤镜、合成、水印、去背景、拼接、透视校正等纯 CPU 动作,图片不出本机。 版本兼容性:适配 dsh 0.3.0 以下全部版本(0.1.0-rc.6 起,含 0.1.x / 0.2.x 各条发布线的预发布与正式版;实测运行版本为 dsh 0.2.1-rc.3)。peerDependencies 统一写作 >=0.1.0-rc.6 ⚠️ 升级到 dsh 0.1.3 必须使用 v3.3.2 之后的版本:内核 0.1.3 起 @deepseek-ai/dsh-settings 不再导出 settingsNamespace() 品牌函数(命名空间校验收进 register() 内部)。ESM 静态导入不存在的符号会让模块整体加载失败,进而拖垮整棵插件树、触发 EAC 的 guard 安全模式(表现为「一对话就报错」+ 插件大范围消失)。v3.3.3 已适配。 🚀 后续将作为 DeepSeek Harness EAC 的内置视觉插件:本插件计划替换内置的 dsh-tool-vision,随 DSH EAC 桌面版直接捆绑发布,开箱即用。作为独立包发布的目的,是让非 EAC / 旧版用户也能通过 dsh plugin add picturereader 或 Git/npm 安装获得同等「看图 / 读文档」能力。 功能总览 ① 视觉孪生 adapter(原生缩略图 + 自动分析) Proxy 原位包装:对被勾选的模型所属 provider,用 Proxy 把其 adapter 包装成「孪生」并原位替换(registerTwinAdapters,卸载经 ctx.effect 还原),不重复注册。 listModels / resolveModel:对被勾选模型声明 inputModalities: ['text','image']、名称加「(视觉)」后缀 → DSH 认为它支持图片 → 原生缩略图渲染、图片块进会话、粘贴准入全部解锁。 stream 拦截:捕获请求里的 image b
这是 picturereader 的"大脑":统一在 routing.js + runtime.js 收敛「什么时候走外部 VLM、什么时候只用本地、要不要交叉验证」,供各工具 / 图片桥 / 视觉孪生 stream / vision_analyze 共享,保证整条图链都遵守同一套路由策略。 路由决策原理
每次看图,模型面对的问题其实是同一个:「这张图,值得花什么成本、用哪条路线读懂它?」picturereader 把答案预置成三种策略,模型据此自主决策,同时 host 侧做硬约束兜底:
核心决策函数 visionAnalyzeDefaults(mode) 定义各模式"默认的证据组合": 三种模式的路线策略
🕶 隐私模式(Privacy)——零外呼硬门禁 绝不调用任何外部视觉端点,即使你在设置卡配了 API。 约束是 host 侧强制:runtime.js 使 isVlmConfigured() 恒为 false,vision_analyze 强制 include_vlm=false,视觉孪生 stream 的降级文本也明确"只用本地工具"。 模型只能用本地工具:image_scan / image_ocr / image_sample / image_crop / image_palette / image_compare / image_edit。图片字节不出本机。 适用:敏感图片(身份证、合同、私人截图)、离线、零外部流量审计场景。
⚡ 智能模式(Smart)——省轮数、省时间(默认) 目标:先把成本压到最低,复杂内容才值得外呼。 决策流程:先 image_scan 快速看整体 → 自行判断: 1. 图片以文字为主 → image_ocr 读文字即可,不必调 VLM; 2. 普通图表 / 界面 / 简单内容 → image_scan + image_sample 自己看就能说清,不必调 VLM; 3. 仅当内容复杂、需语义理解(照片、抽象画面)且配置了端点时,才 vision_analyze(include_vlm=true) 走外部 VLM。 视觉孪生死活都会先把图片导出成本地路径,模型可随时本地深挖,不会被困在"必须外呼"的死路。
🎯 严谨模式(Strict)——交叉验证、细看细节 目标:可靠性优先,不贪省。 决策:先 image_scan 了解整体 → 必要时 image_ocr 读文字、image_sample 细看细节 → 对关键判断做交叉验证(把像素证据、OCR 证据、(可选)VLM 语义描述相互对照,不轻信单一来源)。 允许使用外部 VLM(需配置),但强度更高、可追溯。 适用:需要高准确率与可复现结论的场景(审图、校对、数据分析)。 隐私硬门禁贯穿所有入口:无论走哪个工具/桥,runtime.js 的模式快照都会在调用点做校验,routePolicyText(mode) 还会把当前策略注入给模型的提示里,双保险。 与视觉孪生 adapter 的协同
三模式不仅约束 vision_analyze,也约束视觉孪生 registerTwinAdapters