dsh-router-laya

dsh-router-laya

一个 DSH 插件：对没有明确档位指令的消息，自动选择思考档（low / high / max）。

做法是在本地跑一个微调过的分类模型（842MB，CPU 推理不到 1 秒），配合会话内的检测无感自动升降档。 全程本地离线，超快响应，适配日常使用，从此让Harness开启"自动驾驶"模式。 为什么做它——以及为什么值得你试试

你大概也有同感：想让 AI 在难题上多想一会儿，就得手动把档位拉满；而大多数日常消息， 拉满纯属浪费——多烧的 token 换不来更好的回答，来回手动切又麻烦，时间,tokens双双爆炸💥！

关于本插件逻辑的一些理论支持： DeepSeek 的 V3.2 技术报告专门写了这个机制（thinking budget）：模型训练时就按 「在给定的思考 token 预算内最大化准确率」来优化，报告里附了不同预算下的性能曲线。 所谓档位，对应的其实就是这份预算——档位高，能思考的 token 多，消耗也大。 OpenAI 的 o3-mini 直接按 low/medium/high 三档发布官方成绩：低档在多数任务上已经够用， 高档只在高难任务上拉开差距（官方公告）。 《Thoughtology》综述对 R1 系模型的测量：强模型的准确率随思考预算增长很快饱和， 大多数任务用不满大预算，多出来的基本是白烧。 Qwen3 的按请求预算、Anthropic 的 budget_tokens、LangChain 的 reasoning_effort—— 「档位 ≈ 思考 token 预算帽」已经是行业通行的实现。

档位是真实存在的旋钮，问题只剩一个：谁来判断该拧到几档？ 手动切麻烦，全局拉满浪费。 dsh-router-laya 把这个判断交给一个本地小模型： 它先看一眼你的消息，决定需要多少思考，再把请求路由到合适的档位——你只管发消息。 具体来说： 省钱：简单消息走 low，思考 token 只有拉满时的零头，不再为简单问题支付推理成本 快：低档首字响应更快；本地判定不到 1 秒，无感 难事不掉链子：任务复杂或你在重试时自动升档，max 兜底 隐私：判定模型本地跑，任务文本不出本机 越用越准：判定模型可以随你的使用习惯持续重训

另外我做了 120 多次本地对照实验交叉验证，方向与公开结论一致：单任务 low 档约 96% 成功 （确实不必多花钱）；15 个任务连吃 low 档 42% 翻车、升档后约 17%——这就是这个插件要吃的 那一段：

负责判断的 7 题微调分类头，对金标（三模型交叉标注）一致率 99%、本地判定小于 1 秒：

会话内自动升档的实测阶梯——重试两轮，low 到 max：

输入栏有个档位芯片，实时显示当前档位和最近 20 轮的判断原因；服务离线时变灰并给出启动命令。 安装