dsh-soundtry

dsh-cixisound

DSH 的本地听觉插件 · 1.0.3（DSH-CixiSound）

让 agent 听得见声音：转写、节奏、旋律、和弦、结构六件套，全部在本机跑，零 API 费用。

• 人声分离默认走 UVR MDX-Net（onnxruntime 推理，不需要 torch）——快嘴说唱上比 Demucs 还准
• 依赖是声明的，不是猜的：deps.manifest.json 列清每一样；首次运行时自己装、自己下模型
• 权重不进仓库：仓库只记 URL、字节数和 MD5，63.7 MB 的分离模型 + 1.46 GB 的 whisper medium 都在你机器上下
• 不可信的地方会自己说：BPM 有 ambiguous/level/conflict 三态，切点双阈值同时报，和弦明说"根音可信、品质不可信"
• 设置就在插件里：插件 → 已安装 → dsh-cixisound 详情页里有「声音分析」区块，可切 CPU/GPU、分离后端、模型；显存 < 4 GB 时自动锁 CPU 并给出提示

统一声明

• 这个插件可以单独理解音乐，也可以配合其他画面理解插件一起理解视频
• 经测试，也可以让刷 B 站的鱼（dsh-bili-whale）更好地理解视频内容噢
• ⚠️ 本地推理几乎不消耗 token，但处理速度会因电脑配置不同而有不同表现，属正常现象
• 所以一般建议在“鱼”凭借其他依据没法很好理解视频时使用
• 有任何问题可以在评论区反馈，也可以加入 QQ 群：1130719501 提出你的宝贵意见
• 插件地址：

运行要求

只要一个 Python 解释器，不需要 ComfyUI，也不需要机器上有 torch。

插件自带一个隔离 venv（runtime/venv，建的时候不加 --system-site-packages），

依赖和模型全部落在插件目录里。ComfyUI 删掉不影响；机器上没装过 torch 也能跑。

| 项 | 要求 | 说明 |

|---|---|---|

| 操作系统 | Windows 10/11 x64 | 路径与 PATH 分隔符目前按 Windows 写死 |

| Python | 3.10 – 3.12（只当解释器） | 3.13 上 ctranslate2 没有轮子，会去源码编译，别用 |

| 磁盘 | 约 2.4 GB | venv 543 MB + whisper medium 1457 MB + MDX 64 MB + ffmpeg 62 MB |

| 内存 | 6 GB 可用，8 GB 推荐 | 实测 4 分钟歌「分离+转写」峰值 4.42 GB |

| CPU | 4 核起 | MDX 分离约 2.3× 实时 |

| 显卡 | 不需要 | 见下面「关于 GPU」 |

| ffmpeg | 需要一份 | 会自动复制进 vendor/ffmpeg |

venv 里到底装了什么

faster-whisper 1.2.1 + ctranslate2 4.8.4   ← 转写
onnxruntime 1.31.1                          ← MDX-Net 分离
librosa 1.0.0 + numpy 2.5.4 + scipy 1.18.1 + soundfile 0.14.0  ← 节奏/旋律/和弦/结构

没装 torch、demucs、torchcrepe——它们会把 torch（2.5 GB）拖进来。代价写在「已知局限」里：

demucs 后端不可用（默认本来就用 MDX-Net）、音高跟踪用 pyin 而不是 torchcrepe。

关于 GPU

• 分离：MDX-Net 走 CPU，这是刻意的（onnxruntime 的 CUDA 版要 cuDNN 8，和 ComfyUI 常用的 cuDNN 9 冲突）
• 转写：ctranslate2 想用 CUDA 就要 cublas64_12.dll / cudnn。venv 里没有，会自动回退 CPU int8 并在报告顶部提示。要 GPU 转写就再装两个轮子：

runtime\venv\Scripts\python.exe -m pip install nvidia-cublas-cu12 nvidia-cudnn-cu12

1.0.3 · 第六阶段：torch / torchaudio 彻底移出默认依赖

有用户反馈"这个插件依赖 Python venv + torchaudio cu129"。核实结论：

| 版本 | 会不会要求 torchaudio |

|---|---|

| 线上 1.0.2（GitHub v1.0.2） | ✅ 会。它的 borrow 模式默认装 demucs，而 demucs 拉 torch + torchaudio，从 ComfyUI 借到的正是 2.8.0+cu129，doctor 里也直接显示这一行 |

| 1.0.3 默认（selfcontained） | ❌ 不会。pip 清单里根本没有 torch，实测 torch / torchaudio / torchcrepe / demucs 全部 NOT installed |

| 1.0.3 的 borrow / standalone | 原先仍会装 demucs → 同样拖 torch；1.0.3 起默认不再装 |

改了什么

• borrow.pip 从 faster-whisper, demucs, torchcrepe 收窄为 只有 faster-whisper
• standalone.pip 去掉 demucs/torchcrepe；torchIndex / torchPackages 字段删除
• demucs 变成显式开关：SOUNDTRY_WITH_DEMUCS=1（或配置 withDemucs: true）才会装

torch + torchaudio（cu129，约 2.5 GB）再装 demucs、torchcrepe

代价（诚实写）

不装 demucs 之后，分离的降级链从 MDX-Net → Demucs → HPSS 变成 MDX-Net → HPSS。

MDX 是默认且实测更好的那条（快嘴说唱逐行 85% vs Demucs 79%），所以影响很小；

想用 Demucs 的用户显式开启即可。

1.0.3 · 第五阶段：建"调内和弦库"+ 加权余弦打分 + 按调筛选（品质专用）

库是什么（固定表，不是每首歌新建）

build_key_library() 用乐理规则生成 24 个调 × 18–21 个和弦（共约 470 条映射），

引用已有的 144 个模板，不新增和弦定义。装进插件就固定不变；

每首歌只做"定调 → 取其中一行 → 只在这 18 个里匹配"。

每调包含三档：

1. 自然音级三和弦 7 个

2. 自然音级七和弦 7 个

3. 借用/副属（V7/x、和声小调属和弦、bVII/bVI/iv）—— 让借用和弦仍有位置

打分换成加权余弦

旧式 inside − 0.5(1−inside) − bonus 的判别余量（选中 vs 换根音的最佳）中位仅 0.0099，

一半帧 <0.01，等于在并列里随机挑。换成归一化加权余弦（根 1.0 / 三 0.9 / 五 0.6 / 七 0.5）后，

归一化余量中位 0.074（约 4 倍）。

段级回退