knowledge-from-literature-and-bilibili

research-skills · 科研工具箱

> 一组面向科研工作流的实用 CLI 工具 / Agent Skills：文献检索 · 文献下载（含正式刊模式）· PDF 解析 · B站视频转写。

> 零依赖或轻依赖，开箱即用；既可命令行直接跑，也可被 Claude Code / Codex 等 Agent 当作 Skill 调用。

[English abstract](#english)

---

功能一览

| Skill | 作用 | 核心依赖 | 入口脚本 |

|-------|------|----------|----------|

| [literature-search](literature-search/SKILL.md) | 多源文献检索（PubMed / arXiv / Europe PMC / Crossref / Semantic Scholar），跨源去重，导出 CSV + JSON | 无（纯标准库） | scripts/search.py |

| [literature-download](literature-download/SKILL.md) | 按 DOI / arXiv / PMID / PMCID 下载 PDF；默认走开放获取多源回退，--formal 模式可经机构访问取付费墙正式刊 | 无（纯标准库） | scripts/download.py |

| [literature-parse](literature-parse/SKILL.md) | PDF → Markdown / 文本 / JSON，自动提取标题、作者、摘要、章节；扫描件推荐 MinerU | PyMuPDF（已装）/ 可选 pymupdf4llm、MinerU | scripts/parse.py |

| [bilibili-transcript](bilibili-transcript/SKILL.md) | B站视频取字幕（WBI 签名）/ 官方 AI 文稿（conclusion/get，需 SESSDATA）/ whisper 兜底，导出 TXT + SRT | 无 / 可选 yt-dlp + faster-whisper + PyAV | scripts/bili_transcript.py |

---

目录结构

research-skills/
├── README.md                 # 本文件
├── ENV.md                    # 本机环境约定（个人备忘，可删/可忽略）
├── LICENSE                  # MIT
├── requirements-optional.txt# 可选依赖（仅 whisper / pymupdf4llm 等增强功能需要）
├── literature-search/
│   ├── SKILL.md
│   └── scripts/search.py
├── literature-download/
│   ├── SKILL.md
│   └── scripts/download.py
├── literature-parse/
│   ├── SKILL.md
│   └── scripts/parse.py
└── bilibili-transcript/
    ├── SKILL.md
    └── scripts/bili_transcript.py

---

环境要求

• Python 3.8+（检索 / 下载 / B站取字幕三条主路径均为纯标准库，无需 pip install）。
• 可选增强依赖（仅特定功能需要），见 [requirements-optional.txt](requirements-optional.txt)：
• yt-dlp + faster-whisper + av(PyAV)：B站 whisper 兜底转写（PyAV 解码音频，无需 ffmpeg.exe）。
• pymupdf / pymupdf4llm：文献解析的高精度 Markdown 后端。
• mineru[core]：扫描件 / 复杂公式表格的 SOTA 解析（独立工具，脚本会引导）。

> 本仓库作者自用环境的固定约定（解释器路径、conda 环境、VPN 等）记录在 ENV.md，属个人备忘，开源使用时可忽略或按自己的环境改写。

---

快速开始

# 0) （可选）装增强依赖
pip install -r requirements-optional.txt

PY=python   # 或你自己的 python3 解释器

# 1) 检索 -> CSV/JSON
$PY literature-search/scripts/search.py "berberine multidrug resistance" --limit 50 --out ./lit

# 2) 下载 PDF（默认开放获取；付费墙用 --formal 走机构访问）
$PY literature-download/scripts/download.py --csv ./lit.csv --email you@example.com --out ./pdfs
$PY literature-download/scripts/download.py --id 10.1038/s41586-026-10689-z --formal \
    --cookie-file ./cookies.txt --out ./pdfs

# 3) 解析 PDF -> Markdown + 元数据
$PY literature-parse/scripts/parse.py ./pdfs --out ./parsed

# 4) B站视频转写（带 SESSDATA 拿官方 AI 全文）
$PY bilibili-transcript/scripts/bili_transcript.py BV1kKNg62EgT --sessdata "<你的SESSDATA>" --out ./bili

---