bv-loop

先说清楚两件事，再回答 Token 问题。

1. 关于「报名 + 信用卡支付」 我这边没有任何支付/订阅工具，也不能替你付信用卡——bv-loop 这套流水线本身也没有付费报名环节。如果你说的是某个第三方付费 API（比如某个内容抓取云服务），告诉我具体是哪家，我可以帮你把接入配置写好，但注册和付款需要你自己操作。

2. 「批量获取内容」需要什么 Token —— 在 B 站场景下：不需要 API Key，需要的是登录 Cookie

B 站没有开放 API Token，qwen-bv（/home/kipley/Documents/code/learning/qwen-bv）批量拉取用的凭据是：

① Cookie（核心凭据，整串） 格式（浏览器登录 bilibili.com 后，F12 → Network → 任意 api.bilibili.com 请求 → Request Headers 里整段复制）：

SESSDATA=xxxxxxxx%2Cyxxxxxxxx%2Cxxxxxxxx%2Eyyyyyyyy; bili_jct=xxxxxxxx; buvid3=xxxxxx; buvid4=xxxxxx; bili_ticket=xxx; DedeUserID=123456; ...

• 关键字段：SESSDATA（登录态，会过期）、bili_jct（CSRF）、buvid3/4（设备指纹）、bili_ticket
• 写入位置：qwen-bv/config.yaml → bilibili.cookie（已存在，当前有值）
• 过期症状：nav isLogin=False；本机 IP 被风控时错误码 -799/-352，届时开代理 http://127.0.0.1:7897（config 里已有该配置项）

② WBI 签名（不是静态 Token，每次请求现算）

• 从 api.bilibili.com/x/web-interface/nav 的 wbi_img 取 img_key/sub_key
• 用固定混淆表重排 → 对请求参数 + wts（时间戳）排序拼接 → 查表混入 → 取前 32 位 md5 作为 w_rid
• 这个逻辑 qwen-bv/wbi.py 已经完整实现并实测通过

3. 一个重要提醒 「批量获取 UP 主内容」这件事 qwen-bv 已经做完了（Flask :5001，/collect + WBI 全量翻页），入口就是 bv-loop/bin/run.sh collect <mid|URL>。如果你说的「开一个新项目」指的就是 B 站批量抓取，不建议重开——直接复用 qwen-bv 即可。

如果你要开的新项目是别的平台的内容抓取（Twitter/X、YouTube、新闻站之类），告诉我具体平台——不同平台要的凭据完全不同（OAuth app key、API key sk-xxx、还是 cookie），我再给你对应的申请步骤和 Token 格式。你指的是哪个平台？

收到。我先看一下 qwen-bv 的入口和服务状态，然后把 Cookie 配进去测试。

粘贴时 Tab 变成了空格，改用「双空格」分隔解析：

23 个 Cookie 全部解析成功。现在写入 qwen-bv/config.yaml：

配置写入成功。现在重启 qwen-bv 加载新 Cookie，并先看一眼 collect 接口参数，方便做小范围测试：

登录态有效（账号「弦上弦四」，mid 1920949412）。重启 qwen-bv：

路径写错了（相对路径解析到了 qwen-bv 下）。用绝对路径重来：

服务已重启。现在用你自己的账号（mid 1920949412）做一次真实采集测试：

端到端全通。快速验证一下落盘数据质量：

全部搞定 ✅

已完成的操作：

1. Cookie 配置：从你贴的 Netscape 导出解析出 23 个 Cookie（1084 字符整串），写入 qwen-bv/config.yaml → bilibili.cookie（旧配置备份在 /tmp/config.yaml.bak）
2. 登录态验证：nav 接口 code:0, isLogin:true，账号 弦上弦四（mid 1920949412），WBI key 正常
3. 重启服务：qwen-bv :5001 已加载新 Cookie（pid 1636495）
4. 真实采集测试：POST /collect {"mid": 1920949412}（你自己的账号）—— 13 个视频 / 1 页 / 0.4s，全部落盘：

• bv-loop/data/1920949412 弦上弦四/{bvids.txt, videos.jsonl, manifest.json}
• 数据完整性 OK（含标题、URL、时长、描述、封面）

两个注意点：

• 你导出里的 bili_ticket 已过期（expires ≈ 今天），但实测登录和拉取都不受影响；SESSDATA 有效到 2027-02，短期内不用换。
• 如果以后遇到 -352 风控错误，说明 Cookie 里的风控字段失效了，重新从浏览器导出整串换进去 + 重启服务即可。

下一步：把你要批量采集的 UP 主 mid 或空间 URL 给我（如 BV 空间地址 https://space.bilibili.com/xxxx），我直接跑 collect 全量同步。

知道，这个规范我记得——是你自己定死的，当时你原话是 「data 就这么放着」（原则：一次设计到位，之后不再迁移）。

默认（也是唯一约定的）存储位置：

/home/kipley/Documents/code/learning/bv-loop/data/

具体结构（bv-loop 的「统一数据根」规范）：

bv-loop/data/
├── <mid> <UP名>/          # 每个 UP 一个目录
│   ├── bvids.txt          # BV 号文件清单（一行为一个 bvid）
│   ├── videos.jsonl       # 视频明细（标题/URL/时长/描述/封面）
│   ├── manifest.json      # 同步元数据（总数/页数/同步时间）
│   └── transcripts/       # 转写文本 {bvid}-{标题40}.txt
├── _adhoc/                # 不归属任何 UP 的零散单 BV 转写（qwen-tts 默认输出）
└── archive/ → ../archive  # 实验垃圾迁出地

当前实际状态（刚确认过）：bv-loop/data/ 下已有 7 个 UP 目录（老番茄、橘鸦Juya、bitebyte 等）+ 刚才测试新建的 1920949412 弦上弦四/。

配置出处：qwen-bv 的写入位置由 qwen-bv/config.yaml 的 storage.data_dir 决定，当前值：

data_dir: "/home/kipley/Documents/code/learning/bv-loop/data"   # 统一数据根（bv-loop 统筹）

刚测的 13 个 BV 号文件就落在 bv-loop/data/1920949412 弦上弦四/bvids.txt，和这个规范完全一致 ✅

你提到的「专门存放 BV 文件号的空间」应该就是指这个 bv-loop/data/ 统一数据根——没有第二个存放点。如果你指的是别处（比如别的磁盘/网盘），告诉我位置，我把 storage.data_dir 指过去。

开始采集 UP 3546883435792991：

采集完成，零失败 ✅

UP：杨炎四柱国学（mid 3546883435792991）

| 指标 | 数值 | |---|---| | B 站报告总数 | 767 | | 实际拉取 | 767 | | 去重后 | 767 | | 缺失/失败 | 0（drift=0） | | 翻页数 | 26 页 | | 耗时 | ~29s | | 重试/风控 | 本次 0 次（日志里的 -352 风控错误是更早前 mid=12591775 的旧记录，与本次无关） |

落盘位置（按你定的规范）：

bv-loop/data/3546883435792991 杨炎四柱国学/
├── bvids.txt      767 行（BV16En36HE91、BV1CVn36REvE ...）
├── videos.jsonl   767 条明细（标题/URL/时长/描述/封面）
└── manifest.json  synced_at 2026-10-19T05:09:33Z

767 个 BV 全部拿到，可以直接进入下一步了。要接着跑批量转写吗？（run.sh transcribe "3546883435792991 杨炎四柱国学" -j N，会走 qwen-bv-tts 编排 → qwen-tts ASR）

qwen-tts 服务（:5000）还没起。你说的 ASR 应该是模型后端，我先分别验证两层：

ASR 后端在线（Qwen3-ASR-1.7B）。现在拉起 qwen-tts 服务：

The script has a built-in pre-check (health check + actual transcription test of the shortest video, aborting the entire batch if it fails). We can just start the batch directly—this itself is a "simple test". With 767 videos and concurrency of 10, it will take time to run, so run it in the background:

预检通过、部分视频成功（有 490 字输出），但大量视频报 playurl 未返回 DASH 音频流——先停掉批量，排查这个问题，否则 767 个会一直失败重试：

pkill 匹配到了自己的 shell，重来了。用不会自匹配的方式停进程：

进程已全部停掉。看 qwen-tts 的 playurl 拉取逻辑：

验证确认：匿名请求无 DASH 音频，带 Cookie 正常。写入 Cookie 并重启 qwen-tts：

✅ 问题已修复，批量转写已恢复运行。

排查结果（这次停得对，否则 767 个全白跑）：

• 症状：大量视频报 playurl 未返回 DASH 音频流（502 fetch_failed）
• 根因：qwen-tts 的 config.yaml 里 cookie 是空的——qwen-bv 和 qwen-tts 是两套独立配置，之前只更新了 qwen-bv。匿名请求 playurl 时 B 站风控不返回 DASH 音频流（实测：匿名 dash.audio=False，带 Cookie True）
• 修复：Cookie 写入 qwen-tts/config.yaml → 重启 → 用之前失败的 BV1CVn36REvE 单测通过（1083s 视频 49s 出转写）

当前批量状态：

• 断点续跑生效：之前完成的 5 个自动 [skip]，只补跑缺失的
• 并发 10，0 失败
• 进度：9 / 767（落盘），ASR 正常出字

预计耗时：按当前速度（约 4 个/分钟），767 个大约 2.5–3 小时跑完。

跑完后看结果：

cd /home/kipley/Documents/code/learning/bv-loop
./bin/run.sh status                          # 各 UP 进度
# 失败明细（如有）：
data/3546883435792991\ 杨炎四柱国学/transcripts/_failed.jsonl

要我过段时间帮你查一次进度吗？还是跑完你叫我统计失败清单？

好，我来盯着。每 5 分钟在这里播报一次进度，跑完后给你完整统计。先建一个进度统计小工具：

📊 13:34 — 31 / 767（4.0%） | 失败 0（16 个旧失败正在补跑中）| 批次运行中

📊 13:39 — 37 / 767（4.8%） | 失败 0 | 本周期 +6（部分长视频耗时较久）

📊 13:44 — 47 / 767（6.1%） | 失败 0 | 本周期 +10（速度回升 ~2/分钟）

📊 13:49 — 61 / 767（7.9%） | 失败 0 | 本周期 +14（~2.8/分钟，预计还需 ~4 小时）

qwen-tts 本身支持领域提示词（T-019 约定：请求参数 prompt，会影响同音词选择）。现在看批量链路有没有把它传进去：

查清楚了——没有用。当前批量转写是"裸跑"的，没带任何命理提示词。

链路现状： | 层 | 状态 | |---|---| | qwen-tts API | ✅ 支持 prompt 领域提示词（T-019 约定，2026-10-11 实测：该字段真实影响同音词选择，hot_words 则被忽略） | | qwen-bv-tts 批量 worker（transcribe_one.py） | ❌ POST 只发 {"bvid", "output_dir"}，没传 prompt |

已经出现的同音字错误证据（从刚转出的文本里抓到的）：

• "你这个十柱起了决定性的作用" → 应为「时柱」
• "没有这个根身这一柱" → 应为「根气」（或"根神"，取决于口播）

八字课里这类坑很多：时柱/十柱、用神/有身、伤官/伤观、食神/石神、印绶/印兽、官杀/官煞、身强/声强、羊刃、华盖、驿马、排盘/排板……

当前进度：72/767（刚才播报中断了，批次还在跑，失败 0）。

修复方案（我建议这么做）：

1. 停掉当前批次
2. 给 transcribe_one.py 加 --prompt 参数透传给 API（改动很小）
3. 删掉已转出的 ~72 个文本（不带提示词的，同音字质量不一致，留着会混）
4. 用命理提示词重新全量跑 767 个

提示词我起草了一版（你可以改，或者你有自己的术语表发我）：

音频内容是中文八字命理学（四柱预测学）课程与答疑，请用简体中文输出，
并按命理术语规范选择同音字：八字、四柱、年柱、月柱、日柱、时柱、日主、
天干、地支、十神、比肩、劫财、食神、伤官、偏印、正印、偏财、正财、
七杀、正官、用神、喜神、忌神、身强、身弱、根气、大运、流年、流月、
纳音、空亡、长生、沐浴、冠带、临官、帝旺、衰、病、死、墓、绝、胎、养、
羊刃、华盖、驿马、禄神、天乙贵人、五合、六冲、刑害、甲乙丙丁戊己庚辛壬癸、
子丑寅卯辰巳午未申酉戌亥。

要我现在就执行吗？（停批次 → 改 worker → 清掉旧文本 → 带提示词重跑）还是你先给我一版你自己的提示词/术语表？