docs: document csv fan import
This commit is contained in:
1 parent
c4c9c0b038
commit
dd6b09807d
3 files changed
+28
-19
No files matched your search
+7
-7
@@ -117,9 +117,9 @@ uv run python app.py
|
||||
uv run python tools/seed_preview_db.py --days 7
|
||||
uv run python app.py serve --preview --config data/preview/config.json
|
||||
|
||||
# 从小满虫之家回填粉丝历史(先 dry-run,默认跳过已有成功记录)
|
||||
uv run python tools/import_fans_history.py --days 90 --dry-run
|
||||
uv run python tools/import_fans_history.py --days 90
|
||||
# 从 B 站粉丝历史 CSV 回填(先 dry-run;首次完整导入可用 --replace)
|
||||
uv run python tools/import_fans_csv.py --csv E:\Downloads\history.csv --dry-run
|
||||
uv run python tools/import_fans_csv.py --csv E:\Downloads\history.csv --replace
|
||||
```
|
||||
|
||||
不建议直接激活 `.venv`;优先使用 `uv run ...`,这样命令总是运行在项目锁定的解释器和环境中。
|
||||
@@ -237,7 +237,7 @@ PRAGMA synchronous = NORMAL;
|
||||
│
|
||||
├── tools/
|
||||
│ ├── seed_preview_db.py # 复制真实库并回填 7 天预览数据
|
||||
│ └── import_fans_history.py # 从小满虫之家回填 90 天粉丝历史
|
||||
│ └── import_fans_csv.py # 从 B 站粉丝历史 CSV 回填 up_stat
|
||||
│
|
||||
├── tests/
|
||||
└── data/ # 本地运行期数据,默认不提交
|
||||
@@ -439,7 +439,7 @@ P3 实现说明:
|
||||
- 其他错误最多重试 3 次,仍失败则写入 `ok=0` 与错误信息,不写伪造的零值;
|
||||
- 每条视频请求之间随机等待 1.0~1.6 秒;
|
||||
- 对 `track_fans` 中的每个 mid 请求一次 `relation/stat` 并写入 `up_stat`;
|
||||
- 可用 `tools/import_fans_history.py` 从小满虫之家公开 `data.js` 回填最近 90 天粉丝历史;只写 `up_stat`,默认跳过已有成功记录;
|
||||
- 可用 `tools/import_fans_csv.py` 从 B 站粉丝历史 CSV 回填 `up_stat`;只写 `up_stat`,默认跳过已有成功记录,`--replace` 可用完整历史覆盖重建;
|
||||
- 任务结束向 Telegram 发送成功数、失败数、移除数和总耗时摘要。
|
||||
|
||||
服务启动后若当天快照尚未成功完成,应补跑当日任务;已成功的 `(stat_date, aid)` 不重复请求。
|
||||
@@ -610,7 +610,7 @@ uv run python tests/test_moves.py
|
||||
- 看板查询的筛选、分页、增长冷启动与状态过滤;
|
||||
- 只读路由、鉴权、静态资源路径穿越和预览标记校验;
|
||||
- 预览库生成的确定性、单调性、异常样本与真实库隔离;
|
||||
- 粉丝历史 data.js 解析、每日净增反推、缺口停止与幂等回填。
|
||||
- 粉丝历史 CSV 解析、同日去重、缺口计数与幂等/替换回填。
|
||||
|
||||
只有当标准库测试维护成本明显过高时,才考虑通过 `uv add --dev pytest` 引入 pytest。
|
||||
|
||||
@@ -693,7 +693,7 @@ uv run python tests/test_moves.py
|
||||
- 视频趋势按单指标切换,缺失日断开、失败快照按缺失处理;
|
||||
- UP 榜默认平均播放,总播放/视频数排到末尾;单视频 UP 不显示单视频对比图;
|
||||
- 实现 `tools/seed_preview_db.py`:复制真实库并回填 7 天合成快照,支持 `--profile live|first-day`;
|
||||
- 实现 `tools/import_fans_history.py`:从小满虫之家 `data.js` 回填 90 天粉丝历史,支持 dry-run、缺口停止和幂等写入;
|
||||
- 实现 `tools/import_fans_csv.py`:从 B 站粉丝历史 CSV 回填 `up_stat`,支持 dry-run、`--force` 覆盖和 `--replace` 重建;
|
||||
- `serve --preview` 校验 `preview:seeded=1` 标记,预览页面显示“预览数据”横幅;
|
||||
- 自动化测试见 `tests/test_analytics.py`、`test_preview_seed.py`、`test_web_queries.py`、`test_web_server.py`。
|
||||
|
||||
|
||||
Reference in new issue
Block a user