fix: 批量任务进度实时汇总,暂停/中断时前端不再显示 0/总数 0%

batch_jobs.done 此前只在任务整体完成时一次性汇总,处理中途(尤其被暂停)
恒为 0,导致前端显示 "0/431 完成 0%" 而实际已处理多个视频
(回归 batch_fee668175444:已处理 15 个仍显示 0/431)。

- db: 新增 sync_batch_job_progress(按明细实时重算 done=COMPLETED+SKIPPED、
  failed=FAILED 并落库)与 refresh_batch_job(对齐后返回最新任务)
- batch 引擎: 暂停返回、SKIPPED/COMPLETED continue、视频缺失、单视频异常后、
  任务收尾等边界统一调用实时对齐,替代收尾一次性 sum
- routers/batch: 列表/详情读取前实时对齐,即使引擎不在运行也返回真实进度
- tests: 新增 6 条 TDD 回归测试覆盖 db 助手、引擎暂停、SKIPPED、API 读取侧

同时按用户要求:移除 100% 行覆盖率强制门槛(pytest 不再 --cov-fail-under),
约定小改动只跑相关测试、保证功能可用即可(AGENTS.md 与 pyproject.toml)。
This commit is contained in:
2026-09-06 16:57:05 +08:00
parent fbcb5115d8
commit 52512c26e5
6 changed files with 243 additions and 18 deletions
+16 -5
View File
@@ -350,16 +350,23 @@ class BatchWorker:
# 暂停检查:批量任务被暂停后停止处理后续视频,等待用户继续。
current = self.db.get_batch_job(job_id)
if current is None or current["status"] == "PAUSED":
# 停下前把已完成的视频实时入账:任务可能已处理多个视频才被暂停,
# 若不在暂停边界同步,前端会一直看到 0/总数 0%(回归 batch_fee668175444)。
self.db.sync_batch_job_progress(job_id)
logger.info("批量任务 %s 已暂停,停止在视频 %s", job_id, item["video_path"])
return
# 已完成/已跳过的视频不再处理(跳过决策在创建任务时已定)。
if item["status"] in ("COMPLETED", "SKIPPED"):
# 已完成的视频同样是任务进度的一部分:continue 前实时同步汇总,
# 避免长任务(大量 SKIPPED)中途汇总停留在 0。
self.db.sync_batch_job_progress(job_id)
continue
video = Path(item["video_path"])
if not video.is_file():
self.db.update_batch_video(item["id"], status="FAILED", error="video file not found", updated_at=_now_iso())
self.db.sync_batch_job_progress(job_id)
continue
work_dir = Path(item["work_dir"])
@@ -374,6 +381,8 @@ class BatchWorker:
# 单视频兜底:不中断整个批量任务,记录错误后继续下一个视频。
logger.exception("批量任务 %s 视频 %s 处理异常", job_id, video)
self.db.update_batch_video(item["id"], status="FAILED", error=str(exc), updated_at=_now_iso())
# 本视频处理完(成功/失败/暂停)后实时同步一次汇总,让进度尽快入账。
self.db.sync_batch_job_progress(job_id)
# 重新读取视频明细:_process_video 可能刚创建 run 或已收尾清理
# (快照里 run_id 可能是旧值),必须取最新记录判断暂停状态。
@@ -382,15 +391,17 @@ class BatchWorker:
run = self.db.get_run(item["run_id"]) if item and item.get("run_id") else None
if run is not None and run["status"] == "PAUSED":
self.db.update_batch_video(item["id"], status="PAUSED", updated_at=_now_iso())
self.db.sync_batch_job_progress(job_id)
self.db.update_batch_job(job_id, status="PAUSED", updated_at=_now_iso())
return
# 全部视频处理完成:汇总已处理与失败数量,任务置为 COMPLETED。
items = self.db.list_batch_videos(job_id)
done = sum(1 for item in items if item["status"] in ("COMPLETED", "SKIPPED"))
failed = sum(1 for item in items if item["status"] == "FAILED")
# 全部视频处理完成:先用明细实时对齐汇总(含已跳过),再置 COMPLETED。
self.db.sync_batch_job_progress(job_id)
job = self.db.get_batch_job(job_id)
done = int(job["done"]) if job else 0
failed = int(job["failed"]) if job else 0
self.db.update_batch_job(
job_id, status="COMPLETED", progress=1.0, done=done, failed=failed,
job_id, status="COMPLETED", progress=1.0,
current_video=None, error=None, updated_at=_now_iso(),
)
logger.info(
+46
View File
@@ -9,10 +9,16 @@ from __future__ import annotations
import json
import sqlite3
from contextlib import contextmanager
from datetime import datetime, timezone
from pathlib import Path
from typing import Any, Iterator
def _now_iso() -> str:
"""返回当前 UTC 时间的 ISO 格式字符串(与批量引擎的时间戳一致)。"""
return datetime.now(timezone.utc).isoformat()
class Database:
"""SQLite 数据库封装:负责建表以及工作流/任务/产物的 CRUD。"""
@@ -551,6 +557,46 @@ class Database:
with self._connect() as conn:
conn.execute(f"UPDATE batch_jobs SET {assignments} WHERE id = ?", values)
def sync_batch_job_progress(self, job_id: str) -> None:
"""按视频明细实时重算任务的 done/failed 汇总并落库。
明细里 COMPLETED 与 SKIPPED 都计入 done(它们都不再需要处理,是任务
已完成的工作量);FAILED 计入 failedPAUSED/PENDING 等状态不计。
引擎在暂停、视频间检查、收尾等边界调用,router 在读取前也调用,保证
前端看到的进度始终与明细一致——即使任务被暂停或进程被终止,汇总字段
也不会停留在创建时的 0(回归 batch_fee668175444:处理了 15 个仍显示
0/431)。任务不存在时静默返回。
"""
with self._connect() as conn:
counts = conn.execute(
"""
SELECT
SUM(CASE WHEN status IN ('COMPLETED', 'SKIPPED') THEN 1 ELSE 0 END) AS done,
SUM(CASE WHEN status = 'FAILED' THEN 1 ELSE 0 END) AS failed
FROM batch_videos WHERE job_id = ?
""",
(job_id,),
).fetchone()
if counts is None or counts["done"] is None:
# 任务不存在或没有任何明细:无需更新。
return
conn.execute(
"UPDATE batch_jobs SET done = ?, failed = ?, updated_at = ? WHERE id = ?",
(int(counts["done"]), int(counts["failed"]), _now_iso(), job_id),
)
def refresh_batch_job(self, job_id: str) -> dict[str, Any] | None:
"""实时对齐任务汇总后返回最新记录(读取侧统一入口)。
先 sync_batch_job_progress 让 done/failed 与明细一致,再返回最新 job;
任务不存在返回 None。批量引擎与 router 共用此入口,保证各处看到的
进度数字一致。
"""
self.sync_batch_job_progress(job_id)
return self.get_batch_job(job_id)
def delete_batch_job(self, job_id: str) -> None:
"""删除批量任务记录及其全部视频明细(不含 workflow_runs)。"""
with self._connect() as conn:
+15 -4
View File
@@ -79,20 +79,31 @@ def create_batch_job(
@router.get("/api/batch/jobs")
def list_batch_jobs(db: Database = Depends(_get_db)) -> list[dict]:
"""返回最近的批量任务列表(不含视频明细,明细按需单独查询)。"""
"""返回最近的批量任务列表(不含视频明细,明细按需单独查询)。
返回前对每个任务实时对齐 done/failed:任务被暂停或引擎不在运行时,汇总
字段也能与明细一致,前端列表的进度数字不会停留在 0(回归 batch_fee668175444)。
"""
jobs = db.list_batch_jobs()
for job in jobs:
db.sync_batch_job_progress(str(job["id"]))
# 对齐会刷新 updated_at 与顺序无关,直接返回更新后的最新列表。
return db.list_batch_jobs()
@router.get("/api/batch/jobs/{job_id}")
def get_batch_job(job_id: str, db: Database = Depends(_get_db)) -> dict:
"""返回批量任务详情,附带每个视频的处理状态与最终产物清单。"""
job = db.get_batch_job(job_id)
"""返回批量任务详情,附带每个视频的处理状态与最终产物清单。
详情读取前也实时对齐汇总(与列表接口一致),保证暂停/中断中的任务展示
真实进度。任务不存在返回 404。
"""
job = db.refresh_batch_job(job_id)
if job is None:
raise HTTPException(status_code=404, detail="batch job not found")
job["videos"] = _enrich_videos(db, db.list_batch_videos(job_id))
return job
@router.post("/api/batch/jobs/{job_id}/pause")
def pause_batch_job(
job_id: str,