fix: 批量任务进度实时汇总,暂停/中断时前端不再显示 0/总数 0%
batch_jobs.done 此前只在任务整体完成时一次性汇总,处理中途(尤其被暂停) 恒为 0,导致前端显示 "0/431 完成 0%" 而实际已处理多个视频 (回归 batch_fee668175444:已处理 15 个仍显示 0/431)。 - db: 新增 sync_batch_job_progress(按明细实时重算 done=COMPLETED+SKIPPED、 failed=FAILED 并落库)与 refresh_batch_job(对齐后返回最新任务) - batch 引擎: 暂停返回、SKIPPED/COMPLETED continue、视频缺失、单视频异常后、 任务收尾等边界统一调用实时对齐,替代收尾一次性 sum - routers/batch: 列表/详情读取前实时对齐,即使引擎不在运行也返回真实进度 - tests: 新增 6 条 TDD 回归测试覆盖 db 助手、引擎暂停、SKIPPED、API 读取侧 同时按用户要求:移除 100% 行覆盖率强制门槛(pytest 不再 --cov-fail-under), 约定小改动只跑相关测试、保证功能可用即可(AGENTS.md 与 pyproject.toml)。
This commit is contained in:
+16
-5
@@ -350,16 +350,23 @@ class BatchWorker:
|
||||
# 暂停检查:批量任务被暂停后停止处理后续视频,等待用户继续。
|
||||
current = self.db.get_batch_job(job_id)
|
||||
if current is None or current["status"] == "PAUSED":
|
||||
# 停下前把已完成的视频实时入账:任务可能已处理多个视频才被暂停,
|
||||
# 若不在暂停边界同步,前端会一直看到 0/总数 0%(回归 batch_fee668175444)。
|
||||
self.db.sync_batch_job_progress(job_id)
|
||||
logger.info("批量任务 %s 已暂停,停止在视频 %s", job_id, item["video_path"])
|
||||
return
|
||||
|
||||
# 已完成/已跳过的视频不再处理(跳过决策在创建任务时已定)。
|
||||
if item["status"] in ("COMPLETED", "SKIPPED"):
|
||||
# 已完成的视频同样是任务进度的一部分:continue 前实时同步汇总,
|
||||
# 避免长任务(大量 SKIPPED)中途汇总停留在 0。
|
||||
self.db.sync_batch_job_progress(job_id)
|
||||
continue
|
||||
|
||||
video = Path(item["video_path"])
|
||||
if not video.is_file():
|
||||
self.db.update_batch_video(item["id"], status="FAILED", error="video file not found", updated_at=_now_iso())
|
||||
self.db.sync_batch_job_progress(job_id)
|
||||
continue
|
||||
|
||||
work_dir = Path(item["work_dir"])
|
||||
@@ -374,6 +381,8 @@ class BatchWorker:
|
||||
# 单视频兜底:不中断整个批量任务,记录错误后继续下一个视频。
|
||||
logger.exception("批量任务 %s 视频 %s 处理异常", job_id, video)
|
||||
self.db.update_batch_video(item["id"], status="FAILED", error=str(exc), updated_at=_now_iso())
|
||||
# 本视频处理完(成功/失败/暂停)后实时同步一次汇总,让进度尽快入账。
|
||||
self.db.sync_batch_job_progress(job_id)
|
||||
|
||||
# 重新读取视频明细:_process_video 可能刚创建 run 或已收尾清理
|
||||
# (快照里 run_id 可能是旧值),必须取最新记录判断暂停状态。
|
||||
@@ -382,15 +391,17 @@ class BatchWorker:
|
||||
run = self.db.get_run(item["run_id"]) if item and item.get("run_id") else None
|
||||
if run is not None and run["status"] == "PAUSED":
|
||||
self.db.update_batch_video(item["id"], status="PAUSED", updated_at=_now_iso())
|
||||
self.db.sync_batch_job_progress(job_id)
|
||||
self.db.update_batch_job(job_id, status="PAUSED", updated_at=_now_iso())
|
||||
return
|
||||
|
||||
# 全部视频处理完成:汇总已处理与失败数量,任务置为 COMPLETED。
|
||||
items = self.db.list_batch_videos(job_id)
|
||||
done = sum(1 for item in items if item["status"] in ("COMPLETED", "SKIPPED"))
|
||||
failed = sum(1 for item in items if item["status"] == "FAILED")
|
||||
# 全部视频处理完成:先用明细实时对齐汇总(含已跳过),再置 COMPLETED。
|
||||
self.db.sync_batch_job_progress(job_id)
|
||||
job = self.db.get_batch_job(job_id)
|
||||
done = int(job["done"]) if job else 0
|
||||
failed = int(job["failed"]) if job else 0
|
||||
self.db.update_batch_job(
|
||||
job_id, status="COMPLETED", progress=1.0, done=done, failed=failed,
|
||||
job_id, status="COMPLETED", progress=1.0,
|
||||
current_video=None, error=None, updated_at=_now_iso(),
|
||||
)
|
||||
logger.info(
|
||||
|
||||
@@ -9,10 +9,16 @@ from __future__ import annotations
|
||||
import json
|
||||
import sqlite3
|
||||
from contextlib import contextmanager
|
||||
from datetime import datetime, timezone
|
||||
from pathlib import Path
|
||||
from typing import Any, Iterator
|
||||
|
||||
|
||||
def _now_iso() -> str:
|
||||
"""返回当前 UTC 时间的 ISO 格式字符串(与批量引擎的时间戳一致)。"""
|
||||
return datetime.now(timezone.utc).isoformat()
|
||||
|
||||
|
||||
class Database:
|
||||
"""SQLite 数据库封装:负责建表以及工作流/任务/产物的 CRUD。"""
|
||||
|
||||
@@ -551,6 +557,46 @@ class Database:
|
||||
with self._connect() as conn:
|
||||
conn.execute(f"UPDATE batch_jobs SET {assignments} WHERE id = ?", values)
|
||||
|
||||
|
||||
def sync_batch_job_progress(self, job_id: str) -> None:
|
||||
"""按视频明细实时重算任务的 done/failed 汇总并落库。
|
||||
|
||||
明细里 COMPLETED 与 SKIPPED 都计入 done(它们都不再需要处理,是任务
|
||||
已完成的工作量);FAILED 计入 failed;PAUSED/PENDING 等状态不计。
|
||||
引擎在暂停、视频间检查、收尾等边界调用,router 在读取前也调用,保证
|
||||
前端看到的进度始终与明细一致——即使任务被暂停或进程被终止,汇总字段
|
||||
也不会停留在创建时的 0(回归 batch_fee668175444:处理了 15 个仍显示
|
||||
0/431)。任务不存在时静默返回。
|
||||
"""
|
||||
with self._connect() as conn:
|
||||
counts = conn.execute(
|
||||
"""
|
||||
SELECT
|
||||
SUM(CASE WHEN status IN ('COMPLETED', 'SKIPPED') THEN 1 ELSE 0 END) AS done,
|
||||
SUM(CASE WHEN status = 'FAILED' THEN 1 ELSE 0 END) AS failed
|
||||
FROM batch_videos WHERE job_id = ?
|
||||
""",
|
||||
(job_id,),
|
||||
).fetchone()
|
||||
if counts is None or counts["done"] is None:
|
||||
# 任务不存在或没有任何明细:无需更新。
|
||||
return
|
||||
conn.execute(
|
||||
"UPDATE batch_jobs SET done = ?, failed = ?, updated_at = ? WHERE id = ?",
|
||||
(int(counts["done"]), int(counts["failed"]), _now_iso(), job_id),
|
||||
)
|
||||
|
||||
def refresh_batch_job(self, job_id: str) -> dict[str, Any] | None:
|
||||
"""实时对齐任务汇总后返回最新记录(读取侧统一入口)。
|
||||
|
||||
先 sync_batch_job_progress 让 done/failed 与明细一致,再返回最新 job;
|
||||
任务不存在返回 None。批量引擎与 router 共用此入口,保证各处看到的
|
||||
进度数字一致。
|
||||
"""
|
||||
self.sync_batch_job_progress(job_id)
|
||||
return self.get_batch_job(job_id)
|
||||
|
||||
|
||||
def delete_batch_job(self, job_id: str) -> None:
|
||||
"""删除批量任务记录及其全部视频明细(不含 workflow_runs)。"""
|
||||
with self._connect() as conn:
|
||||
|
||||
@@ -79,20 +79,31 @@ def create_batch_job(
|
||||
|
||||
@router.get("/api/batch/jobs")
|
||||
def list_batch_jobs(db: Database = Depends(_get_db)) -> list[dict]:
|
||||
"""返回最近的批量任务列表(不含视频明细,明细按需单独查询)。"""
|
||||
"""返回最近的批量任务列表(不含视频明细,明细按需单独查询)。
|
||||
|
||||
返回前对每个任务实时对齐 done/failed:任务被暂停或引擎不在运行时,汇总
|
||||
字段也能与明细一致,前端列表的进度数字不会停留在 0(回归 batch_fee668175444)。
|
||||
"""
|
||||
jobs = db.list_batch_jobs()
|
||||
for job in jobs:
|
||||
db.sync_batch_job_progress(str(job["id"]))
|
||||
# 对齐会刷新 updated_at 与顺序无关,直接返回更新后的最新列表。
|
||||
return db.list_batch_jobs()
|
||||
|
||||
|
||||
@router.get("/api/batch/jobs/{job_id}")
|
||||
def get_batch_job(job_id: str, db: Database = Depends(_get_db)) -> dict:
|
||||
"""返回批量任务详情,附带每个视频的处理状态与最终产物清单。"""
|
||||
job = db.get_batch_job(job_id)
|
||||
"""返回批量任务详情,附带每个视频的处理状态与最终产物清单。
|
||||
|
||||
详情读取前也实时对齐汇总(与列表接口一致),保证暂停/中断中的任务展示
|
||||
真实进度。任务不存在返回 404。
|
||||
"""
|
||||
job = db.refresh_batch_job(job_id)
|
||||
if job is None:
|
||||
raise HTTPException(status_code=404, detail="batch job not found")
|
||||
job["videos"] = _enrich_videos(db, db.list_batch_videos(job_id))
|
||||
return job
|
||||
|
||||
|
||||
@router.post("/api/batch/jobs/{job_id}/pause")
|
||||
def pause_batch_job(
|
||||
job_id: str,
|
||||
|
||||
Reference in New Issue
Block a user