Skip to content

Latest commit

 

History

History
50 lines (31 loc) · 3.34 KB

PIPELINE.md

File metadata and controls

50 lines (31 loc) · 3.34 KB

当前工作流

推荐入口:python -m video2scene workbench。安装 · 配置

从视频到白模

  1. 导入一个本机可读取的视频。界面支持上传,也支持指定源文件。
  2. 在讨论模式中说明目标,例如“查看关键帧,识别主要家具和房间结构,构建白模供我核对”。
  3. Pi 读取关键帧,形成对象清单和分割提示,显式调用 ViPE 与 SAM。
  4. ViPE 使用独立的密集时序输入;观察帧和 SAM 掩码通过原始帧号对应到几何。工作台保存输入哈希和工具记录。
  5. Agent 根据图像与测量构建白模。页面等待用户核对。

确认布局与精修

在场景中选中对象,通过属性面板调整位置和尺寸,保存后检查结果。点击“采用布局”会绑定当前保存版本及实际用户操作。模型不能替用户生成这条确认记录。

采用布局后,可以精修选中对象,也可以执行整屋剩余对象精修。单对象默认最多两轮、四次作者/critic 调用;整屋任务的总调用量随对象数量增加,Pi 编排本身也会使用模型。

新批次默认持续调度 3 个对象任务,可在 1–4 之间调整。完成的资产包立即进入待保存队列,依赖和资源允许时补入下一件;同一场景的合并、技术验证与提交仍串行执行。模型调用默认共享上限 3,Blender 执行组默认 1;对象任务数不等于同时运行的模型调用数。旧批次继续保留原有分轮模式。调度、授权与恢复细节

精修保持已采用的对象根变换、支撑和边界。视觉复核结果与技术约束检查分别保留;不满足提交条件的候选不会成为场景版本。

暂停、恢复与导出

  • 暂停后等待当前 worker 收尾,再恢复。进程重启后,结果不明的调用不会自动重放。
  • 恢复会先读取项目当前状态,复用已保存版本和已确认的资产包。
  • 导出绑定保存版本;继续修改后需要重新导出。
  • 工作台默认输出目录为 outputs/pi_workflow_v1/。可用 --root 指定独立目录。
python -m video2scene workbench --root outputs/my-workbench --port 8794

保留源视频与项目输出目录之间的可读路径。当前运行记录使用绝对路径,跨机器迁移整个运行目录尚未实现。

输入与能力范围

首版针对静态室内场景。清晰、慢速、覆盖多角度的输入更容易提供足够证据。透明、镜面、细杆、重遮挡和缺少纹理的表面仍可能失败。绝对尺度与所有不可见表面不受保证。

当前观察/分割输入有 160 帧和 12 个初始实例的边界;密集 ViPE 另有 2048 帧上限,实际显存可能更早成为限制。具体视频超出边界时会报错,需要裁剪或调整输入。

旧几何命令

run、infer、reconstruct、pipeline 等命令保留用于几何工具及历史实验。查看它们各自的 --help;推荐使用 --segment none 处理已有 ViPE 数据,YOLO 是单独安装且受其许可约束的可选后端。

python -m video2scene reconstruct --vipe-dir /path/to/vipe-results --sequence room --output outputs/mesh --segment none

旧命令产物与当前工作台的版本化项目并非同一种存储格式。架构与目录