feat(pipeline): enhance master pipeline with progress tracking and asset handling

Add support for streaming progress updates in the master pipeline, allowing real-time feedback during asset processing. Update the pipeline stages to ensure LOD0 is treated as the final deliverable, with automatic detection based on asset characteristics. Improve the handling of intermediate files and ensure that progress dashboards reflect all stages of the pipeline, enhancing visibility and user experience.

Author: maikramer

AGENTS.md

@@ -372,7 +372,9 @@ VibeGame has its own CI workflow in `VibeGame/.github/workflows/` (Bun + TypeScr
 - VibeGame: correções reutilizáveis devem ir para a **engine**; no **jogo/exemplo** (ex. `simple-rpg`) ficam só ajustes específicos desse jogo.
 - Exemplos como `simple-rpg`: pós-processamento e partículas com intensidade moderada para jogabilidade, mesmo quando os efeitos permanecem ativos para teste.
 - Áudio 3D e SFX de movimento: preferir integração via sistema da engine (XML/recipes, `AudioListener` + câmera principal) e alinhar o som à ação; evitar silêncio inicial longo nos WAV (trim na geração com `text2sound` ou na importação) para não somar latência perceptível.
-- Instalações e retries de ferramentas devem ser **não-interativos**: `install.sh`, instaladores por pacote e loops de correção não devem bloquear à espera de input (ex. prompts de licença, confirmações); quando a automação falha, reportar e seguir em vez de ficar preso num retry interativo.
+- Instalações e retries de ferramentas devem ser **não-interativos**: `install.sh`, instaladores por pacote e loops de correção não devem bloquear à espera de input (ex. prompts de licença, confirmações); quando a automação falha, reportar e seguir em vez de ficar preso num retry interativo. Em `install.sh --all` priorizar reuso de cache (pip/uv) e alinhamento de versões entre pacotes irmãos para reduzir downloads/builds redundantes.
+- Pipeline de game assets deve tratar o **LOD0 como o asset final entregável** com autodeteção do estágio terminal: se o asset tem animação, o GLB animado vira LOD0; se tem rig sem animação, o rigged vira LOD0; se só chega ao paint, o painted vira LOD0. LOD0 sem rig/animação quando o asset os tem é regressão.
+- CLIs de progresso e dashboards do `gameassets batch` devem refletir **todas as stages** do pipeline (LOD, rig, animate, validate) e não parar visualmente no paint quando há mais trabalho pela frente.
 
 ## Learned Workspace Facts
 
@@ -392,7 +394,7 @@ VibeGame has its own CI workflow in `VibeGame/.github/workflows/` (Bun + TypeScr
 
 - **Arquitetura de responsabilidades — mesh operations**: O **Text3D** é o único dono de operações de mesh (LOD, collision, simplify, remesh, remesh-textured, `topology-fix`, `bake-master`). O GameAssets NÃO deve conter código de mesh — apenas orquestra subprocessos `text3d`. Não usar `bpy` nem `trimesh` diretamente no GameAssets (o legado `bpy_simplify.py` foi removido). O `text3d lod` preserva armatures/animations — não é necessário um caminho separado para LOD rigged. Transferência de weights rigged HI → LODs é responsabilidade do `rigging3d transfer-weights` (não do Text3D).
 
-- **Master pipeline (`gameassets batch --master-pipeline`)**: DAG canónico em `GameAssets/src/gameassets/pipeline_master.py` com stages numeradas: (1) `text3d generate` (shape cru), (2) `text3d topology-fix` (clean, inclui `--export-origin feet|center|none` e `--fill-holes-sides N`), (3) paint, (4) `text3d bake-master` (LOD0 com bake de normais + KTX2/meshopt opcionais a partir do high-poly clean), (5–7) LOD1/LOD2/collision, (8) `rigging3d transfer-weights --source HI --target LOD0 --target LOD1 ...`, (9) animate por LOD, (10) `gamedev-lab check glb --category ...`. Intermediários (`shape`, `painted`, `rigged_hi`, `clean`, `normal_map`) são movidos para `_intermediate/` no fim. `GameProfile` tem `master_pipeline`, `master_validate`, `master_bake_normals`; `--legacy-pipeline` força o pipeline antigo. Flag `text3d generate --no-topology-fix` mantém o Stage 1 cru.
+- **Master pipeline (`gameassets batch`, agora default)**: DAG canónico em `GameAssets/src/gameassets/pipeline_master.py` com stages numeradas: (1) `text3d generate` (shape cru), (2) `text3d topology-fix` (clean, inclui `--export-origin feet|center|none` e `--fill-holes-sides N`), (3) paint, (4) `text3d bake-master` (LOD0 com bake de normais + KTX2/meshopt opcionais a partir do high-poly clean), (5–7) LOD1/LOD2/collision, (8) `rigging3d transfer-weights --source HI --target LOD0 --target LOD1 ...`, (9) animate por LOD, (10) `gamedev-lab check glb --category ...`. Intermediários (`shape`, `painted`, `rigged_hi`, `clean`, `normal_map`) são movidos para `_intermediate/` no fim — o `resume` do batch tem de procurar nesses caminhos para não regenerar do zero quando os intermediários já foram arquivados. `GameProfile` tem `master_pipeline`, `master_validate`, `master_bake_normais`; `--legacy-pipeline` força o pipeline antigo. Flag `text3d generate --no-topology-fix` mantém o Stage 1 cru. A correção de orientação/origem Hunyuan3D → OpenGL (rotação que põe o modelo de pé) tem de ser propagada por **todas** as stages; regressão típica é o mesh aparecer "de barriga para cima" já a partir do `_shape`.
 
 - **Validação GLB — `gamedev-lab check glb`**: usa `GameDevLab/src/gamedev_lab/glb_meta.py` (parser binário do GLB sem `bpy`) para extrair `attributes_present`, `extensions_used`, `texture_mime_types`, `v_per_tri`, `world_bounds_y_min`. Aceita `--category <lod0|lod1|lod2|rigged|collision>` (regras YAML em `GameAssets/src/gameassets/data/rules/*.yaml`) e `--no-bpy-inspect` para correr sem Blender. Regras suportam `mesh_totals.v_per_tri`, `attributes_required`, `texture_format`, `compression`, `origin.y_min`, `face_count.max_per_category`.
 

GameAssets/src/gameassets/batch_cmd.py

@@ -1393,6 +1393,7 @@ def _finalize_mesh_ok_d(
                                 gpu_ids=gpu_ids,
                                 with_lod=with_lod,
                                 with_collision=with_collision,
+                                on_progress_line=dash.feed_line,
                             ):
                                 failures += 1
 
@@ -1863,6 +1864,7 @@ def _finalize_mesh_ok_d(
                                         gpu_ids=gpu_ids,
                                         with_lod=with_lod,
                                         with_collision=with_collision,
+                                        on_progress_line=dash.feed_line,
                                     ):
                                         failures += 1
                                 append_log(rec_d)
@@ -2398,6 +2400,7 @@ def _finalize_mesh_ok(
                                 gpu_ids=gpu_ids,
                                 with_lod=with_lod,
                                 with_collision=with_collision,
+                                on_progress_line=dash.feed_line,
                             ):
                                 failures += 1
 
@@ -2859,6 +2862,7 @@ def _finalize_mesh_ok(
                                         gpu_ids=gpu_ids,
                                         with_lod=with_lod,
                                         with_collision=with_collision,
+                                        on_progress_line=dash.feed_line,
                                     )
                                     append_log(rec)
                                     progress.advance(task2)
@@ -2922,6 +2926,7 @@ def _finalize_mesh_ok(
                                         gpu_ids=gpu_ids,
                                         with_lod=with_lod,
                                         with_collision=with_collision,
+                                        on_progress_line=dash.feed_line,
                                     ):
                                         failures += 1
                                 append_log(rec)

GameAssets/src/gameassets/pipeline.py

@@ -568,6 +568,7 @@ def _post_text3d_mesh_extras(
     use_master_pipeline: bool | None = None,
     with_validate: bool | None = None,
     bake_normals: bool | None = None,
+    on_progress_line: Any = None,
 ) -> bool:
     """Define mesh_path, part3d, rigging3d, animator3d. Devolve True se algum passo falhou.
 
@@ -599,6 +600,7 @@ def _post_text3d_mesh_extras(
             with_animate=with_animate and (animator3d_bin is not None),
             with_validate=with_validate,
             bake_normals=bake_normals,
+            on_progress_line=on_progress_line,
         )
         aggregate_master_results(mres.stages, rec)
         if mres.lod0_path and mres.lod0_path.is_file():

GameAssets/src/gameassets/pipeline_master.py

@@ -18,6 +18,7 @@
 from __future__ import annotations
 
 import logging
+from collections.abc import Callable
 from dataclasses import dataclass, field
 from pathlib import Path
 from typing import Any
@@ -45,6 +46,11 @@
 from .profile import GameProfile
 from .runner import merge_subprocess_output, resolve_binary, run_cmd
 
+try:
+    from gamedev_shared.subprocess_utils import run_cmd_streaming as _run_cmd_streaming
+except ImportError:  # pragma: no cover
+    _run_cmd_streaming = None  # type: ignore[assignment]
+
 log = logging.getLogger(__name__)
 
 
@@ -118,12 +124,19 @@ def _stage(
     *,
     item_id: str | None = None,
     profile_enabled: bool = False,
+    on_progress_line: "Callable[[str], None] | None" = None,
 ) -> StageResult:
     """Executa um stage do master pipeline.
 
     Round 2: envolto em ``ProfilerSession`` para spans no perf.db quando
     ``profile_enabled`` (controlado por ``GAMEDEV_PROFILE`` no child_env).
     Emite ``emit_progress`` no início e fim para visibilidade no dashboard.
+
+    ``on_progress_line``: callback alimentado linha-a-linha com stdout do
+    subprocesso. Permite encaminhar ``emit_progress`` events emitidos pelas
+    ferramentas (text3d, rigging3d, animator3d) para o dashboard do
+    gameassets — sem isso, o dashboard só vê os events do orquestrador
+    (start/end por stage) e parece "congelar" após paint3d.
     """
     import time as _time
 
@@ -141,7 +154,31 @@ def _stage(
             cli_profile=profile_enabled,
             params={"item_id": item_id} if item_id else None,
         ):
-            r = run_cmd(argv, extra_env=env, cwd=cwd)
+            if on_progress_line is not None and _run_cmd_streaming is not None:
+                # Stream stdout para callback (dashboard) E acumula resultado.
+                stdout_buf: list[str] = []
+                stderr_buf: list[str] = []
+
+                def _on_out(line: str) -> None:
+                    stdout_buf.append(line)
+                    try:
+                        on_progress_line(line)
+                    except Exception:  # noqa: BLE001
+                        pass
+
+                def _on_err(line: str) -> None:
+                    stderr_buf.append(line)
+
+                rs = _run_cmd_streaming(
+                    argv,
+                    on_stdout_line=_on_out,
+                    on_stderr_line=_on_err,
+                    cwd=cwd,
+                    extra_env=env,
+                )
+                r = rs
+            else:
+                r = run_cmd(argv, extra_env=env, cwd=cwd)
     except Exception as exc:  # noqa: BLE001
         dt = _time.perf_counter() - t0
         if item_id:
@@ -176,6 +213,7 @@ def run_master_pipeline(
     with_animate: bool = False,
     with_validate: bool = True,
     bake_normals: bool | None = None,
+    on_progress_line: Callable[[str], None] | None = None,
 ) -> MasterPipelineResult:
     """Executa o DAG novo a partir de ``id_shape.glb`` e ``id_painted.glb``.
 
@@ -213,6 +251,7 @@ def _run(name: str, argv: list[str], output: Path | None = None) -> StageResult:
             output,
             item_id=row.id,
             profile_enabled=profile_enabled,
+            on_progress_line=on_progress_line,
         )
 
     text3d_bin = _bin_or_none("TEXT3D_BIN", "text3d")
@@ -512,6 +551,7 @@ def resume_master_pipeline(
     with_animate: bool = False,
     with_validate: bool = True,
     bake_normals: bool | None = None,
+    on_progress_line: Callable[[str], None] | None = None,
 ) -> MasterPipelineResult:
     """Retoma o master pipeline a partir do checkpoint detectado.
 
@@ -564,6 +604,7 @@ def resume_master_pipeline(
         with_animate=with_animate,
         with_validate=with_validate,
         bake_normals=bake_normals,
+        on_progress_line=on_progress_line,
     )