Skip to content

Criar app/estrutura base para geração de índice Silver (docs mesclados) #645

@pitangainnovare

Description

@pitangainnovare

Descrição da nova funcionalidade

Eu, como responsável pela gestão e operação da pipeline de dados, gostaria que o sistema possibilitasse a mescla periódica entre documentos das fontes de origem gerando uma versão canônica, enriquecida. Esta Issue não exige a construção das mesclas em si - o foco é na criação da arquitetura de uma app, prevendo normalizadores e estratégias para o processamento periódico.

Critérios de aceitação

  • Permitir a execução periódica do processo de mesclagem.
  • Permitir o reprocessamento de itens já mesclados.
  • Permitir o reprocessamento de itens que apresentaram erro em execuções anteriores.
  • Manter controle de estado para cada documento das fontes de origem, incluindo registros em raw e bronze.
  • Registrar o status de processamento de cada item, como: pendente, processado, mesclado, erro ou aguardando reprocessamento.
  • Permitir identificar a origem do documento e o estágio atual na pipeline.
  • Evitar duplicidade de processamento sem controle explícito.
  • Possibilitar auditoria mínima do processo, incluindo data da última tentativa, erro ocorrido e quantidade de tentativas.

Anexos

N/A

Referências

N/A

Metadata

Metadata

Labels

enhancementNew feature or request
No fields configured for Feature.

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions