Descrição da nova funcionalidade
Eu, como responsável pela gestão e operação da pipeline de dados, gostaria que o sistema possibilitasse a mescla periódica entre documentos das fontes de origem gerando uma versão canônica, enriquecida. Esta Issue não exige a construção das mesclas em si - o foco é na criação da arquitetura de uma app, prevendo normalizadores e estratégias para o processamento periódico.
Critérios de aceitação
- Permitir a execução periódica do processo de mesclagem.
- Permitir o reprocessamento de itens já mesclados.
- Permitir o reprocessamento de itens que apresentaram erro em execuções anteriores.
- Manter controle de estado para cada documento das fontes de origem, incluindo registros em
raw e bronze.
- Registrar o status de processamento de cada item, como: pendente, processado, mesclado, erro ou aguardando reprocessamento.
- Permitir identificar a origem do documento e o estágio atual na pipeline.
- Evitar duplicidade de processamento sem controle explícito.
- Possibilitar auditoria mínima do processo, incluindo data da última tentativa, erro ocorrido e quantidade de tentativas.
Anexos
N/A
Referências
N/A
Descrição da nova funcionalidade
Eu, como responsável pela gestão e operação da pipeline de dados, gostaria que o sistema possibilitasse a mescla periódica entre documentos das fontes de origem gerando uma versão canônica, enriquecida. Esta Issue não exige a construção das mesclas em si - o foco é na criação da arquitetura de uma app, prevendo normalizadores e estratégias para o processamento periódico.
Critérios de aceitação
rawebronze.Anexos
N/A
Referências
N/A