Skip to content

Commit 4287da0

Browse files
Merge pull request #58 from Ritik574-coder/dbt_branch
data validate and transformation and logic in inventory table
2 parents 674d9d3 + 2b66cce commit 4287da0

2 files changed

Lines changed: 279 additions & 51 deletions

File tree

DATA_PIPELINE_GUIDE.md

Lines changed: 63 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -36,12 +36,69 @@ The project is structured into three distinct functional layers to ensure data q
3636
Organize your models directory by layer to keep the project maintainable:
3737
3838
models/
39-
├── silver/ # Transformations, cleaning, standardization
40-
│ ├── customers.sql
41-
│ ├── employees.sql
42-
│ └── schema.yml
43-
└── gold/ # Business logic, aggregations, KPIs
44-
└── dim_customers.sql
39+
40+
├── staging/
41+
│ │
42+
│ ├── bronze/
43+
│ │ ├── src_employees.sql
44+
│ │ ├── src_customers.sql
45+
│ │ ├── src_orders.sql
46+
│ │ ├── src_products.sql
47+
│ │ ├── src_inventory.sql
48+
│ │ ├── src_stores.sql
49+
│ │ ├── src_payments.sql
50+
│ │ └── src_shipments.sql
51+
│ │
52+
│ └── silver/
53+
│ │
54+
│ ├── intermediate/
55+
│ │ │
56+
│ │ ├── employees/
57+
│ │ │ ├── int_employee_name_cleaning.sql
58+
│ │ │ ├── int_employee_email_cleaning.sql
59+
│ │ │ ├── int_employee_phone_cleaning.sql
60+
│ │ │ ├── int_employee_date_cleaning.sql
61+
│ │ │ └── int_employee_status_cleaning.sql
62+
│ │ │
63+
│ │ ├── customers/
64+
│ │ ├── orders/
65+
│ │ ├── inventory/
66+
│ │ └── products/
67+
│ │
68+
│ ├── silver_employees.sql
69+
│ ├── silver_customers.sql
70+
│ ├── silver_orders.sql
71+
│ ├── silver_products.sql
72+
│ ├── silver_inventory.sql
73+
│ ├── silver_stores.sql
74+
│ ├── silver_payments.sql
75+
│ └── silver_shipments.sql
76+
77+
├── marts/
78+
│ │
79+
│ ├── dimensions/
80+
│ │ ├── dim_customers.sql
81+
│ │ ├── dim_products.sql
82+
│ │ ├── dim_employees.sql
83+
│ │ └── dim_stores.sql
84+
│ │
85+
│ ├── facts/
86+
│ │ ├── fact_orders.sql
87+
│ │ ├── fact_inventory.sql
88+
│ │ ├── fact_payments.sql
89+
│ │ └── fact_shipments.sql
90+
│ │
91+
│ └── reporting/
92+
│ ├── sales_summary.sql
93+
│ ├── inventory_summary.sql
94+
│ └── employee_performance.sql
95+
96+
├── tests/
97+
98+
├── macros/
99+
100+
└── seeds/
101+
45102
```
46103

47104
### 🔍 B. Source Definition & Testing

0 commit comments

Comments
 (0)