Arquitetura de dados moderna: Lakehouse, ELT e camadas Medallion
A arquitetura de referência CCX para dados enterprise combina camadas Bronze (raw landing), Silver (cleaned/conformed) e Gold (business-ready) sobre lakehouse (Delta Lake em Databricks, Iceberg em AWS Athena/EMR, ou Snowflake Iceberg Tables). O padrão Medallion separa responsabilidades, permite reprocessamento idempotente e dá rastreabilidade ponto-a-ponto com lineage automatizado.
Ingestão em ELT (não ETL) com ferramentas modernas: Fivetran para conectores SaaS (Salesforce, HubSpot, Stripe, Google Ads, Meta Ads), Airbyte para conectores custom e self-hosted, Debezium/Kafka Connect para CDC transacional (Postgres/MySQL/MongoDB → warehouse em <60s). Transformations em dbt (data build tool) com tests, docs e CI/CD.
Observabilidade de dados com Monte Carlo, Elementary ou Great Expectations: freshness checks, volume anomaly, schema drift, value distribution, referential integrity. Quando um pipeline quebra, o time fica sabendo antes do stakeholder — não depois.