.
Responsabilidades e atribuições
Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance; Trabalhar com Apache Spark, Airflow, Kafka, DBT, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (GCP - Big
- Query)
- Implementando arquiteturas de Data Lake e Data Lakehouse
- Otimização e redução de custos no ambiente produtivo
- Requisitos e qualificações
Experiência e conhecimento avançado em GCP (Big
- Query)
- Experiência com Modelagem de dados
- Esperiência com Apache Spark, Experiência com Airflow
- Experiência com DBT
- Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra)
- Experiência com plataformas cloud (Big
- Query)
- Experiência com a implementando arquiteturas de Data Lake e Data Lakehouse
- Conhecimento em Kubernetes
- Conhecimento em Kafka
- Desejável - Vivência prática do uso de agentes de IA, visando automação de processos
