Data Engineer - GCP | PL (Hybrid/SP)

.

Responsabilidades e atribuições

Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance; Trabalhar com Apache Spark, Airflow, Kafka, DBT, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (GCP - Big

• Query)
• Implementando arquiteturas de Data Lake e Data Lakehouse
• Otimização e redução de custos no ambiente produtivo
• Requisitos e qualificações

Experiência e conhecimento avançado em GCP (Big

• Query)
• Experiência com Modelagem de dados
• Esperiência com Apache Spark, Experiência com Airflow
• Experiência com DBT
• Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra)
• Experiência com plataformas cloud (Big

• Query)
• Experiência com a implementando arquiteturas de Data Lake e Data Lakehouse
• Conhecimento em Kubernetes
• Conhecimento em Kafka
• Desejável - Vivência prática do uso de agentes de IA, visando automação de processos