Data Engineer - GCP | SR (Hybrid/SP)

.

Responsabilidades e atribuições

• Construir e manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance
• Organização e Estrutura das Bases de Dados e Modelagem de Dados
• Gestão de Tabelas de Equivalência (DE/PARA)
• Conexão Direta com Fontes (APIs)
• Migração Estratégica para Big

• Query (BQ) ou Microsoft Fabric
• Estruturar modelos de IA para geração de insights estratégicos após a centralização dos dados
• Requisitos e qualificações

Experiência e conhecimento avançado em GCP (Big

• Query)
• Experiência com Apache Spark
• Experiência com Airflow
• Conhecimento em Kafka
• Conhecimento em DBT
• Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra)
• Experiência com plataformas cloud (Databricks, AWS Glue, Big

• Query)
• Experiência com implementação de arquiteturas de Data Lake e Data Lakehouse
• Desejável conhecimento na estruturação de modelos de IA