Databricks Data Engineer | Senior (Remote)

.

Responsabilidades e atribuições

• Atuar na definição e implementação de soluções de Engenharia de Dados, conectando necessidades de negócio e tecnologia
• Projetar e construir arquiteturas de dados, incluindo Data Lake e Data Lakehouse
• Desenvolver e gerenciar pipelines de dados escaláveis, em processamento batch e streaming
• Realizar assessment e análise dos processos de coleta, organização, transformação e disponibilização de dados
• Garantir qualidade, governança, segurança e performance dos dados
• Trabalhar em parceria com times de Dados e Negócio, apoiando a tomada de decisões
• Atuar na definição de estratégias de dados alinhadas aos objetivos do negócio
• Mentorar profissionais de Engenharia de Dados.

Requisitos e qualificações

• Experiência sólida em Engenharia de Dados e arquitetura de dados
• Conhecimento avançado em Azure Data Factory e Databricks
• Experiência com Apache Spark e processamento distribuído
• Experiência na construção de pipelines batch e streaming
• Conhecimento em ferramentas de orquestração, como Airflow
• Conhecimento em Kafka e dbt
• Experiência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra
• Conhecimento em plataformas e serviços de dados em cloud, AWS e GCP
• Experiência com arquiteturas Data Lake e Data Lakehouse
• Conhecimento em práticas de governança, qualidade e segurança de dados.