Estamos em busca de um(a) Engenheiro(a) de Dados Sênior com sólida experiência em Databricks, para atuar na construção, evolução e sustentação de soluções modernas de dados em ambientes de alta volumetria e complexidade.Buscamos uma pessoa com forte conhecimento técnico, visão de arquitetura e preocupação com qualidade, performance e escalabilidade. O profissional atuará em conjunto com times multidisciplinares na criação de pipelines, processamento e disponibilização de dados para consumo analítico e demais soluções de negócio.Se você possui experiência com ecossistemas de dados modernos, gosta de desafios técnicos e tem domínio de Databricks, essa oportunidade pode ser para você!
Responsabilidades e atribuições
Desenvolver, manter e otimizar pipelines de dados (ETL/ELT) utilizando Databricks;Construir soluções de processamento de dados utilizando Apache Spark e Py
- Spark
- Trabalhar com grandes volumes de dados, garantindo performance, escalabilidade e confiabilidade
- Desenvolver e manter processos de ingestão, transformação e disponibilização de dados
- Atuar na construção e evolução de arquiteturas Data Lake e Lakehouse
- Desenvolver e otimizar consultas utilizando SQL
- Implementar boas práticas de qualidade, governança e segurança de dados
- Realizar análise e otimização de performance de jobs, pipelines e consultas
- Apoiar definições técnicas e arquiteturais relacionadas à plataforma de dados
- Implementar processos de monitoramento e tratamento de falhas nos pipelines
- Trabalhar com versionamento de código e processos de CI/CD
- Participar de cerimônias ágeis e atuar de forma colaborativa com Engenharia de Dados, Analytics, Arquitetura e áreas de negócio
- Apoiar tecnicamente profissionais do time, contribuindo com boas práticas e evolução das soluções.
Requisitos e qualificações
- Experiência sólida como Engenheiro(a) de Dados, preferencialmente em nível Sênior
- Experiência comprovada com Databricks
- Domínio de Apache Spark e Py
- Spark
- Experiência avançada com SQL
- Conhecimento em Delta Lake
- Experiência na construção e manutenção de pipelines ETL/ELT
- Conhecimento de arquiteturas Data Lake, Lakehouse e/ou Data Warehouse
- Experiência com processamento de grandes volumes de dados
- Conhecimento em modelagem e transformação de dados
- Experiência com Git e práticas de CI/CD
- Conhecimento de boas práticas de segurança, governança e qualidade de dados
- Capacidade de análise de performance e troubleshooting de pipelines
- Perfil analítico, colaborativo e com autonomia para conduzir demandas técnicas
- Desejáveis:Experiência com Databricks Unity Catalog
- Conhecimento de Databricks Workflows/Jobs
- Experiência com Medallion Architecture (Bronze, Silver e Gold)
- Conhecimento em Python para Engenharia de Dados
- Experiência com serviços de dados em AWS, Azure ou GCP
- Conhecimento em ferramentas de orquestração, como Apache Airflow ou Azure Data Factory
- Experiência com infraestrutura como código, como Terraform
- Certificações relacionadas ao Databricks ou plataformas Cloud
- Experiência em ambientes de alta volumetria e soluções críticas de dados.
Informações adicionais
- Vale Alimentação e/ou Vale Refeição
- Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer
- Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais
- Possibilidade de crescimento na empresa e de participação em projetos estratégicos
- Oportunidade de trabalhar em uma empresa do mercado em plena expansão.
