Engenheiro de Dados AWS - Databricks

Você é movido(a) por tecnologia, dados e inovação? 🚀Na Triggo.ai, transformamos desafios complexos em soluções inteligentes. Somos uma empresa brasileira focada em Analytics, IA e transformação digital, ajudando organizações a tomar decisões mais estratégicas e gerar impacto real nos negócios.Trabalhamos com diferentes setores do mercado, sempre combinando tecnologia de ponta, visão de negócio e execução ágil.Se você quer construir soluções que fazem a diferença e crescer junto com um time de alta performance, seu lugar pode ser aqui.👉 Vem para a Triggo.ai e construa o futuro com a gente.

Responsabilidades e atribuições

Desenvolver e evoluir soluções de Engenharia de Dados utilizando Databricks e AWS.Atuar na administração e evolução do Unity Catalog.Estruturar catálogos, schemas, tabelas, volumes e demais objetos de dados.Implementar e administrar controle de acesso e permissões utilizando Unity Catalog.Apoiar a definição e implementação de políticas de segurança e governança de dados.Trabalhar com Data Lineage, descoberta e rastreabilidade dos dados.Desenvolver e manter pipelines de dados batch e, quando aplicável, streaming.Desenvolver transformações utilizando SQL, Python e Py

Spark.Trabalhar com Delta Lake / Delta Tables e arquitetura Lakehouse.Integrar fontes de dados utilizando serviços AWS e componentes da plataforma Databricks.Garantir qualidade, confiabilidade, segurança e disponibilidade dos dados.Apoiar a definição de padrões de arquitetura e boas práticas para utilização do Databricks.Monitorar e otimizar performance e custos dos workloads de dados.Trabalhar em conjunto com times de Data Engineering, Data Science, Analytics, Arquitetura, Segurança e Governança.

Requisitos e qualificações

• Experiência sólida com Databricks.Boa experiência prática com Unity Catalog, incluindo:Catálogos e schemas
• Tabelas e views
• Volumes
• Controle de acesso e privilégios
• GRANT/REVOKE
• Data Lineage
• Organização e governança dos ativos de dados
• Integração com mecanismos de identidade e segurança
• Boas práticas de governança em ambientes corporativos.Experiência com Delta Lake.Conhecimento de Apache Spark e/ou Py

Spark.Experiência com Databricks Workflows/Jobs.Conhecimento de otimização e performance de workloads.