Engenheiro de Dados Sênior (Azure Databricks)

Oportunidade:

Engenheiro de Dados Sênior (Azure Databricks) na UT-TECH

Modelo:

PJ ou Cooperado, 100% remoto

Sobre a Oportunidade Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para integrar um time de alta performance em um projeto de grande escala e longo prazo. Você será peça-chave na arquitetura e sustentação de uma plataforma de dados robusta, utilizando o que há de mais moderno no ecossistema Azure Databricks. Buscamos um perfil com sólida experiência em computação distribuída, automação e que queira atuar com governança de dados utilizando Unity Catalog.

Responsabilidades: Arquitetura e Sustentação:

Projetar, desenvolver e manter pipelines de dados escaláveis utilizando a plataforma Databricks Unity Catalog. Engenharia de Dados:

Construir pipelines ETL/ELT robustos, realizando a ingestão de diversas fontes e transformando dados para atender a requisitos complexos de negócio. Otimização e Performance:

Desenvolver e otimizar jobs em Apache Spark para processamento de grandes volumes, focando em eficiência e performance. Inovação e Reuso:

Criar frameworks e bibliotecas reutilizáveis para acelerar o desenvolvimento e garantir a padronização técnica do time. Governança e Qualidade:

Implementar padrões de Medallion Architecture e garantir a integridade dos dados através de monitoramento e observabilidade (Datadog/Grafana). Colaboração Técnica:

Atuar em parceria com times de Produto e Analytics para traduzir necessidades de negócio em soluções técnicas de alto impacto.

✅

Requisitos obrigatórios: Experiência Sênior:

Sólida trajetória em Engenharia de Dados, com foco em Azure Databricks e Apache Spark. Domínio Técnico:

Proficiência em Python (PySpark) e SQL (Spark SQL). Ecossistema Azure:

Experiência prática com Azure Data Lake Storage (ADLS), Azure Data Factory e Azure Key Vault. Arquitetura Moderna:

Conhecimento em Delta Lake e padrões de arquitetura Medallion (Bronze, Silver, Gold). DataOps:

Domínio de Git (estratégias de branch e PRs) e fluxos de CI/CD para pipelines de dados. Inglês:

Avançado/fluente.

⭐

O que te destaca: Experiência prática com Unity Catalog (Governança e Linhagem). Conhecimento em Infraestrutura como Código (Terraform/Terragrunt). Certificações Databricks ou Azure Data Engineer Associate. Experiência com processamento em tempo real (Structured Streaming / Event Hubs).

Tem o perfil para esse desafio? Candidate-se e venha fazer parte do nosso time!