Engenheiro de Dados III

Sobre a DataEX:

Com 12 anos de atuação no mercado, a DataEX é uma consultoria especializada em Dados e IA, com parcerias estratégicas com Microsoft, AWS e Databricks, atuando em projetos de alto impacto para grandes clientes. Valorizamos a inovação, a colaboração, o desenvolvimento contínuo e a qualidade de vida, com incentivos para certificações e bem-estar. Sobre a vaga: Estamos a procura de profissionais parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes! Requisitos: • Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3. • Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR. • Experiência com alocação de recursos em clusters na AWS. • Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda). • Gestão de arquitetura de dados (camadas raw, bronze, silver, gold). • Documentação e transferência de conhecimento dos pipelines desenvolvidos. • Familiaridade com metodologias ágeis (Scrum, Kanban e Lean). • Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico. • Adaptabilidade e flexibilidade a mudanças. Atividades: • Desenvolvimento e manutenção de pipelines de dados. • Gestão de arquitetura de dados (camadas raw, bronze, silver, gold). • Documentação e transferência de conhecimento dos pipelines desenvolvidos.