Engenheiro(a) de Dados Sênior – AWS | Lakehouse | Arquitetura Distribuída - PRESENCIAL /SP

Descrição da vaga Venha fazer parte de uma empresa que ama transformar com tecnologia e abraça a diversidade em todas as suas formas!

Contratação: CLT Presencial - Avenida Presidente Juscelino Kubitschek / SP.

Busco Engenheiro(a) de Dados com atuação forte em arquitetura e execução técnica para evoluir uma plataforma moderna em AWS, com abordagem Lakehouse e arquitetura distribuída.

Responsabilidades Evoluir arquiteturas distribuídas (Data Mesh / Hub & Spoke) na AWS Construir e manter pipelines batch e streaming Implementar práticas de Lakehouse (ex.: Apache Iceberg) Garantir boas práticas de particionamento, layout e formatos colunares (Parquet) Atuar com CI/CD, observabilidade e confiabilidade de pipelines Apoiar decisões técnicas de arquitetura e evolução da plataforma ️ Stack principal S3, Glue / Glue Data Catalog, Lake Formation, Athena, EMR, MSK, ECS e MWAA.

✅ Requisitos técnicos INGLES AVANÇADO / FLUENTE Python & Processamento Experiência com Python, SQL-ANSI e PySpark Entendimento claro de processamento em memória vs processamento distribuído Capacidade de explicar quando usar Pandas, PySpark ou alternativas como Polars, considerando escala, custo e complexidade operacional SQL & Performance em Data Lake Experiência com modelagem de dados Domínio de particionamento em Data Lake Clareza sobre impacto de filtros por partição, pruning e organização em Parquet na redução de custo e tempo de leitura (ex.: Athena) Arquitetura Lakehouse Entendimento do papel de: Metadados (ex.: Glue Data Catalog) Armazenamento (S3, formatos colunares) Computação (Spark/EMR ou query engines como Athena/Trino) Orquestração (Airflow/MWAA/Step Functions) Capacidade de explicar o fluxo ponta a ponta e o desacoplamento entre armazenamento e computação Infraestrutura Experiência com Terraform (IaC) Vivência com containers Experiência em ambientes distribuídos ⭐ Diferenciais Kafka/MSK e CDC, Flink, Kubernetes, Polars/DuckDB, arquitetura orientada a eventos.

Perfil Profissional hands-on, com visão ampla de engenharia, confortável em transitar entre camadas da plataforma de dados e tomar decisões técnicas com base em custo, escala e performance.