Engenheiro de Dados Sênior

Engenheiro de Dados Sênior.

Imprescindível experiência em Arquitetura e construção de Data Lake. Arquitetura de Data Lake: Planeja e desenvolve a arquitetura de Data Lake, levando em consideração escalabilidade, segurança, governança e integração com outras plataformas de análise de dados.

Gerenciamento de dados: Organiza e classifica dados brutos (raw data) em zonas de armazenamento: camada bruta (raw zone), camada de enriquecimento (processed zone) e camada de dados preparados para análise (curated zone). Conhecimento em gerenciamento de metadados, utilizando ferramentas como AWS Glue ou Apache Atlas. Pipeline de Dados: Criação e automação de pipelines de dados para ingestão, processamento e armazenamento. Capacidade de lidar com dados em tempo real ou batch. Qualidade e Governança de Dados: Implementação de políticas de governança de dados, incluindo controle de acesso, versionamento de dados e auditoria, usando ferramentas como Apache Ranger ou AWS Lake Formation. Segurança de dados: Conhecimento em como garantir a segurança e privacidade dos dados, incluindo criptografia, autenticação e autorização adequadas, e conformidade com regulamentações como LGPD ou GDPR.

Domínio de ferramentas e tecnologias:

Plataformas de Data Lake como AWS (S3, Lake Formation), Azure (Data Lake Storage), Google Cloud (BigLake), Apache Hadoop e Apache Spark. ETL (Extract, Transform, Load) e ELT com ferramentas como Apache NiFi, Talend, Apache Airflow, Fivetran ou dbt. Armazenamento distribuído: Experiência com HDFS, S3 e Azure Blob Storage. SQL e NoSQL: Capacidade de trabalhar com bancos de dados relacionais (MySQL, PostgreSQL, etc.) e não-relacionais (MongoDB, Cassandra, etc.). Linguagens de programação: Proeficiência em Python, Java, Scala, e até mesmo em R para manipulação de dados.

Contratação PJ. Modelo Remoto Inicio imediato