Data Engineer - ESPECIALISTA

Breve descrição: Responsável por construir e manter todo o pipeline e soluções de dados, garantindo a gestão, otimização, monitoramento, armazenamento e distribuição de dados em toda a organização. • Extrair os dados de diversas fontes para ingestão nas plataformas de Big Data, Bancos Relacionais e Não Relacionais.

Principais atividades: • Assegurar que os dados sejam apropriados, acessíveis e disponíveis • Garantir o alinhamento entre os dados operacionais e o modelo de dados requerido e desejável • Otimizar a performance e escalabilidade• Implementar métodos para melhorar a confiabilidade e a qualidade dos dados • Combinar informações brutas de diferentes fontes para criar formatos consistentes e legíveis por máquina • Desenvolver e testar arquiteturas que permitem a extração e transformação de dados para modelagem preditiva ou prescritiva • Identificar oportunidades para aquisição de dados • Desenvolver ferramentas e programas analíticos • Contribuir na disseminação de uma cultura de Data-DrivenDecision na companhia, fazendo interface entre áreas técnicas e as diversas áreas de negócio • Disponibilizar dados para os Data Scientist e Data Analyst • Atuar de forma muito próxima ao desenvolvimento de software, pois frequentemente trabalhará com os dados extraídos diretamente de sistemas origem; • Apoiar na definição da solução arquitetural mais adequada ao projeto de automação, levando em conta as melhores práticas da companhia e as tecnologias disponível.

Conhecimentos, experiência, formação: • Experiencia em implantação de pipeline de dados (de ingestão até disponibilização de dados para tomada de decisão), incluindo etapas de Data Quality e Data Lineage. • Conhecimento técnico de estruturas de dados (Bancos Relacionais, Não Relacionais e Big Data) • Database Management • Data Mining• Data Modeling • Conhecimento de soluções de dados em Cloud (GCP, Azure, OCI, etc) • Linguagens de programação (SQL, Shell Script, Pyhton, Scala, Java, Spark, etc.) • Experiencia em desenvolvimento de software • Metodologias desenvolvimento lean/agile • Conhecimento conceitual de dados e analytics, como modelagem, ETL, ferramentas de geração de relatórios, governança de dados, data warehousing, dados estruturados e não estruturados; • Superior completo em Ciência da Computação, Informática, Engenharia ou áreas afins; • Desejável Especializações nas áreas de BI, Analytics, Cloud Computing, Big Data, Análise Avançada de Dados.