Descrição da Vaga
Buscamos uma pessoa Python Pleno/Sênior para projetar e evoluir soluções de integração de dados com foco em Python + Apache NiFi, atuando desde o desenho técnico até a entrega e operação (observabilidade, performance e segurança). Você terá papel importante na padronização de engenharia, mentoria e liderança técnica em iniciativas de dados e integrações.
Responsabilidades
• Projetar soluções de integração de dados utilizando Python como linguagem principal (scripts e pequenos serviços).
• Criar e gerenciar fluxos Python ponta a ponta (ingestão, transformação, saída), com boas práticas de versionamento, monitoramento e observabilidade.
• Desenvolver pipelines Python robustos com foco em escalabilidade, performance e confiabilidade (logs, métricas e alertas).
• Realizar consultas e modelagens SQL complexas, incluindo stored procedures, triggers, funções de janela e subqueries avançadas.
• Otimizar scripts e pipelines visando melhor performance, custo e segurança.
• Desenvolver soluções escaláveis em Python para alto volume de dados (integrações com APIs, mensageria, etc.).
• Participar do desenho de arquiteturas de dados distribuídas (Big Data, streaming, data lakes/warehouses).
• Conduzir code reviews, auditorias de qualidade e estabelecer padrões para scripts Python.
• Definir padrões de desenvolvimento Python e governança de dados para a organização (estruturas de projeto, convenções, segurança).
• Conduzir provas de conceito de novas ferramentas e bibliotecas (DataOps, ML, frameworks de streaming, etc.).
• Fornecer suporte, mentoria e orientação técnica a profissionais juniores e plenos.
• Coordenar e acompanhar entregas de times multidisciplinares e participar do planejamento estratégico de arquitetura de dados e integrações.
REQUISITOS MÍNIMOS
Requisitos técnicos (essenciais)
• Python avançado: OOP, módulos/pacotes, testes unitários, logging, profiling e otimização.
• SQL avançado: modelagem, performance, stored procedures, triggers, funções de janela e queries complexas.
• Experiência com integrações REST (e desejável SOAP) e/ou mensageria (ex.: Kafka).
• Boas práticas de engenharia: Git, code review, padrões de projeto, documentação e qualidade.
• Familiaridade com Docker e noções de Kubernetes para execução/orquestração de serviços.
• Vivência com metodologias ágeis (Scrum/Kanban) e práticas de CI/CD.
⸻
Diferenciais (desejáveis)
• NiFi avançado: clustering, alta disponibilidade, monitoramento de performance e configuração de segurança; uso de scripts customizados (Groovy/Python).
• Experiência com NoSQL (MongoDB, Cassandra, Redis), incluindo índices e particionamento.
• Conhecimento em data lakes, data warehouses e soluções de streaming (Flink, Spark Streaming).
• Observabilidade: Prometheus, Grafana, ELK.
• Segurança e compliance aplicados a integrações (LGPD/GDPR, boas práticas de proteção de dados).
⸻
Competências comportamentais
• Liderança técnica em pequenos projetos e mentoria para formar novos talentos.
• Comunicação clara com stakeholders, justificando escolhas técnicas e trade-offs.
• Autonomia para gestão de tempo, prioridades e resolução de problemas críticos.
• Visão sistêmica para avaliar impacto de mudanças em múltiplos fluxos e sistemas.
• Mentalidade ágil e foco em entrega contínua de valor.
• Colaboração e empatia para atuar com DevOps, QA, Produto e Negócios.
• Capacidade de negociação e gestão de conflitos (prazo, escopo, recursos).
• Visão estratégica para propor tecnologias e evoluções alinhadas ao negócio.