[Job - 31575] Senior /Master Data Developer, Brazil

3 days, 23 hours ago
Full-time
Senior
Software Development
CI&T

CI&T

CI&T is a global digital technology agency empowering agile growth for leading companies through advanced technologies with a team of 2000 experts worldwide.

Internet Software & Services
5K-10K
Founded 1995

Description

  • Refatorar notebooks legados do Databricks em padrões modernos de ELT usando SQL declarativo e rotinas distribuídas em Python.
  • Preservar contratos de dados e compatibilidade retroativa por meio de camadas Trusted Core e estratégias de reverse view.
  • Construir pipelines escaláveis de ingestão com configurações YAML, geração automatizada de DAGs e templates padronizados.
  • Implementar validações de qualidade para controlar valores nulos, unicidade de chaves e conformidade de domínio.
  • Comparar dados entre ambientes legado e novo para validar paridade em nível de registros e campos.
  • Seguir fluxos GitOps com branches, pull requests, revisão de código e pipelines automatizados de CI/CD.
  • Colaborar com Data Stewards e áreas de negócio para alinhar dependências, escopo de refatoração e resultados da migração.

Requirements

  • Experiência prática avançada em Python, PySpark e SQL para processamento distribuído em larga escala.
  • Experiência robusta em migração de data lakes e refatoração de código legado, incluindo lógica acoplada de Databricks ou Azure Data Factory.
  • Domínio do ecossistema de engenharia de dados do Google Cloud, especialmente BigQuery, Dataform e Dataproc Serverless.
  • Conhecimento de Medallion Architecture e modelagem analítica, incluindo Star Schema e One Big Table.
  • Experiência com GitOps, revisão de código, pull requests e orquestração com Airflow/Composer.
  • Prática de testes e controles de qualidade diretamente em pipelines de transformação.
  • Comunicação consultiva e colaborativa para alinhar dependências e validar resultados com Data Stewards.
  • Experiência com agentes de IA generativa, como Gemini, Vertex AI ou Claude, aplicada à refatoração e documentação de código (preferencial).
  • Experiência com CDC, ingestão orientada a eventos, otimização de BigQuery e estratégias Data Vault (preferencial).
  • Residir na Região Metropolitana de Campinas e trabalhar presencialmente nos escritórios da cidade, conforme a política vigente.

Benefits

  • Plano de saúde e odontológico.
  • Vale-alimentação e vale-refeição.
  • Auxílio-creche e licença parental estendida.
  • PLR e seguro de vida.
  • Parcerias com academias, saúde e bem-estar via Wellhub/Gympass e TotalPass.
  • Plataformas de aprendizagem contínua, cursos online e idiomas.
  • Programas de saúde física, mental e bem-estar, além de grupos de afinidade e suporte à inclusão.
  • Clube de descontos.

Interested in this position?

Apply directly on the company website

Apply Now

Similar Roles

Data Platform Engineer

Qonto 1K-5K Banks

Qonto is hiring a Data Solution Engineer to build and operate reliable, self-service data solutions for its European fintech platform serving more than 600,000 customers and nearly 2,000 employees.

Apache Airflow AWS CI/CD Git Kubernetes Metabase Python Snowflake SQL Trino
22 hours, 50 minutes ago

Azure Data Engineering Architect - freelance

Lingaro 5K-10K IT Services

Data Engineering Architect responsible for designing and guiding scalable, secure data architecture and processing solutions that support the organization’s analytics needs and long-term data strategy.

Apache Spark AWS Azure Hadoop Python SQL
23 hours, 5 minutes ago

Full Stack Data Engineer

BioIntelliSense 51-250 Pharmaceuticals

BioIntelliSense develops medical-grade continuous health monitoring and clinical intelligence solutions for remote patient monitoring, infection screening, and care delivery outside traditional clinical settings.

23 hours, 5 minutes ago

Director – Analytics Platform

Bounteous 1K-5K Internet Software & Services

Bounteous is seeking a Director of Analytics Platform in the USA to lead the strategy, architecture, implementation, and evolution of enterprise analytics platforms that support data-driven business transformation.

AWS Azure Looker Power BI Tableau
23 hours, 5 minutes ago

You're on a roll! Sign up now to keep applying.

Sign Up

Already have an account? Log in

Used by 14,729+ remote workers