Responsabilidades:

- Desenvolver, manter e otimizar pipelines de dados utilizando PySpark.

- Automatizar e gerenciar processos de ingestão, transformação e disponibilização de dados.

- Implementar práticas de versionamento e integração contínua com Azure DevOps.

- Monitorar a performance das cargas de dados e atuar proativamente na resolução de problemas.

- Garantir a governança, segurança e qualidade dos dados ao longo de todo o ciclo de vida.

Requisitos obrigatórios:

- Experiência prática com PySpark (manipulação e transformação de dados em larga escala).

- Experiência com Azure DevOps (CI/CD, versionamento de código, automação de pipelines).

Conhecimentos desejáveis (não obrigatórios):

- Linguagens de programação: Python, SQL, Scala.

- Orquestração de pipelines com ferramentas como Apache Airflow, Azure Data Factory ou similares.

- Armazenamento e processamento de dados em nuvem: Azure, AWS ou GCP.

- Modelagem de dados (conceitual, lógica e física).

- Experiência com bancos de dados relacionais (PostgreSQL, SQL Server) e não-relacionais (MongoDB, Cassandra).

- Conhecimento em Data Lakes, Data Warehouses e arquitetura orientada a dados.

- Familiaridade com ferramentas de versionamento além do Azure DevOps, como Git/GitHub.

- Práticas de DataOps, DevOps e CI/CD aplicadas a pipelines de dados.

- Monitoramento e observabilidade com ferramentas como Datadog, Prometheus, Grafana, entre outras.