Estamos em busca de um(a) Engenheiro(a) de Dados para desenvolver, implementar, otimizar e manter processos de ETL (extração, transformação e carga) de ponta a ponta, manipulando grandes volumes de dados na nuvem. 

Esta pessoa será responsável por criar processos de extração de dados provenientes de diversas fontes, como bancos de dados NoSQL, bancos vetoriais, APIs, planilhas, entre outros. Além disso, terá o papel de projetar, construir e manter soluções de dados na nuvem, utilizando plataformas como AWS, Google Cloud, Azure ou outras específicas para dados.

Essa função também envolve analisar cenários de big data e propor soluções nas plataformas adequadas, considerando o impacto sobre a infraestrutura, o usuário final (ferramentas de visualização de análises) e os custos envolvidos.

Responsabilidades e atribuições

• Desenvolver, implementar e manter processos de ETL para manipulação de grandes volumes de dados na nuvem.
• Criar processos de extração de dados de diferentes fontes, incluindo bancos de dados NoSQL, vetoriais, APIs e planilhas.
• Projetar, construir e manter soluções de dados na nuvem, utilizando plataformas como AWS, Google Cloud, entre outras.
• Analisar cenários de big data e propor soluções em plataformas de dados, considerando impacto na infraestrutura, experiência do usuário final e custos.
• Avaliar e recomendar o uso de SGBDs SQL, NoSQL e vetoriais/grafos para cenários específicos.
• Manter e atualizar o mapa de dados da Payface.
• Colaborar com equipes multidisciplinares para assegurar a qualidade e integração dos dados.
• Preparar e otimizar conjuntos de dados para modelos de machine learning, garantindo a integridade e qualidade dos dados.

Requisitos e qualificações

• Experiência sólida no desenvolvimento de processos de ETL e modelagem de dados.
• Conhecimento avançado em pelo menos uma das principais plataformas de nuvem: AWS, Google Cloud ou Big Query.
• Fluência em Python (ou Scala), SQL e ferramentas de integração de dados.

Requisitos desejáveis

• Experiência com ferramentas de Big Data, como Hadoop, Spark ou similares.
• Experiência com bancos de dados colunares de alta performance, como ClickHouse.
• Conhecimento em machine learning e técnicas de análise de dados.