Vagas Spark Remoto

- Vivência em extração e manipulação de dados a partir de planilhas, arquivos e bases de dados;- Vivência em serviços em Cloud AWS (EMR, Lambdas, Glue, Shell Script, Athena, etc.);- Conhecimentos em linguagem de programação: PYTHON, PYSPARK, biblioteca Pandas;- Ser capaz de ampliar a automação da ge ...

R$ 11.100,00 - R$ 13.000,00

Você precisa ter prática com:Boas práticas em armazenamento de dados, estruturação de Datalake;Ingestão e streaming de dados (ex.: Kafka, Kinesis, RabbitMQ);Processamento distribuído (ex.: Spark, Hadoop, Hive);Experiência em ferramentas de pipeline/orquestração (Airflow, Luigi, NiFi, Streamsets, en ...