[Job-29938] Mid-Level/Senior Data Developer (Python/ AWS), Brazil
About the role
Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions. Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.
Buscamos uma pessoa para atuar como Engenheiro(a) de Dados, integrando nosso time e contribuindo na construção de soluções escaláveis e inteligentes para grandes volumes de dados.
Responsabilidades: - Atuar no desenvolvimento e evolução de aplicações para ingestão de dados utilizando ferramentas AWS, tanto em arquitetura serveless (glue, lambda, sns, sqs, kafka, etc) quanto com arquiteturas que usam ECS; - Realizar o entendimento das necessidades técnicas, participando de inceptions e refinamentos; - Codificar e estruturar testes automatizados para garantia de qualidade dos entregáveis; - Realizar code review e Deploy em produção; - Gestão de Incidentes; - Otimizar jobs e pipelines de dados, atuando em particionamento de dados, balanceamento de dados (skew) e tuning de performance; - Projetar e manter orquestrações de pipelines utilizando AWS Step Functions e AWS EventBridge; - Configurar e acompanhar monitoria/observabilidade utilizando AWS CloudWatch e, de forma desejável, ferramentas como Datadog; - Atuar com foco em FinOps, garantindo uso eficiente de recursos na nuvem e buscando oportunidades de otimização de custo nas soluções de dados.
Requisitos para este desafio: - Experiência com Python e com PySpark; - Cloud com AWS (S3, glue, EC2, lambda, athena); - Automação de testes unitários; - Banco de dados Relacional; - Desenvolvimento de testes automatizados usando a estratégia de pirâmide de testes; - Refinamento técnico de histórias e de solução; - Qualidade de código e boas práticas de programação; - Comunicação para garantir o alinhamento com time e stakeholers; - Capacidade de execução e proatividade.
- Otimização de custos em nuvem e boas práticas de FinOps aplicadas a pipelines de dados. Diferenciais: - Uso de IA generativa, agents e skills para agilizar o trabalho; - Localstack com recursos AWS (infraestrutura as a code); - Arquitetura Serveless; - Datadog; - Mensageria (Kafka, SQS, SNS).