FREE ACCESS
5,000–10,000 jobs/day
See all jobs on Scoutfield
Search thousands of fresh jobs every day.
Discover
- Fresh listings
- Fast filters
- No subscription required
Create a free account and start exploring right away.
Data Engineer
Stefanini LATAM. Diseñar, desarrollar y mantener pipelines de datos ETL/ELT, tanto batch como event-driven .
Tech Stack
Tools & technologiesAirflowApacheBigQueryCloudETLGoogle Cloud PlatformHadoopKafkaNoSQLPySparkPythonSparkSQLTerraform
About the role
Key responsibilities & impact- Diseñar, desarrollar y mantener pipelines de datos ETL/ELT, tanto batch como event-driven
- Implementar soluciones de procesamiento y almacenamiento sobre Google Cloud Platform
- Desarrollar procesos utilizando Python, SQL y Spark/PySpark
- Trabajar con BigQuery, Cloud Storage, Dataflow, Dataproc y Pub/Sub
- Implementar y mantener procesos de orquestación mediante Airflow / Cloud Composer
- Participar en la construcción y evolución de arquitecturas Data Lake, Data Warehouse y/o Lakehouse
- Diseñar y optimizar modelos de datos para procesamiento y explotación de información
- Automatizar procesos y despliegues mediante CI/CD e Infrastructure as Code, idealmente utilizando Terraform
- Implementar controles de calidad, integridad, trazabilidad y disponibilidad de datos
- Optimizar pipelines, consultas y procesos considerando performance, escalabilidad y uso eficiente de recursos
- Participar en procesos de migración y modernización de plataformas de datos hacia Cloud
- Colaborar con equipos de Arquitectura, Data Science, BI, Desarrollo y áreas de negocio
- Documentar arquitecturas, pipelines, modelos y soluciones implementadas
- Apoyar técnicamente al equipo y promover buenas prácticas de Ingeniería de Datos
Requirements
What you’ll need- Experiencia y conocimientos en Google Cloud Platform (GCP)
- Experiencia con BigQuery
- Experiencia con Cloud Storage
- Experiencia con Dataflow y/o Dataproc
- Experiencia con Pub/Sub
- Python
- SQL avanzado
- Apache Spark / PySpark
- Desarrollo de pipelines ETL/ELT
- Modelamiento y transformación de datos
- Airflow / Cloud Composer para orquestación
- Conocimientos deseables de DBT y/o Dataform
- Conocimientos deseables de Terraform
- Git y procesos CI/CD
- Data Lake / Data Warehouse / Lakehouse
- Hadoop y/o Kafka
- Bases de datos relacionales y NoSQL
- Machine Learning y/o Vertex AI
- Gobierno y calidad de datos
Benefits
Comp & perks- No specific benefits listed; “Beneficios Stefanini” is mentioned without details