DATA ENGINEER GCP

IT IT Sobre nuestro cliente Nuestro cliente es líder en retail.
Descripción Reportando a líder de proyectos, sus principales responsabilidades serán.
- Recopilación de Datos.
Recoger datos de diversas fuentes, como bases de datos, archivos csv, APIs de web, entre otras.
- Preprocesamiento de Datos.
Limpieza y formateo de datos para prepararlos para el análisis.
Esto puede incluir la eliminación de errores, la corrección de inconsistencias y la gestión de datos faltantes.
- Transformación de Datos.
Conversión de datos a un formato que pueda ser fácilmente analizado.
Esto puede incluir la normalización de datos, la codificación de variables categóricas y la creación de nuevas variables a partir de las existentes.
- Almacenamiento de Datos.
Almacenar los datos transformados en una ubicación de fácil acceso para su posterior análisis.
Esto puede ser en un almacén de datos, base de datos o lago de datos.
- Automatización.
Creación de procesos automatizados para las tareas de recopilación, preprocesamiento, transformación y almacenamiento de datos.
- Pruebas.
Asegurar la calidad y precisión de los datos a través de pruebas rigurosas.
- Seguridad de Datos.
Proteger los datos durante todo el proceso, tanto en tránsito como en reposo, mediante la implementación de protocolos de seguridad robustos.
- Monitorización.
Rastrear y monitorear el rendimiento del pipeline de datos para identificar y resolver cualquier problema que pueda surgir.
- Mantenimiento.
Realizar actualizaciones y mejoras regulares en el pipeline de datos para garantizar su eficiencia y eficacia a largo plazo.
- Documentación.
Mantener registros detallados de todos los procesos y operaciones del pipeline de datos, así como de cualquier cambio o actualización que se realice.
Perfil buscado (Hombre / Mujer) Nos encontramos en búsqueda de Data Engineer para ser incorporado a proyecto 12 meses junto a cliente líder en Retail.
Con conocimientos en.
- Poseer al menos 4 años de experiencia como Data Engineer - Carreras a fines.
Ingeniería ejecución o civil Informática, otras ingenierías con mención en informática.
- Manejo de lenguajes de programación.
Java y/o Python.
- Experiencia de al menos 2 años en desarrollo de data pipelines y orquestación de flujos de trabajo.
- Experiencia técnica de al menos 2 años (mínimo esperado).
o Google Cloud Platform.
BigQuery, Dataproc, Dataflow, GCS, Cloud Functions y PubSub o Apache Airflow y/o Composer o GitHub, CI/CD (Jenkins), Terraform o Apache Spark y Beam, Kafka Streaming - Inglés para leer y escribir documentación (nivel B1) Qué ofrecemos - Trabajo remoto - Contrato plazo fijo 3 meses luego indefinido - Proyecto 12 meses con posibilidades de extensión - Posibilidades de contrato directo con cliente posterior a plazo indicado anteriormente - Beneficios corporativos