Data engineer Middle

INFORMACION

CONSULTOR

hace 42 minutos

Descripción

Buscamos un Data Engineer Mid enfocado en la migración controlada de activos de datos desde entornos BigQuery Sandbox hacia una plataforma gobernada en GCP Data Lake. El objetivo del rol es garantizar la continuidad del negocio durante la migración, asegurando integridad, trazabilidad y disponibilidad de la información en el nuevo entorno.

La persona seleccionada participará en la migración de pipelines ETL/ELT, desarrollo e ingesta de datos desde múltiples fuentes, validación y reconciliación de información, documentación de linaje y metadata, así como en la optimización de procesos analíticos existentes. También colaborará con equipos técnicos y de negocio para identificar dependencias, reconectar reportes y apoyar el decommission de sandboxes locales.

Esta posición requiere un perfil con experiencia sólida en ingeniería de datos, dominio de BigQuery y SQL avanzado, conocimientos en Python y orquestación con Airflow y/o Concord, además de habilidades para trabajar en entornos colaborativos y con atención al detalle.

Requisitos

3-5 años de experiencia en ingeniería de datos

Dominio de BigQuery: CREATE TABLE/VIEW, External Tables, Scheduled Queries, optimización de queries

Experiencia con Airflow y/o Concord para orquestación de pipelines

Capacidad de mapear dependencias de datos y coordinar con owners de negocio

Atención al detalle en validación de integridad de datos post-migración

Python para scripting y automatización de tareas de migración

Inglés básico-intermedio (lectura de documentación técnica)

Experiencia en retail o proyectos de consolidación de datos (deseable)

Habilidades técnicas indispensables

SQL avanzado / BigQuery

Python (pandas, PySpark, SQLAlchemy)

Desarrollo de pipelines ETL/ELT (Concord, Airflow o equivalentes)

Google Cloud Platform (GCP): BigQuery, Cloud Storage, Dataflow

Herramientas de gobierno y calidad de datos

Control de versiones (Git / GitHub)

Habilidades técnicas deseables

Experiencia en proyectos de migración de datos

Experiencia en retail o proyectos de consolidación de datos

Actividades a realizar

Migración de pipelines ETL/ELT desde entornos Sandbox (BigQuery) hacia la plataforma de datos gobernada

Desarrollo e ingesta de datos desde múltiples fuentes hacia el Data Lake centralizado

Implementación de controles de calidad de datos (validaciones, reconciliación y monitoreo)

Documentación de linaje y metadata conforme a los estándares de gobierno de datos

Refactorización y optimización de procesos analíticos existentes para cumplir con políticas globales

Colaboración con dominios de negocio (Finanzas, Ventas, Operaciones) para garantizar la entrega de datos confiables

Soporte a decommission de sandboxes locales coordinando con los equipos técnicos y de negocio

Recrear y validar estructuras de tablas en CMZ (wmt-mx-dl-controlledmgzn-prod)

Migrar datos históricos por tabla con validación de integridad (volúmenes, frecuencias, reglas de negocio)

Reconfigurar scheduled queries que generan tablas derivadas desde EDW PROD / Data Lake

Identificar y documentar dependencias upstream/downstream por dominio

Desarrollar pipelines de ingesta en Airflow hacia capas Raw - Catalog - Cmp

Configurar y validar procesos de carga en el nuevo entorno gobernado

Reconectar integraciones de sistemas y reportes (Looker, Power BI, Tableau) a nuevas tablas

Completar metadata de tablas migradas (owner, descripcion, linaje)

Ejecutar pruebas de validación y reconciliación de datos contra fuente original

Levantar tickets JIRA para solicitudes de nuevos datasets con justificación de negocio

Perfil

CONSULTOR

Localización

Huixquilucan, Estado de México, México (Híbrido)

Experiencia

3 Años de Experiencia

o