Ingeniero de Datos Cloud Native

IDS Comercial es una empresa 100% mexicana dedicada a TI con 40 años de experiencia y presencia en México, Latinoamérica y EEUU.

Estamos acreditados en el Nivel 5 de CMMI (Capability Maturity Model Integration), modelo de calidad establecido por el Software Engineering Institute (SEI). Certificados por parte de ISO en la norma ISO/IEC 27001:2013. Contamos con distintivo de Empresa Socialmente Responsable (ESR).

¡¡TE ESTAMOS BUSCANDO!!

Ingeniero de Datos -Cloud Native

Modalidad: 100% Remota

Ubicación: México, CDMX

Requisitos:

3-5 años de experiencia en ingenieria de datos

Dominio de BigQuery: CREATE TABLE/VIEW, External Tables, Scheduled Queries, optimizacion de queries

Experiencia con Airflow y/o Concord para orquestación de pipelines

Capacidad de mapear dependencias de datos y coordinar con owners de negocio

Atención al detalle en validación de integridad de datos post-migración

Python para scripting y automatización de tareas de migración

Experiencia en retail o proyectos de consolidación de datos (deseable)

Stack Tecnico

Cloud & Storage: GCP BigQuery, Cloud Storage, Dataflow, Data Lake (Raw/Catalog/Cmp)

Orquestación: Apache Airflow, Concord

Source Control: GitHub / GitHub Enterprise

Lenguajes: SQL avanzado (BigQuery), Python (pandas, PySpark, SQLAlchemy)

Visualización: Looker, Power BI, Tableau, Dataiku (reconexion, no desarrollo)

Gestión: Jira

Skills Requeridos

SQL avanzado / BigQuery

Python (pandas, PySpark, SQLAlchemy)

Desarrollo de pipelines ETL/ELT (Concord, Airflow o equivalentes)

Google Cloud Platform (GCP): BigQuery, Cloud Storage, Dataflow

Herramientas de gobierno y calidad de datos

Control de versiones (Git / GitHub)

Experiencia en proyectos de migración de datos(deseable)

Responsabilidades

Migración y CMZ

Recrear y validar estructuras de tablas en CMZ

Migrar datos históricos por tabla con validación de integridad (volúmenes, frecuencias, reglas de negocio)

Reconfigurar scheduled queries que generan tablas derivadas desde EDW PROD / Data Lake

Identificar y documentar dependencias upstream/downstream por dominio

Pipelines e Ingesta

Desarrollar pipelines de ingesta en Airflow hacia capas Raw - Catalog - Cmp

Configurar y validar procesos de carga en el nuevo entorno gobernado

Reconectar integraciones de sistemas y reportes (Looker, Power BI, Tableau) a nuevas tablas

Calidad y Gobernanza

Completar metadata de tablas migradas (owner, descripción, linaje)

Ejecutar pruebas de validación y reconciliación de datos contra fuente original

Levantar tickets JIRA para solicitudes de nuevos datasets con justificación de negocio