Data Engineer – MS Fabric

Role Overview

• Serás clave para crear e implementar arquitecturas modernas de datos con alta calidad, impulsando soluciones analíticas basadas en tecnologías de Big Data.
• Diseñarás, mantendrás y optimizarás sistemas de multiprocesamiento paralelo, aplicando las mejores prácticas de almacenamiento y gestión en data warehouses, data lakes y lakehouses.
• Serás el apasionado que recolecta, procesa, limpia y orquesta grandes volúmenes de datos, entendiendo modelos estructurados y semi–estructurados, para integrar y transformar múltiples fuentes con eficacia.
• Definirás la estrategia óptima según objetivos de negocio y requerimientos técnicos, convirtiendo problemas complejos en soluciones alcanzables que ayuden a nuestros clientes a tomar decisiones basadas en datos.
• Te integrarás al proyecto, sus sprints y ejecutarás las actividades de desarrollo aplicando siempre las mejores prácticas de datos y las tecnologías que implementamos.
• Identificarás requerimientos y definirás el alcance, participando en sprint planning y sesiones de ingeniería con una visión de consultor que aporte valor extra.
• Colaborarás proactivamente en workshops y reuniones con el equipo interno y con el cliente.
• Clasificarás y estimarás actividades bajo metodologías ágiles (épicas, features, historias técnicas/usuario) y darás seguimiento diario para mantener el ritmo del sprint.
• Cumplirás las fechas de entrega comprometidas y gestionarás riesgos comunicando desviaciones a tiempo.

Requirements

• Inglés avanzado
• Habilidades Técnicas: Lenguajes de Consulta y Programación T-SQL / Spark SQL: DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos.
• Python (PySpark): Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad).
• JSON / REST APIs: Orquestación de pipelines y despliegues CI/CD mediante llamadas a Fabric REST APIs, parametrización dinámica de ejecuciones y gestión de artefactos.
• Microsoft Fabric Lakehouse (OneLake + Delta Lake) : modelado de datos con tablas Delta ACID, particionamiento y optimizaciones (OPTIMIZE, Z-ORDER) para mejorar rendimiento; uso de time travel para auditoría y recuperación.
• Warehouses (Synapse Analytics) : configuración de clusters SQL provisionados y serverless; diseño de esquemas estrella/copo de nieve; ejecución de T-SQL transaccional con aislamiento y escalado automático de recursos.
• CI/CD & Lifecycle Management : definición de pipelines en Azure DevOps o GitHub Actions con entornos dev–test–prod; pruebas unitarias de datasets, validaciones de esquema y despliegue automatizado de artefactos.
• Monitor Hub & Activator : creación de dashboards personalizados para métricas de ingestión y transformación (latencia, throughput, errores); alertas proactivas y runbooks automáticos basados en condiciones definidas.
• Eventstreams & Eventhouse : configuración de ingesta de eventos en tiempo real sin código; definición de ventanas de procesamiento, agregaciones incrementales y almacenamiento optimizado para análisis temporal.
• Seguridad y Gobierno de Datos : administración granular de roles (Admin, Member, Contributor, Viewer) y permisos por workspace/item; políticas de row-level, column-level security y dynamic data masking; auditoría de accesos y cambios para cumplimiento normativo.
• Deseable: conocimientos generales en Azure Data Factory.

Tech Stack

• Azure
• ETL
• PySpark
• Python
• Spark
• SQL

Benefits

• WELLNESS: Impulsaremos tu bienestar integral a través del equilibrio personal, profesional y económico, Nuestros beneficios de ley y adicionales te ayudarán a lograrlo.
• LET´S RELEASE YOUR POWER: Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario. Te impulsaremos a plantearte nuevos retos y superarte a ti mismo.
• WE CREATE NEW THINGS: Nos gusta pensar fuera de la caja. Tendrás el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo.
• WE GROW TOGETHER: Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.