Responsabilidades

Experiencia trabajando con Databricks usando Unity Catalog

? Diseñar e implementar pipelines de ingesta y transformación de datos utilizando Databricks

(PySpark/SQL) y Delta Lake.

? Integrar fuentes estructuradas y no estructuradas, archivos planos, bases de datos y

conectores nativos.

? Participar en el diseño y evolución de una arquitectura Lakehouse siguiendo el enfoque de

capas Bronze, Silver y Gold.

? Asegurar el cumplimiento de buenas prácticas de calidad de datos, trazabilidad,

versionamiento y gobierno.

? Implementar mecanismos de control de cambios y despliegue automatizado (CI/CD).

? Monitorear y optimizar el rendimiento de los pipelines en ambientes de QA y producción.

? Documentar soluciones técnicas y brindar soporte técnico a usuarios de negocio e ingeniería.

Requisitos Técnicos

? 4+ años de experiencia en ingeniería de datos o roles similares.

? Experiencia comprobada en desarrollo sobre Azure Databricks y uso de Delta Lake.

? Conocimiento profundo en arquitecturas Lakehouse y modelo de medallón.

? Dominio en PySpark, SQL distribuido y procesamiento de grandes volúmenes de datos.

? Experiencia en integración de datos mediante APIs REST, autenticación OAuth 2.0 y manejo de

formatos JSON/XML.

? Experiencia práctica en el uso de Unity Catalog para el control de acceso y la gobernanza de

datos en Databricks.

? Conocimientos sólidos en control de versiones con Git y flujos de trabajo de DevOps (CI/CD).

? Experiencia trabajando bajo metodologías ágiles y colaborativas.