Responsabilidades
Experiencia trabajando con Databricks usando Unity Catalog
? Diseñar e implementar pipelines de ingesta y transformación de datos utilizando Databricks
(PySpark/SQL) y Delta Lake.
? Integrar fuentes estructuradas y no estructuradas, archivos planos, bases de datos y
conectores nativos.
? Participar en el diseño y evolución de una arquitectura Lakehouse siguiendo el enfoque de
capas Bronze, Silver y Gold.
? Asegurar el cumplimiento de buenas prácticas de calidad de datos, trazabilidad,
versionamiento y gobierno.
? Implementar mecanismos de control de cambios y despliegue automatizado (CI/CD).
? Monitorear y optimizar el rendimiento de los pipelines en ambientes de QA y producción.
? Documentar soluciones técnicas y brindar soporte técnico a usuarios de negocio e ingeniería.
Requisitos Técnicos
? 4+ años de experiencia en ingeniería de datos o roles similares.
? Experiencia comprobada en desarrollo sobre Azure Databricks y uso de Delta Lake.
? Conocimiento profundo en arquitecturas Lakehouse y modelo de medallón.
? Dominio en PySpark, SQL distribuido y procesamiento de grandes volúmenes de datos.
? Experiencia en integración de datos mediante APIs REST, autenticación OAuth 2.0 y manejo de
formatos JSON/XML.
? Experiencia práctica en el uso de Unity Catalog para el control de acceso y la gobernanza de
datos en Databricks.
? Conocimientos sólidos en control de versiones con Git y flujos de trabajo de DevOps (CI/CD).
? Experiencia trabajando bajo metodologías ágiles y colaborativas.