DATA ENGINEER

INFORMACIÓN GENERAL

Puesto: Data Engineer Departamento: Engineering Ubicación: REMOTO Tipo de contrato: Tiempo Completo Nivel: Mid-Senior Level

DESCRIPCIÓN DEL PUESTO

Buscamos un Data Engineer experimentado para unirse a nuestro equipo de Engineering. El candidato ideal será responsable de diseñar, desarrollar y mantener pipelines de datos escalables utilizando tecnologías de vanguardia como Databricks y Snowflake. Trabajará en un entorno 100% remoto, colaborando estrechamente con científicos de datos, analistas y ingenieros de software para crear soluciones de datos robustas y eficientes que impulsen la toma de decisiones basada en datos en toda la organización.

RESPONSABILIDADES PRINCIPALES

Desarrollo de Pipelines de Datos

? Diseñar, desarrollar y mantener pipelines ETL/ELT escalables utilizando Databricks (PySpark, Spark SQL) y Snowflake

? Implementar soluciones de procesamiento de datos a gran escala que sean eficientes y confiables

? Automatizar procesos de ingesta, transformación y carga de datos

Integración de Datos

? Conectar e integrar datos estructurados y no estructurados desde diversas fuentes (APIs, bases de datos, almacenamiento en la nube, etc.)

? Establecer conexiones robustas entre sistemas heterogéneos

? Garantizar la consistencia y calidad de datos durante el proceso de integración

Optimización de Performance

? Optimizar consultas de Snowflake, trabajos de Databricks y performance de Spark para asegurar eficiencia de costos y escalabilidad

? Implementar mejores prácticas para el rendimiento de sistemas de big data

? Monitorear y ajustar configuraciones para maximizar el throughput

Modelado de Datos

? Implementar modelos de datos dimensionales y relacionales para soportar análisis y reportes

? Diseñar esquemas de datos que faciliten el acceso y la comprensión por parte de usuarios finales

? Mantener la integridad referencial y optimizar estructuras de datos

Governance y Cumplimiento

? Asegurar la calidad, integridad, seguridad y cumplimiento de datos con estándares de la industria (GDPR, HIPAA, etc.)

? Implementar controles de acceso y políticas de seguridad de datos

? Establecer procesos de validación y auditoría de datos

Automatización y CI/CD

? Implementar frameworks de orquestación utilizando Airflow, dbt, o herramientas similares para automatizar workflows

? Desarrollar y mantener pipelines de CI/CD para proyectos de ingeniería de datos

? Crear procesos automatizados de testing y deployment

Colaboración Interdisciplinaria

? Trabajar estrechamente con científicos de datos, analistas y ingenieros de software para desarrollar e implementar soluciones basadas en datos

? Traducir requerimientos de negocio en soluciones técnicas eficientes

? Proporcionar soporte técnico especializado a equipos de analytics

Monitoreo y Troubleshooting

? Monitorear pipelines de datos, diagnosticar problemas e implementar soluciones para prevenir fallas

? Establecer sistemas de alertas y métricas de rendimiento

? Realizar análisis de causa raíz y implementar mejoras preventivas

REQUERIMIENTOS TÉCNICOS OBLIGATORIOS

Experiencia Core

? 3+ años de experiencia en ingeniería de datos, desarrollo ETL, o procesamiento de big data

? Experiencia sólida con Databricks (Spark, PySpark, Scala, SQL) para procesamiento de datos a gran escala

? Expertise en Snowflake: data warehousing, SnowSQL, performance tuning y optimización

Lenguajes de Programación

? SQL - Nivel avanzado para transformación de datos y consultas complejas

? Python - Nivel avanzado para automatización y desarrollo de pipelines

? PySpark/Scala - Para procesamiento distribuido en Databricks

Herramientas de Orquestación

? Apache Airflow, dbt, o Prefect - Experiencia práctica en implementación de workflows automatizados

? Conocimiento de mejores prácticas en scheduling y dependency management

Plataformas Cloud

? AWS, Azure, o GCP - Experiencia hands-on con servicios cloud. Preferente GCP

? Almacenamiento cloud (S3, ADLS, GCS) - Manejo de datos en diferentes formatos y estructuras

? Comprensión de arquitecturas cloud-native y serverless

DevOps y Versionado

? Pipelines CI/CD - Experiencia en automatización de deployment

? Git - Control de versiones y colaboración en equipo

? Prácticas DevOps aplicadas a proyectos de ingeniería de datos

Governance y Seguridad

? Data governance - Implementación de políticas y procedimientos

? Mejores prácticas de seguridad y protección de datos sensibles

? Requerimientos de compliance (GDPR, HIPAA, etc.)

CALIFICACIONES PREFERIDAS (NICE TO HAVE)

Tecnologías Avanzadas

? Delta Lake, Unity Catalog, o Iceberg para arquitecturas lakehouse

? Kafka, Kinesis, o Pub/Sub para procesamiento de datos en tiempo real

? Terraform o CloudFormation para infraestructura como código (IaC)

Certificaciones Deseables (no necesariamente)

? Databricks Certified Data Engineer

? SnowPro Core o Advanced de Snowflake

? Certificaciones cloud (AWS Data Engineer, Azure Data Engineer, GCP Professional Data Engineer)

REQUERIMIENTOS ACADÉMICOS

Educación Mínima

? Licenciatura en Ingeniería en Sistemas, Ciencias de la Computación, Ingeniería de Software, Matemáticas, Estadística o carrera técnica afín

? Maestría en Data Science, Data Engineering, Analytics o áreas relacionadas (Deseable)

Experiencia Profesional

? Mínimo 3+ años de experiencia específica en ingeniería de datos o desarrollo ETL

? Experiencia comprobable con Databricks y Snowflake en entornos de producción

? Historial exitoso implementando soluciones de big data a escala empresarial

HABILIDADES Y CUALIDADES ESENCIALES

Habilidades Técnicas Avanzadas

? Optimización de performance: Capacidad demostrada para mejorar eficiencia de sistemas de datos

? Arquitectura de datos: Comprensión profunda de patrones de diseño y mejores prácticas

? Troubleshooting: Habilidades excepcionales para diagnosticar y resolver problemas complejos

? Automatización: Experiencia creando procesos autónomos y confiables

Habilidades Analíticas

? Pensamiento sistemático: Capacidad para diseñar soluciones escalables y mantenibles

? Resolución de problemas: Enfoque metodológico para abordar desafíos técnicos complejos

? Optimización: Mentalidad orientada a la eficiencia y mejora continua

? Atención al detalle: Precisión en el manejo de datos críticos del negocio

Habilidades de Comunicación

? Comunicación técnica: Capacidad para explicar conceptos complejos de manera clara

? Colaboración remota: Experiencia trabajando efectivamente en equipos distribuidos

? Documentación: Habilidades para crear documentación técnica comprensible

? Inglés técnico: Nivel conversacional para colaboración internacional (preferible)

Cualidades Personales

? Autodisciplina: Capacidad para trabajar de manera independiente en entorno remoto

? Proactividad: Iniciativa para identificar y resolver problemas antes de que escalen

? Adaptabilidad: Flexibilidad para trabajar con tecnologías emergentes y cambios de prioridades

? Orientación a la calidad: Compromiso con la excelencia en entregables y procesos

? Aprendizaje continuo: Pasión por mantenerse actualizado con las últimas tecnologías y tendencias

? Mentalidad colaborativa: Habilidad para trabajar efectivamente en equipos multidisciplinarios

COMPETENCIAS

Competencias Técnicas

? Dominio de ecosistemas Databricks y Snowflake

? Experiencia en arquitecturas de datos modernas (Data Lakes, Data Warehouses, Lakehouses)

? Conocimiento profundo de optimización de costos en plataformas cloud

? Comprensión de principios de data governance y compliance

Competencias de Negocio

? Capacidad para traducir requerimientos de negocio en soluciones técnicas

? Comprensión del impacto de las decisiones técnicas en objetivos organizacionales

? Habilidad para priorizar tareas basándose en valor de negocio