Ingeniero de Data Lake Cloud

El Ingeniero de Data Lake Cloud es responsable de diseñar, implementar y mantener la infraestructura de datos necesaria para almacenar, procesar y analizar grandes cantidades de datos. Este puesto implica la interacción con el cliente y la coordinación con diferentes áreas para llevar a cabo actividades.

Como Ingeniero de Data Lake Cloud, te unirás a Santander Digital Services en México como parte de un equipo global. Los servicios que brindarás serán estables, seguros y de alto rendimiento. Eres amigable y con ganas de resolver cualquier problema que se te presente. Tendrás una gran capacidad técnica, comprenderás los conceptos técnicos en su esencia e irás más allá de las soluciones tradicionales.

Si tienes 3 o más años de experiencia en TI en una industria altamente regulada y más de 3 años de experiencia con AWS, IaC y Data Lake, desde el diseño hasta la implementación, nos encantaría saber de ti. Buscamos a una persona proactiva, dispuesta a gestionar todo tipo de tareas con una actitud positiva y mínima asistencia.

Responsabilidades Clave

Contribuir al diseño, implementación y gestión de una infraestructura escalable y segura de AWS. Implementar las mejores prácticas de seguridad, rendimiento y optimización de costos. Crear automatizaciones y scripts para mejorar la eficiencia operativa. Participar en la configuración de componentes de red como VPC, subredes y grupos de seguridad. Supervisar el rendimiento de las aplicaciones, las alertas y los registros. Mantener la documentación y generar informes de rendimiento.

Participación Técnica

• Diseñar y construir arquitecturas de Data Lake escalables y eficientes.

• Integrar diferentes fuentes de datos en el Data Lake mediante herramientas ETL (Extracción, Transformación y Carga).

Garantizar la calidad, integridad y seguridad de los datos en el Data Lake.

• Colaborar con los equipos de análisis y ciencia de datos para proporcionar acceso a los datos necesarios.

• Supervisar el rendimiento del Data Lake y optimizar los procesos para mejorar la eficiencia.

• Documentar los procesos y procedimientos relacionados con el manejo de datos.

Requisitos

Educación y experiencia

• Licenciatura en informática o carrera afín

• Experiencia previa con tecnologías de AWS Data Lake.

• Conocimiento de lenguajes de programación como Python, Java o Scala.

• Conocimiento de herramientas ETL y plataformas de procesamiento de datos como Apache Spark o Hadoop.

• Sólido conocimiento de bases de datos SQL y NoSQL.

• Conocimientos fundamentales de AWS:

· Servicios básicos de AWS: Conocimiento de servicios clave de AWS como EC2 (Elastic Compute Cloud), S3 (Simple Storage Service), RDS (Relational Database Service), VPC (Virtual Private Cloud), IAM (Identity and Access Management) y Lambda. Cloudformation, DMS, Glue, EMR; Kinesis, Iceberg AWS.

· Arquitectura de AWS: Conocimiento de los principios de la arquitectura de AWS y los patrones de diseño para crear soluciones escalables y seguras.

• Infraestructura como Código (IaC)

· Herramientas de IaC: Conocimiento práctico de herramientas como AWS CloudFormation, Terraform y AWS CLI. Esto incluye la capacidad de crear y mantener plantillas de IaC para definir y gestionar la infraestructura.

• Gestión y Automatización de la Configuración

· AWS Systems Manager: Conocimiento de AWS Systems Manager para automatizar tareas, gestionar configuraciones y administrar instancias.

· Scripts de Automatización: Capacidad para escribir scripts en Bash, Python o PowerShell para automatizar tareas administrativas y de configuración.

· Conocimiento de sistemas de gestión de la configuración, como Ansible o sistemas relacionados.

· Redes y seguridad

· Fundamentos de redes: Comprensión de conceptos básicos de redes como subredes, direcciones IP, enrutamiento y puertas de enlace, así como configuración de VPC y subredes en AWS.

· Seguridad de AWS: Conocimiento de la gestión de identidades y accesos (IAM) y las mejores prácticas de seguridad para proteger la infraestructura y los datos. Esto incluye el uso de políticas, roles y grupos.

Monitoreo y mantenimiento

· AWS CloudWatch: Capacidad para configurar y usar Amazon CloudWatch para monitorear recursos, crear alarmas y generar registros.

· AWS CloudTrail: Comprensión de cómo usar AWS CloudTrail para auditar la actividad en la cuenta y garantizar el cumplimiento de las políticas.

· Experiencia en la monitorización de marcos como Splunk, Grafana, Dynatrace o similares.

• Gestión de bases de datos

· RDS y DynamoDB: Conocimiento de bases de datos de AWS, incluyendo Amazon RDS para bases de datos relacionales y Amazon DynamoDB para bases de datos NoSQL.

· Copias de seguridad y recuperación: Conocimiento de las estrategias de copia de seguridad y recuperación para bases de datos en la nube.

• Implementación y operación

· Ciclo de vida del desarrollo de software (SDLC): Conocimiento de los principios del SDLC, incluyendo la integración continua (CI) y el despliegue continuo (CD) para implementar cambios eficientemente.

· Gestión de cambios y control de versiones: Conocimiento de las prácticas de gestión de cambios y uso de sistemas de control de versiones como Git para gestionar el código IaC.

· Experiencia en arquitecturas de tres niveles: web (Apache), Apache Spark, motor (Tomcat/Spring) y bases de datos (MySQL, PostgreSQL, ORACLE y NoSQL).

• Solución de problemas y soporte

· Diagnóstico y solución de problemas: Habilidades para diagnosticar problemas y realizar la solución de problemas en la infraestructura implementada.

· Documentación: Capacidad para documentar configuraciones, procesos y cambios realizados en la infraestructura. • Mejores prácticas y patrones de arquitectura

· Patrones de resiliencia: Comprensión de patrones arquitectónicos como alta disponibilidad, recuperación ante desastres y escalabilidad.

· Optimización de costos: Conocimiento de prácticas para optimizar costos al implementar y operar recursos en AWS.

• Sólida experiencia en automatización de sistemas y administración de Linux.

· Competencias lingüísticas

• Español nativo

• Inglés conversacional en entornos técnicos

• Inglés leído y escrito en entornos técnicos

• Liderazgo

• Excelentes habilidades de comunicación e interpersonales

• Experiencia demostrable trabajando en entornos internacionales y multiculturales

• Experiencia en la elaboración de informes de KRI e KPI

• Sólidas habilidades de resolución de problemas

· Colaboración y comunicación

• Comunicación escrita eficaz

• Comunicación asíncrona

• Colaboración remota

· Software y herramientas

• AWS (EC2 (Elastic Compute Cloud), S3 (Simple Storage Service), RDS (Relational Database Service), VPC (Virtual Private Cloud), IAM (Identity and Access Management) y Lambda, Cloudformation, DMS, Glue, EMR; Kinesis, Iceberg AWS)

• Servicios sin servidor de AWS