Senior Data Engineer
Commit
As a Senior/Tech Lead Data Engineer, you will play a pivotal role in designing, implementing, and optimizing data platforms for our clients. Your primary responsibilities will revolve around data modeling, ETL development, and platform optimization, leveraging technologies such as EMR/Glue, Air Flow, Spark, using Python and various cloud-based solutions.
Key Responsibilities:
Key Responsibilities:
- Design, develop, and maintain ETL pipelines for ingesting and transforming data from diverse sources.
- Collaborate with cross-functional teams to ensure seamless deployment and integration of data solutions.
- Lead efforts in performance tuning and query optimization to enhance data processing efficiency.
- Provide expertise in data modeling and database design to ensure scalability and reliability of data platforms.
- Contribute to the development of best practices and standards for data engineering processes.
- Stay updated on emerging technologies and trends in the data engineering landscape.
- Bachelor's Degree in Computer Science or related field.
- Minimum of 5 years of experience in tech lead data engineering or architecture roles.
- Proficiency in Python and PySpark for ETL development and data processing.
- AWS CLOUD at least 2 years
- Extensive experience with cloud-based data platforms, particularly EMR.
- Must have knowledge with Spark.
- Excellent problem-solving skills and ability to work effectively in a collaborative team environment.
- Leadership experience, with a proven track record of leading data engineering teams.
- The first point - it would be great if the candidate would confirm, that he/she is:
- Practical experience with performance optimization of the Spark job (MUST)
- Knowing what is SOLID and knowledge of OOD (MUST)
Як відгукнутися?
Щоб відгукнутися на цю вакансію, вам необхідно авторизуватися на нашому сайті. Якщо у вас ще немає облікового запису, будь ласка, зареєструйтесь.
Розмістити резюмеСхожі вакансії
Контент-менеджер
Webpromo,
Київ,
5 хвилин тому
Шукаємо організованого та відповідального спеціаліста на позицію Контент-менеджер-а для проекту Devo, який входить до складу компаній WebPromo Group. «Devo» — міжнародна продуктова IT-компанія, яка інвестує, розвиває та просуває проекти на світових ринках (США, Великобританія, Бразилія, Іспанія, Франція та ін). Основні обов’язки: Оновлення та редагування контенту на сайтах компанії в CMS WordPress (описи, заголовки, характеристики та ін) відповідно до поставлених завдань...
Medical Representative
L'Oréal,
Київ,
1 годину тому
Ready for a great international challenge within the n.1 Beauty Tech company in the world? The role of the Medical Representative is to create/increase the awareness of our brand among medical professionals such as dermatologists and cosmetologists. Key Responsibilities Arranging appointments with dermatologists / cosmetologists/ pediatricians in the hospitals and private clinics, Sumy region. Making presentations to dermatologist / cosmetologists...
Автослюсар кільцева дорого
Діамет, ТОВ,
Київ,
45 000 ₴
1 годину тому
Компанія є провідним постачальником послуг в галузі автомобільного сервісу. Ми спеціалізуємося на обслуговуванні вантажних автомобілів. В зв’язку з розширенням вантажного СТО «Monster Truck», шукаємо автослюсарів, для обслуговування свого та ВСУ автотранспорту 70%. Ви хочете стабільну роботу в компанії, що постійно зростає? Тоді ми чекаємо на Вас в команду! Умови роботи : повна зайнятість з нормованим робочим днем графік роботи з...
