Data Engineer

В связи с расширением команды и масштабированием проектов находимся в поиске дата инженера в IT-компанию, которая занимается разработкой и полным сопровождением заказного программного обеспечения, веб-сайтов и мобильных приложений, предоставляя широкий спектр услуг.
Cтек: Data LakeHouse архитектура, Kafka, Spark, Airflow, ClickHouse, S3, SuperSet, OpenMetadata. Таск-трекеры: Jira. Документация: Confluence
Чем предстоит заниматься:
• Разрабатывать и поддерживать ETL/ELT пайплайны в Data Lakehouse архитектуре с Iceberg;
• Разрабатывать витрины в ClickHouse;
• Разрабатывать потоки данных из различных источников через Kafka и обработкой в Spark;
• Настраивать и внедрять DataQuality проверки;
• Работать с CDC и Debezium.
Ожидания:
• 5+ лет опыта работы на позиции Data Engineer;
• Опыт работы с Data Lakehouse архитектурой (предпочтительно с Iceberg);
• Глубокое понимание и опыт работы с Apache Spark от 2 лет.
• Опыт работы с Kafka.
• Глубокое знание Python и SQL, опыт оптимизации запросов.
• Опыт работы с инструментами оркестрации (Airflow).
• Понимание Data Quality и Data Governance процессов.
Будет плюсом:
• Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset);
• Опыт работы с MongoDB
• Понимание DevOps: Docker, Kubernetes
• Знание инструментов CDC (Debezium, Kafka Connect).
Мы предлагаем:
• Оформление по ТК Республики Беларусь;
• Стабильную официальную заработную плату;
• Комфортный, современный офис в Минске;
• Расширенный социальный пакет.
Данное рабочее место является планируемым к созданию и замещению (перспективным).