ID 2720

X5 Data Engineer S
Senior
X5
Описание
задачи:
Конкурс: Разработка в рамках отчета "План факт"
Обязанности: Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде. (Java, Groovy, Apache Nifi, Airflow) Определение стека технологий для конкретных проектов и задач. Решает технически сложные задачи, которые не могут решить другие инженеры в команде. Оперативно реагирует на информацию о проблемах в зоне ответственности, выполняет задачи в установленные сроки. Разрабатывает и контролирует актуальность документации по взаимодействию конфигурационных единиц платформы больших данных. Предоставляет отчеты о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством». Контроль качества интеграционных решений с последующим созданием задач\дефектов для рефакторинга. Определяет технологическую стратегию развития проекта или продукта, работает на перспективу. Выстраивает процессы (например, CI/CD, код-ревью), внедряет и развивает инженерные практики.
Период: 03.06.2026 - 31.07.2026
Требование от Х5
Владение одним из языков программирования (Java, Groovy), знание принципов ООП, умение читать чужой код. Сборка проекта, компиляция и деплой в Rancher. (Docker). Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData. Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов). Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.). Умение работать с Git в консоли. Знание особенностей работы ETL-инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.). Опыт работы с Hadoop. Понимание устройства HDFS, форматов данных. Опыт работы с Hive или любым другим хранилищем на основе Hadoop. Опыт использования систем ведения проектов и документации. Умение работать с архитектурными схемами. Понимание принципов построения и хранения данных — DWH и DataLake. Желателен опыт администрирования Unix/Linux или Hadoop (HDFS, Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.
Дополнительные
требования: В рамках данной заявки необходим специалист с опытом работы S3 + Trino + Click House + опыт в процессах ETL. Что нужно будет сделать в рамках данного проекта : проанализировать требования , настроить новые интеграции данных из внешних систем источников и подготовить итоговые витрины данных для дальнейшей визуализации аналитического отчета .