Data Engineer middle+ (ритейл)

Период: Долгосрок
Сфера: Ритейл
Опыт - от 4х лет
Требования:*
Наш
стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
Сбор требований с бизнес-заказчиков и анализ источников данных
Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.
Задачи:*
Общее представление о стеке технологий Lakehouse
Понимание различия работы между BigData/Lakehouse и с данными обычного размера
Знание SQL (индексы, функции, оптимизация, профилирование производительности
Знание языков программирования (JAVA, Python)
Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.)
Умение работать с Git (знание команд git pull/commit/push)
Опыт работы с DBT, Cosmos, Ni-Fi
Опыт разработки на Spark
Понимание особенностей Trino
Понимание форматов данных Iceberg, Parquet, Avro
Понимание работы с minio или любого другого хранилища на основе S3
Опыт использования системами ведения проектов и документации
Рекрутер