Роль: Senior-Lead Data Engineer

Ищем Lead/Senior Data Engineer, которому интересно не просто поддерживать существующие решения, а строить Data Platform с нуля. Будет много hands-on работы: запуск новых контуров, оптимизация производительности, развитие Lakehouse и аналитического DWH. При этом это роль с лидерской зоной - создание и развитие команды, внедрение best-practice разработки, процессов, артефактов.
Основные
задачи:
Архитектура и развитие платформы (совместно с Data Architect):
Проектирование архитектуры Data Platform (DWH + Lakehouse)
Выбор технологических решений и инструментов
Участие в проработке подходов к Data Quality, lineage и monitoring
Разработка
Проектирование, разработка и поддержка ETL/ELT-пайплайнов
Разработка витрин данных
Реализация ingestion и обработки данных в Lakehouse
Настройка оркестрации и мониторинга в Airflow
Поддержка и развитие LakeHouse, DWH
Внедрение практик CI/CD для data-разработки
Документирование разработки
Лидерство и развитие команды:
Создание команды Data Engineers
Развитие компетенций, процессов разработки, code review и внедрение engineering best-практик
Планирование roadmap развития платформы
Взаимодействие с архитекторами, аналитиками и backend-командами
Технический
стек:
S3, Iceberg, Airflow, Spark, Python, Trino, ClickHouse, Greenplum, DBT, Superset (опыт со стеком обязателен)
Наши ожидания
Опыт работы Data Engineering / DWH / Big Data от 6 лет
Опыт работы с DBT / Airflow / Spark / объектными хранилищами
Опыт проектирования Data Platform или ключевых её частей
Опыт оптимизации производительности DWH или Big Data систем
Опыт technical leadership (lead / tech lead / играющий тренер)
Понимание принципов Data Governance и Data Quality
Будет плюсом: опыт создания Data Platform с нуля, включая MVP