Data Архитектор

АМТЕХ — аккредитованная российская IT компания-разработчик передовых решений для управления городской средой современного мегаполиса. Проекты объединяют в себе решение задач безопасности граждан, улучшения их информированности, доступности городских сервисов для населения, а также комфорта городской среды.
С 2013 года успели зарекомендовать себя как надежный партнер в работе с самыми различными заказчиками, начиная от небольших частных компаний, заканчивая крупными корпорациями.
Мы гарантируем будущему коллеге:
• Высокий уровень полностью белой заработной платы;
• Официальное оформление в рамках ТК РФ в аккредитованную IT-компанию;
• Широкий социальный пакет ДМС со стоматологией;
• График работы 5/2 с гибким началом дня;
• Возможность работать в полностью удаленном формате (в пределах РФ);
• Оплату больничного по ТК РФ (+компенсация до полного оклада вне зависимости от стажа 10 дней в году);
• 30 календарных дней отдыха в году (28 дней по ТК РФ + 2 дополнительных day-off);
• Комфортное рабочее место с мощным железом;
• Компенсацию занятий спортом (оплата абонемента от 30% до 75% стоимости в зависимости от стажа работы);
• Перспективные возможности для роста и развития внутри компании;
• Школу программирования для детей сотрудников;
• Работу над масштабными, интересными и социально значимыми проектами для г. Москвы.
Требуется архитектор данных для проработки текущего ландшафта данных и проектирования целевой модели, которая обеспечит:
• Целостность и непротиворечивость данных;
• Масштабируемость хранения и обработки;
• Поддержку историчности;
• Единые подходы к НСИ и сквозным идентификаторам;
• Повышение качества данных.
Основные задачи:
• Проведение дискавери текущих источников, потоков, витрин и справочников;
• Проектирование целевой архитектуры данных;
• Разработка концептуальной и логической модели данных;
• Проработка сущностей, связей, ключей и правил историчности;
• Проектирование слоев STG, ODS, DDS, CDM, REP;
• Проработка НСИ, мастер-данных и сквозных идентификаторов;
• Формирование правил качества данных, валидации и сверок;
• Проектирование batch и streaming потоков обработки;
• Подготовка требований к интеграциям через API, Kafka, файлы, CDC;
• Подготовка архитектурной документации и участие в архитектурном надзоре.
Ожидаемые результаты:
• Целевая схема потоков данных;
• Описание слоев хранения и обработки;
• Модель основных сущностей и связей;
• Правила историчности и изменений;
• Подход к НСИ и сквозным идентификаторам;
• Принципы контроля качества данных;
• Рекомендации по переходу от текущего состояния к целевому.
Требования к опыту:
• Опыт работы архитектором данных / архитектором DWH от 3 лет;
• Общий опыт в data / DWH / integration направлении от 5 лет;
• Опыт проектирования корпоративных хранилищ данных или аналитических платформ;
• Опыт моделирования сложных предметных областей;
• Опыт проектирования историчности, SCD, справочников и ключевых сущностей;
• Опыт проектирования batch и streaming интеграций;
• Опыт взаимодействия с аналитиками, разработчиками, BI и DevOps командами.
Мы ожидаем от кандидата:
• Понимание принципов построения DWH и аналитических платформ;
• Уверенное владение моделированием данных;
• Понимание слоев STG, ODS, DDS, CDM, Data Mart;
• Понимание историчности, versioning, audit trail;
• Понимание качества данных и подходов к валидации;
• Понимание batch, streaming, CDC, event-driven интеграций;
• Умение переводить бизнес-требования в архитектурные решения.
Будет плюсом:
• Data Governance, data lineage, schema registry, data contracts;
• Понимание разграничения доступа к данным;
• Опыт работы в enterprise / high-load среде.
Технологический стек:
• PostgreSQL;
• ClickHouse;
• Kafka;
• Spark / Spark SQL;
• Airflow;
• Hadoop ecosystem;
• Hive / HBase;
• NiFi;
• REST API;
• Git / GitLab;
• Docker / Kubernetes.
Если в этом описании вы увидели себя, откликайтесь, мы с удовольствием расскажем о деталях позиции!