Data Engineer (Data Quality / DWH / Analytics)

Мы, WMT Group — Аккредитованная IT-компания. Занимаемся как разработкой собственных продуктов на стыке ML и AI которые делают мир лучше, так и реализуем проекты разработки в крупных компаниях финтеха в формате outstaff. У нас колоссальный опыт в разработке продуктов различной сложности, но при этом, мы не только создаем код — мы работаем с людьми.
Наша уникальность в том, что мы не просто IT-компания , мы пространство , в котором всегда будет чем заняться, чему научиться, с кем пообщаться, получить помощь и поддержку в любой ситуации, у нас реально работающая служба заботы!
Сейчас в один из наших проектов мы ищем Data Engineer с сильным аналитическим уклоном в команду развития витрин данных крупного банка.
Роль подойдет специалисту, которому интересно не только писать ETL, но и глубоко разбираться в данных: исследовать источники, проверять согласованность, искать причины дефектов и улучшать качество данных в витринах.
Команда работает с корпоративным DWH, банковскими данными и большими объемами информации. Основной фокус роли — анализ данных, контроль качества и сопровождение витрин.
Мы сработаемся если есть:
• Понимание основных концепций DWH и ETL
• Отличное знание SQL
• Аналитический склад ума и внимательность к деталям
• Умение разбираться в структуре данных и искать причины расхождений
• Опыт работы с витринами данных или аналитическими хранилищами
• Базовое понимание работы Git
• Будет преимуществом опыт разработки на Python / Spark
• Опыт работы с Hadoop ecosystem
• Опыт работы с Hive / Impala / Spark / Airflow
• Опыт анализа качества данных и data lineage
• Понимание принципов версионности и историчности данных
• Опыт работы аналитиком витрин данных
Чем предстоит заниматься:
• Проверять качество данных в витринах команды
• Загружать, обрабатывать, сопоставлять и анализировать данные
• Исследовать источники данных, определять качество и согласованность данных
• Анализировать расхождения и искать причины ошибок в данных и ETL-процессах
• Проверять корректность логики в SQL/ETL-коде
• Работать с историчностью и версионностью данных
• Проводить анализ данных по нескольким витринам и системам
• Заводить инциденты на дефекты источников и контролировать их исправление
• Разрабатывать алгоритмы формирования атрибутов витрин и исправления ошибок
• Строить прототипы витрин по бизнес-требованиям
• Проверять качество данных в прототипах витрин
• Составлять и дорабатывать S2T mapping
• Формировать аналитические и статистические отчеты
• Поддерживать и развивать базу знаний команды
• Оказывать экспертную поддержку внутренним заказчикам и пользователям данных
• Большой объем аналитики и взаимодействия с данными
• Меньше “конвейерной” разработки, больше исследования, анализа и улучшения качества данных
Условия:
• Формат работы удаленный.
• Аккредитованная IT компания.
• Оформление по удобному формату сотрудничества ТК РФ/ГПХ/ИП.
• Минимум бюрократии и максимум мобильности и автоматизации.
• Комфортное HR сопровождение на всех этапах сотрудничества.