Data Engineer

Наша задача — развитие лотерейной культуры в России. Сделать лотереи по-настоящему национальной традицией, объединяющей поколения, где каждый сможет найти свою игру.
В связи с развитием компании ищем в нашу команду Data engineer.
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
• Разработка, поддержка и оптимизация ELT и CDC процессов загрузки данных из источников (bash, python, airflow, peerdb) в соответствии с архитектурными стандартами;
• Построение, поддержка и оптимизация обработки данных в Datalake и сырого слоя DWH (s3, clickouse, dbt, airflow);
• Отслеживание полноты, качества и описания данных из источников (dbt, openmetadata);
• Организация и заключение контрактов на поставку данных из источников (dbt, openmetadata);
• Настройка системы оповещений: Messenger/email уведомления о проблемах качества, SLA нарушениях, падениях загрузок и отчетности (airflow);
• Полное описание объектов сырого слоя: dbt docs, data catalog;
• Ведение переговоров с владельцами источников данных;
• Консультации дата-аналитиков по источникам данных;
• Консультации и обмен знаниями с пользователями об источниках данных.
МЫ ОЖИДАЕМ:
• Знания основ промышленной разработки программного обеспечения и его беспрерывной доставки;
• Знания способов взаимодействия компьютерных систем при передачи данных;
• Знания архитектуры построения озер и хранилищ данных, теорию СУБД;
• Навыки использования Linux на уровне продвинутого пользователя;
• Навыки виртуализации и контейнеризации;
• Знания основ информационной безопасности;
• Опыт организации сбора из внешних и внутренних источников по сетевым протоколам и прикладным API;
• Опыт организации хранения и обработки данных в корпоративном озере и хранилище данных: Minio S3, Clickhouse, PostgreSQL;
• Опыт использования декларативных языков запросов и разметки: SQL (приоритет Clickhouse), regex, jinja, yaml, json;
• Опыт использования Docker и Kubernetes как среды исполнения ПО в Linux окружении;
• Навыки программирования на языках: Python, Bash;
• Владение инструментами Data стека: Aiflow, dbt, PeerDB;
• Владение инструментами локальной разработки: VS Code, DBeaver, Jupyter;
• Владение инструментами CI\CD: Gitlab
• ВАЖНО: готовность пройти испытательный срок (3 месяца) в офисе (Москва).
МЫ ПРЕДЛАГАЕМ:
• Оформление согласно ТК РФ;
• Возможен офисный, гибридный или удаленный формат работы;
• График работы 5/2, время работы 9-18/10-19;
• Реальная возможность карьерного роста - штат компании за последний год увеличился в два раза, в первую очередь мы рассматриваем кандидатов на повышение из внутреннего кадрового резерва;
• ДМС со стоматологией после испытательного срока;
• Современный стек технологий, масштабные интересные задачи;
• Корпоративная скидка для сотрудников на покупки через BestBenefits — сервису скидок и привилегий для приобретения различных товаров и услуг;
• Возможность найти друзей по интересам — в офисе есть команда футбольного клуба, обучающий портал и много других интересных мероприятий.