Дата-инженер / Data Engineer

Сегодня мы открываем поиск +1 Data-инженера в команду продуктовой аналитики (1 Data-инженер, 5 Data-аналитиков). Акцент делается на работе с поведенческими и бизнес-данными. Продуктовая команда работает над 4 параллельными проектами нашего актива R1. Ориентир DE-группы - техническое сопровождение потоков данных, обеспечение их бесперебойной работы, снижение инженерной нагрузки на продуктовых аналитиков.
Наш стек: Инфраструктура Я.Облако (s3, Airflow, ClickHouse, Spark, Kafka, DataLens), Python, SQL, Kafka, Airflow
Чем предстоит заниматься:
• Интегрировать данные из разных источников (Oracle, Яндекс Метрика, AppMetrica, сторонние БД) в ClickHouse;
• Развивать архитектуру хранилищ, выбирать технологии и подходы с учетом специфики каждого юнита;
• Проектировать и автоматизировать сбор витрин из сырых данных через Airflow;
• Отвечать за стабильную работу пайплайнов: мониторинг, логирование, поддержка, багфикс;
• Мониторинг и оптимизация производительности системы хранения данных.
Что важно:
• Продвинутые знания в работе с распределенными системами хранения и обработки данных (приоритет ClickHouse, Spark);
• Уверенное знание SQL (умеренное стремление к оптимальным запросам и понимание путей их достижения);
• Продвинутый уровень Python для построения EL, ETL, ELT конвейеров с гарантиями обеспечения качества данных (приоритет Airflow);
• Аккуратность, ответственность, внимательность к деталям;
• Умение работать с версиями кода (Git).
Будет преимуществом:
• Опыт с облачными платформами (AWS, GCP, Azure, Яндекс.облако);
• Понимание работы табличного формата Iceberg и архитектуры DataLake (опыт успешного внедрения - значительное преимущество);
• Опыт работы с фреймворком dbt (опыт успешного внедрения - значительное преимущество);
• Понимание концепции обозримости данных и аспектов работы дата-каталога;
• Стремление к проактивной работе с инцидентами в данных;
• Понимание концепции и инструментов передачи данных в реальном времени (приоритет - опыт работы с Kafka);
• Понимание CI/CD (GitLab CI).
Мы предлагаем: ​​​​
• Возможность присоединиться к профессиональной, высоко мотивированной и результативной команде из 200+ сотрудников R1, перспективы карьерного роста;
• Официальное трудоустройство в аккредитованный IT-актив компании ООО "Эр-1", оплачиваемые отпуск, командировки, больничные;
• Работу в офисе в одном из городов присутствия R1 на ваш выбор - Москва, Санкт-Петербург, Пермь;
• Рыночную заработную плату по результатам собеседования;
• ДМС со стоматологией после испытательного срока, 100% компенсацию больничного;
• Комфортные офисные условия;
• Корпоративные программы от наших партнеров;
• Бонусное подключение к телеком-услугам Дом.ru по тарифу «Сотрудник»;
• Яркую корпоративная жизнь и дружелюбную атмосферу в коллективе профессионалов!