DevOps-инженер

Задачи:
Оркестрация контейнеров: Docker, Docker Compose, Kubernetes. Настройка и поддержка CI/CD (предпочтительно GitLab CI/CD) для деплоя ETL/ELT-процессов и сервисов DWH. Поддержка и оптимизация DWH: PostgreSQL, ClickHouse. Настройка и сопровождение ETL/ELT-пайплайнов: Apache Airflow (оркестрация) Apache NiFi (потоковая передача и трансформация данных) Обеспечение отказоустойчивости и производительности DWH (партиционирование, репликация, настройка параметров СУБД). Настройка CDC (Change Data Capture) с использованием Apache Kafka + Kafka Connect / Debezium. Мониторинг загрузок и состояния DWH-компонентов. Автоматизация рутинных задач через Bash и регулярные выражения (логи, разбор данных). Интеграция Keycloak для управления доступом к компонентам платформы (Superset, Airflow, Kafka UI и т.д.). Развёртывание и поддержка Apache Superset (визуализация данных). Опыт администрирования DWH на PostgreSQL (оптимизация запросов, настройка для аналитических нагрузок, партиционирование, репликация, бэкапы). Уверенное знание и практический опыт с Apache Airflow (DAG’и, сенсоры, операторы, подключение к БД, мониторинг). Опыт работы с Apache NiFi (проектирование потоков, контроллеры сервисов, процессоры для БД и Kafka). Понимание Apache Kafka (топики, продюсеры/консьюмеры, Kafka Connect) — для CDC и потоковой передачи данных. Навыки работы с ClickHouse (создание таблиц, распределённые запросы, базовое администрирование). Опыт с Docker и Kubernetes (развёртывание вышеуказанных сервисов, Helm приветствуется). Наши ожидания: Опыт администрирования DWH на PostgreSQL (оптимизация запросов, настройка для аналитических нагрузок, партиционирование, репликация, бэкапы). Уверенное знание и практический опыт с Apache Airflow (DAG’и, сенсоры, операторы, подключение к БД, мониторинг). Опыт работы с Apache NiFi (проектирование потоков, контроллеры сервисов, процессоры для БД и Kafka). Понимание Apache Kafka (топики, продюсеры/консьюмеры, Kafka Connect) — для CDC и потоковой передачи данных. Навыки работы с ClickHouse (создание таблиц, распределённые запросы, базовое администрирование). Опыт с Docker и Kubernetes (развёртывание вышеуказанных сервисов, Helm приветствуется). GitLab CI/CD (или аналоги: Jenkins, GitHub Actions) — умение собрать пайплайн для тестирования и деплоя DWH-кода. Bash — написание скриптов для автоматизации (очистка логов, перезапуск сервисов, бэкапы). Регулярные выражения (regex) — парсинг логов, подготовка данных.
Будет плюсом, но не обязательно: Java (понимание JVM-приложений, т.к. Airflow/NiFi/Kafka написаны на Java — для диагностики проблем). Keycloak (настройка OIDC для Superset/Airflow). Superset (администрирование, подключение к ClickHouse/PostgreSQL). Опыт с Kafka Connect для CDC.
Мы предлагаем:
Оформление по ТК РФ (наличие аккредитации компании-работодателя в сфере ИТ) Забота о здоровье: расширенный пакет ДМС, включая стоматологию Программы корпоративных привилегий PrimeZone: скидки на товары и услуги, специальные предложения от компаний- партнёров
Корпоративные спорт: футбольный и волейбольный клуб, беговые марафоны, скидки в World Class Комфортный офис в шаговой доступности от м. Парк Культуры Гибридный график работы с 9.00 до 18.00