Разработчик (Data Engineer)

ТехВилл – IT-компания и партнёр ВкусВилл по развитию цифровых решений.
Мы отвечаем за разработку мобильных и web- приложений, автоматизацию бизнес-процессов, искусственный интеллект, devops, инфобез ВкусВилла.
Нашими решениями пользуется свыше 1 000 000 клиентов и сотрудников ВкусВилла.
На данный момент мы ищем Data Engineer , который будет участвовать в роботизации и автоматизации процессов во «ВкусВилл» .
Обязанности:
• Стек: Python, Apache Airflow, Docker, SQL (DuckDB), PyArrow, MinIO(S3), Apache Superset.
• Поддержка и развитие инфраструктуры обработки данных с роботов.
• Написание DAG'ов.
• Оптимизация SQL-запросов к Data Lake.
• Создание дашбордов в Superset.
Требования:
• Python (продвинутый уровень).
• Опыт написания production-кода, понимание особенностей работы с большими данными (эффективность операций, например, сложность append и альтернативы).
• Уверенная работа с библиотеками: pyarrow (создание/чтение таблиц, партицирование), duckdb (встраиваемый SQL-движок).
• Опыт использования многопроцессности (multiprocessing, concurrent.futures) для параллельной обработки данных.
• SQL (средний уровень).
• Умение писать аналитические запросы (агрегации, оконные функции).
• Понимание разницы между DuckDB и Pandas для аналитических задач.
• Apache Airflow.
• Понимание архитектуры Airflow: DAG, операторы (Python, Bash, Docker), XCom.
• Практический опыт написания DAG'ов для ETL-процессов.
• Понимание, зачем используется Airflow.
• Docker и контейнеризация.
• Уверенное владение Docker CLI: inspect, system, ps, rm, exec и другими командами для диагностики.
• Знание docker compose: чтение и написание конфигураций, добавление новых сервисов, работа с сетями и томами.
• Навыки отладки внутри контейнеров (просмотр логов, проверка состояния файловой системы, запуск вспомогательных команд).
• Хранение данных и форматы.
• Опыт работы с объектными хранилищами, совместимыми с S3 (MinIO или аналоги).
• Понимание, зачем используется Parquet (колоночное хранение, сжатие, эффективность запросов) и его преимущества перед построчными форматами.
• Визуализация данных (Apache Superset).
• Готовность заниматься рутинной работой по созданию и поддержке дашбордов.
• Понимание структуры Superset: виртуальные датасеты, SQL Lab 7
• Soft Skills.
• Высокая обучаемость и способность быстро погружаться в существующую архитектуру (bus factor = 1).
• Системное мышление: понимание полного цикла работы данных от загрузки до визуализации (Jupyter → Airflow → duckdb → lakeFS → MinIO → duckdb → Jupyter/Superset).
• Ответственность и готовность оперативно решать проблемы поддержки (что-то сломалось — надо чинить).
Преимущества (будет плюсом):
• Знание ROS 2 (Robot Operating System) и формата .bag: понимание структуры топиков, сообщений, типов данных сенсоров (лидары, камеры, одометрия).
• Опыт работы с lakeFS: понимание концепции версионирования данных (ветвление, коммиты) и того, как lakeFS интегрируется с MinIO.
• DevOps-скиллы: базовое администрирование Linux (работа с дисками, памятью, процессами); опыт работы с системами логирования и мониторинга.
Условия:
• Работа в аккредитованной IT-компании.
• Гибрид ; На ключевых этапах проекта требуется работа на месте. Ожидается готовность к периодическим визитам.
• Официальное оформление с первого дня работы и поддержка куратора во время адаптации.
• Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций.
• Экологичная культура и адекватные руководители.
• Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников.
• Бонус 15% с покупок во ВкусВилл.
• Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка.
• Партнерская программа «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб.