Data Engineer (Python) / Python Developer (рекомендательные системы)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.
Ждем именно тебя!
Мы – команда экспертов, объединенных общей страстью к искусственному интеллекту и рекомендательным системам (RecSys).
Нашей главной задачей является создание современной, масштабируемой рекомендательной платформы, способной предвосхищать ожидания пользователей, предлагая персонализированные рекомендации на каждом этапе их взаимодействия с экосистемой Сбер. Наши решения охватывают широкий спектр отраслей: от финансов и e-commerce до индустрии развлечений и здравоохранения.
Развитие нашей платформы строится вокруг внедрения новых SOTA-моделей. Мы следим за мировыми трендами, экспериментируем с новыми подходами, внедряем их как часть платформы и доводим до конкретного применения в бизнесе. Ищем Machine Learning Engineer в команду для вывода в ПРОМ рекомендательных моделей Банка. Мы работаем с огромным количеством данных, и высоконагруженными сервисами, что делает нашу работу не только важной, но и технически интересной. Также от нас напрямую зависит развитие самого продукта рекомендательной платформы в Банке, так как именно мы определяем ключевые точки ее роста. Если вам близка идея быть первопроходцем, и вы хотите стоять у истоков новой технологии, присоединяйтесь к нам!
Обязанности
• Разработка и совершенствование End-to-End ML-пайплайнов;
• Разработка продакшен-пайплайнов обработки данных;
• Работа с огромными объёмами данных Сбера (петабайты) на PySpark, исследование подходов применения их в моделях;
• Писать эффективный и масштабируемый код для тренировки и инференса моделей на PyTorch, проводить эксперименты на GPU-кластере;
• Performance оптимизации кода по обработке больших массивов данных или онлайн сервисов рекомендаций с высокой нагрузкой;
• Менторинг младших членов команды, обмен знаниями и экспертизой.
Требования
• Математический бэкграунд;
• Хорошее знание Python и ключевых фреймворков для работы с данными (PySpark, PyArrow, Pandas);
• Опыт написания качественного production кода;
• Опыт написания промышленных пайплайнов обработки данных, содержащих множество шагов, зависимостей и сложную логику;
• Опыт использования Airflow (или другого industry-standard оркестраторов пайплайнов, т.к. Luigi, Dagster и т.д.);
• Хорошее понимание баз данных SQL / NoSQL.
Будет плюсом:
• Опыт работы с Kubernetes;
• Опыт работы с MLFlow (или другими аналогичными инструментами);
• Опыт распределенного обучение больших моделей на GPU-кластере;
• Опыт или образование в области финансов, банкинга;
• Опыт реализации online inference в условиях высокой нагрузки;
• Опыт оптимизации пайплайнов препроцессинга данных под highload.
Стек технологий:
• Python, PySpark, Airflow, Kubernetes, FastAPI, S3, PyTorch, MLFlow, Jira, Confluence, Git.
Условия
• Гибридный/офисный формат работы (опционально)
• годовой бонус и ежегодный пересмотр
• Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
• Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• Офис на Кутузовской с зонами отдыха и спортзалом
• 90 дней удаленной работы из любого региона РФ (не применимо для сопровождения)
• Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.