ML - инженер (СКАН)

Интерфакс - крупнейшая в России негосударственная информационная группа, создатель передовых информационно-аналитических систем в сегменте B2B, одно из ведущих в стране и наиболее цитируемых в мире российских информационных агентств.
Компания Интерфакс один из лидеров в своей отрасли и в числе своих клиентов имеет все крупнейшие СМИ, теле- и радиоканалы, интернет СМИ, издательства, государственные и бизнес-структуры, а также игроков финансового сектора, таких как биржи и банки.
Проект СКАН – система управления репутацией и медиа-анализа. Мы помогаем PR-специалистам эффективно работать со СМИ и соцсетями, а специалистам по безопасности - оценивать репутационные риски для работы с контрагентами.
Система непрерывно собирает новости с десятков тысяч источников, разбирая ежедневно около 500000 статей. Каждая статья проходит лингвистическую обработку через несколько десятков сервисов. Мы научились понимать текст на очень высоком уровне и это только вершина айсберга. Для обеспечения процессинга, поиска, аналитики, мониторинга, шлюза на данный момент используется платформа с 300+ GHz, 5TB RAM, 65TB SSD, 6TB SQL Server, 16TB MongoDB.
Мы растем каждый год на 20% минимум - новые вызовы требуют еще больших объёмов, оптимизаций и решения сложных технических задач, обновления стека технологий.
Задачи, которые предстоит решать:
• Организация и поддержание работы пайплайна NLP обработки текстов
• Работа с данными на потоке и данными из DWH
• Реализация нового функционала системы: продуктовые и технические фичи;
• Проверка и генерация гипотез для решения задач: поиск нестандартных подходов, совершенствование существующей архитектуры;
• Принятие участия в выборе нового инструментария;
• Структурирование, планирование и менеджмент: начиная с себя до всего отдела;
• Разработка масштабируемых научных и инженерных решений, которые успешно работают на производстве;
• Работать с лидерами над разработкой стратегического видения и долгосрочных планов по улучшению лингвистического и NLP ядра продукта.
Что мы ожидаем увидеть в успешном кандидате:
• Опыт программирования на Python (не менее 3 лет) Python 3;
• Опыт и знания в области проектирования или архитектуры (шаблоны проектирования, надежность и масштабирование) новых и существующих систем;
• Знания линейной алгебры, теории вероятностей и статистики;
• Понимание принципов работы базовых ML моделей (регрессия, классификация, деревья, бустинг, кластеризация, методы восстановления пропущенных значений и т.д.);
• Опыт использования одного из DL фреймворков (pytorch, tensorflow и т.п.);
• Понимание принципов работы с большими данными;
• Опыт работы с FastAPI, MLFlow/Dagster, AirFlow, Git, Docker, Jupyter Hub иные современные инфраструктурные инструменты и средства;
• Знание алгоритмов и структур данных;
Будет плюсом:
• Опыт построения ML конвейеров с нуля и знание плюсов и минусов разных инструментов и подходов
• Знание и опыт инструментами работы с большими данными. Spark,Kafka, Hadoop, Clickhouse, Hive, HDFS, MinIO
• Умение писать SQL запросы;
Что мы готовы предложить:
• Официальное оформление с первого дня работы
• ДМС (включая стоматологию)
• Премии по результатам работы: квартальные, годовые
• Удобное местоположение: офис в историческом центре Москвы (Маяковская, 1 мин. ходьбы от метро)
• Возможность работать удаленно
• Тренинги и обучение, участие в профессиональных конференциях и корпоративных мероприятиях