Data Labeling Specialist/ Аналитик разметки данных (LLM, агенты)

Мы — команда разработки AI-агентов и решений на базе LLM и классических моделей машинного обучения.
Создаём интеллектуальных ассистентов, диалоговые системы, инструменты извлечения знаний и автоматизацию бизнес-процессов с помощью передовых языковых моделей.
Первый этап отбора на эту вакансию — общение с AI- рекрутером. После отклика вам на почту придёт приглашение пройти первичное интервью с ГиаРекрутером. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГиаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!
Обязанности
• разметка текстовых данных для обучения и оценки LLM: диалоговые и агентные треки, оценка ответов модели (quality, safety, style), ранжирование вариантов ответов (preference data)
• создание и уточнение разметочных инструкций под конкретные продуктовые сценарии
• валидация и контроль качества разметки (внутренней и внешней)
• анализ размеченных данных: распределение классов, выявление аномалий, системных ошибок
• подготовка аналитических отчётов для ML-инженеров и продакт-менеджеров
• оценка качества данных до и после разметки
• формулирование гипотез по улучшению данных и, как следствие, модели
• участие в формировании требований к данным для новых фич
• помощь в построении пайплайнов валидации данных.
Требования
• опыт разметки текстовых данных от 2 лет (включая работу с диалогами, инструкциями, LLM)
• понимание, как качество разметки влияет на качество моделей (LLM и классических)
• базовые навыки аналитики данных: SQL, Pandas, описательная статистика
• опыт подготовки аналитических выкладок / дашбордов по качеству данных
• понимание ключевых метрик качества разметки (коэффициент согласия, precision/recall на золотом наборе).
Будет плюсом
• опыт работы с LLM (дообучение, промпт-инжиниринг, оценка ответов)
• знакомство с агентными архитектурами (planning, tool use, memory)
• базовые знания Python (автоматизация проверок разметки)
• опыт управления внешними разметчиками / краудом
• понимание метрик оценки LLM (BLEU, ROUGE, BertScore, LLM-as-a-judge).
Условия
• возможность профильного обучения (обучение и сертификация за счет компании в Корпоративном университете)
• профессиональный рост
• гибкий график начала рабочего дня, гибридный формат работы. Офис расположен в г.Москва Кутузовский проспект 32
• стабильная, конкурентная «белая» заработная плата (оклад + премии)
• льготные условия по кредитам Сбербанка
• ДМС, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия.