LLM Evaluation инженер (Системы оценки качества AI)

Мы формируем в компании AI Platform Team — которая отвечает за всю инфраструктуру AI: от выбора моделей до их продуктовой эксплуатации.
Наша задача — дать продуктам объективную и воспроизводимую систему оценки LLM. Чтобы каждое решение — смена модели, обновление промпта, настройка RAG — принималось на основе метрик, а не интуиции.
Нам важно, чтобы вы имели практический опыт построения систем оценки качества LLM/ML-моделей. Необходимо строить бенчмарки, управлять датасетами, внедрять human-in-the-loop процессы, настраивать observability-стек (Langfuse) и встраивать eval-пайплайны в CI/CD.
Чтобы команды разработки видели чёткие цифры: точность, латентность, стоимость, регрессии.
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
• Проектирование и развитие системы оценки качества LLM и AI-функций (чат, генерация, RAG, агенты) для продуктов Битрикс24.
• Построение и поддержка бенчмарков: разработка сценариев, формирование и версионирование датасетов, подбор метрик для сравнения моделей и конфигураций.
• Подготовка, разметка и управление датасетами для оффлайн-оценки, включая human-in-the-loop процессы.
• Настройка автоматических прогонов бенчмарков в CI/CD, формирование и визуализация отчётов для команд разработки и продукта.
• Развитие observability-стека для LLM (Langfuse и другие инструменты): трассировка запросов, метрики качества, дашборды, алерты.
• Участие в улучшении и оптимизации процессов разработки AI-функций, внедрение data-driven подхода к принятию решений по моделям.
• Участие в ревью проектов, командной работе, внутренних митапах и обмене знаниями.
ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:
• Опыт работы с LLM и их API (OpenAI, Anthropic, GigaChat, локальные LLaMA/Qwen и др.), понимание их ограничений.
• Конкретный опыт работы с Langfuse (настройка трейсинга, eval-ранов, дашбордов, алертов).
• Навыки анализа логов и метрик, построения отчётов и визуализаций для технической и продуктовой аудитории.
• Понимание принципов статистики и экспериментального дизайна (гипотезы, выборки, значимость, интерпретация результатов).
ТАКЖЕ ДЛЯ НАС ВАЖНО:
• Знание языка программирования Python.
• Практический опыт проектирования приложений и веб-сервисов либо внутренних инструментов для разработчиков/DS.
• Понимание принципов работы баз данных и систем хранения данных (для логов, датасетов, результатов экспериментов).
• Отличное знание и понимание жизненного цикла ПО, опыт работы с системами контроля версий и CI/CD.
• Уверенное знание сетевых технологий на уровне, необходимом для понимания работы распределённых сервисов и API.
• Базовое понимание веб-безопасности и приватности данных при работе с пользовательскими запросами и логами.
• Уверенное знание ООП и современных парадигм проектирования (SOLID, Clean Architecture).
• Готовность отстаивать своё мнение на основе данных и экспериментов и при этом оставаться открытым к аргументам команды.
БУДЕТ ПЛЮСОМ:
• Опыт использования фреймворков для eval и оркестрации LLM (например, LangChain, LlamaIndex, LangGraph и т.п.).
• Знание принципов модульного тестирования, умение писать тесты (PyTest, PHPUnit и др.).
• Опыт работы в продуктовых командах, где решения по моделям принимались на основе количественных и качественных метрик.
ЧТО МЫ ПРЕДЛАГАЕМ:
• Полная занятость с возможностью удаленной работы или работы в комфортном офисе в Москве/Калининграде;
• Уникальная возможность влиять на пользовательский опыт миллионов компаний по всему миру;
• Работа в компании, где принятие решений основано на данных и аналитике;
• Конкурентоспособная заработная плата, оформление по ТКРФ;
• Программы профессионального развития и обучения;
• ДМС со стоматологией после трех месяцев работы;
• Сервис психологической поддержки ЯСНО;
• Корпоративная культура, направленная на заботу о сотрудниках и их благополучии.