AI/QA-инженер

Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку ПАК Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.
Вам предстоит:
Тестирования AI/ML-компонентов и сервисов; Проверка качества моделей и корректности вывода; Работа с фреймворками: LangChain, LlamaIndex, RAGAS, Langfuse; Тестирование агентских систем: проверка циклов (отсутствие зацикливания), корректность вызова инструментов, graceful degradation при ошибках; Настраивать тестовые датасеты с разнообразными сценариями (включая edge cases: сленг, опечатки, отрицания, длинные контексты); Создавать и поддерживать золотых датасетов (golden answers) для автоматической сверки; Вести тест-кейсы и чек-листы для регрессионного тестирования при смене модели или промпта; Тестировать RAG-пайплайны: качество retrieval (Hit Rate, MRR, NDCG@K), релевантность ответов, groundedness; A/B-тестирование промптов и моделей (включая сравнение разных LLM); Нагрузочное тестирование LLM-сервисов: измерение TTFT (time to first token), TPOT (time per output token), latency, throughput (инструменты: Locust, k6); Версионирование тестовых данных и датасетов (DVC или аналоги) для воспроизводимости тестов; CI/CD для ML: автоматический запуск тестов при изменении промпта, модели или коннектора; Мониторинг качества в продуктивном контуре: отслеживание дрифта метрик, аномалий в ответах, деградации retrieval. Требования к нашему кандидату:
Опыт тестирования AI/ML-компонентов и сервисов; Опыт работы с фреймворками: LangChain, LlamaIndex, RAGAS, Langfuse; Опыт тестирования RAG-пайплайнов: качество retrieval (Hit Rate, MRR, NDCG@K), релевантность ответов, groundedness; Знание Python, SQL, REST API; Знание метрик оценки LLM; Понимание принципов работы агентских систем, MCP. Желательно:
Опыт работы с Postman, Selenium, PyTest; Оценка экономической эффективности: контроль token usage, cost per request, API-лимитов; Понимание интеграционного тестирования: коннекторы к Active Directory, MS SharePoint, Confluence, мессенджерам и пр.; Навыки тестирования ИБ: prompt injection, jailbreak-атаки, проверка утечки PII (паспорта, телефоны), data leakage системных промптов. Что мы предлагаем:
Уютный, комфортный и современный офис в пешей доступности от м. Алексеевская, где есть все необходимое для работы и даже больше: дежурный врач, кафе и столовая, кофе и фрукты, фитнес-центр, коворкинг и многое другое. Стабильный и «белый» конкурентный доход, который мы обсудим при встрече; Удобный график — гибрид или офис (в зависимости от подразделения); Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации); Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»; Развитые спортивные комьюнити: футбол, волейбол, баскетбол и шахматы; ДМС для вас и вашей семьи на особых условиях; Тимбилдинги, митапы и другие корпоративные мероприятия; Скидки у 500+ партнеров (платформы BestBenefits и Lerna).
Ждем вас в нашей команде!