Lead ML Engineer (LLM / Agents)

Кто мы
EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.
Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса , а также развиваем собственную no-code платформу NovaAgent для создания и оркестрации AI-агентов.
Работаем с крупным российским и международным бизнесом.
От нас ожидают не просто технологию, а глубокое понимание бизнес-процессов и отраслевой специфики клиентов .
Коротко о роли:
Ищем Lead LLM Engineer , который будет поровну :
• строить продакшен-системы на базе LLM (агенты, ассистенты, RAG, tool-use, evaluation, observability),
• руководить командой инженеров (планирование, техлидство, качество, найм/менторинг).
Роль предполагает владение архитектурой end-to-end: от постановки задачи и дизайна решений до вывода в прод, поддержки и развития.
Задачи:
50% Hands-on
• Проектирование и разработка агентских систем : orchestration, multi-agent, planning/execution loops, memory, tool calling.
• Построение ассистентов: диалоги, контекст, персонализация, безопасность , обработка ошибок и деградаций.
• Реализация RAG : ingest pipelines, chunking, embeddings, hybrid search, reranking, цитирование источников, защита от hallucinations.
• Интеграция с инструментами/сервисами: внутренние API, БД, очереди, файловые хранилища, CRM/ERP и т.д.
• Evals & качество : тест-наборы, golden datasets, автоматические проверки, A/B, regression, red-teaming.
• Наблюдаемость : трассировки, метрики, логирование, cost/latency оптимизация, rate limits.
• Участие в выборе моделей, fine-tuning/LoRA/PEFT при необходимости, prompt/system design.
50% Управление и техлидство:
• Руководство командой инженеров (ML/Backend/Platform): цели, roadmap, декомпозиция, приоритизация, delivery .
• Построение инженерных практик: code review, CI/CD, quality gates, incident management, SDLC.
• Менторинг: рост инженеров, найм, адаптация, performance feedback.
• Коммуникации со стейкхолдерами: формирование требований, критериев успеха, SLA/SLO.
Требования:
Опыт разработки LLM-продуктов в продакшене: ассистенты/агенты/RAG/tool-use.
• Сильный software engineering бэкграунд: архитектура сервисов, API, интеграции, отказоустойчивость.
• Опыт people lead (минимум 3–5 человек) или устойчивый опыт техлидства с ответственностью за поставку.
• Практики качества: тестирование, evals, мониторинг, работа с инцидентами.
• Умение переводить бизнес-задачу в техрешение и метрики результата.
Технологический стек:
LLM / Agents / Assistants
• Agent frameworks: LangGraph / LangChain , LlamaIndex , Semantic Kernel (или аналоги)
• Tool calling, function routing, planners/executors, multi-agent patterns
• Prompt/system design, structured outputs ( JSON schema , constrained decoding), guardrails
RAG / Search:
• Vector DB: pgvector / Postgres , Pinecone / Weaviate / Milvus / Qdrant
• Search: Elasticsearch / OpenSearch , hybrid search, rerankers (cross-encoders)
• Pipelines: ingestion, chunking, metadata, dedup, doc lifecycle
Backend / Data / Infra:
• Python (FastAPI), возможно TypeScript/Node.js
• Async/queues: Kafka / RabbitMQ / Redis Streams , background workers (Celery/RQ)
• Storage: Postgres , Redis, S3-совместимые хранилища
• Containerization: Docker , orchestration: Kubernetes
• CI/CD: GitHub Actions/GitLab CI, IaC (Terraform — плюс)
Observability / Evals:
• Tracing: OpenTelemetry
• Monitoring: Prometheus/Grafana
• LLM observability: Langfuse / Phoenix / Arize (или аналоги)
• Evals: RAG eval, LLM-as-a-judge, human feedback loops, safety testing
MLOps / Model ops (по необходимости)
• Fine-tuning: PEFT/LoRA , vLLM/TGI, model serving
• Cost/latency optimization: caching, batching, token budgets
Будет плюсом:
• Опыт построения “enterprise” ассистентов: роли/права, аудит, DLP, PII masking, безопасность.
• Опыт on-prem / air-gapped контуров.
• Опыт создания внутренних платформ для команд (SDK, templates, best practices).
• Опыт работы с многоязычными сценариями (RU/EN), длинным контекстом, сложными документами.
Мы предлагаем:
• Полностью удалённый формат работы.
• Участие в ML- проектах федерального уровня.
• Работа в сильной команде экспертов, где ценится открытость, качество и развитие.