Программист-исследователь в VK Tech, Москва

Задачи
участвовать в проектировании RAG-архитектуры под B2B-кейсы: помогать выбирать источники данных, настраивать ingestion, chunking, базовые стратегии retrieval (dense/hybrid) под руководством более опытных коллег;
настраивать LLM/агентов под предметную область: реализовывать промпты, подключать инструменты (tool calling), работать с контекстом и базовой памятью;
реализовывать POC/POV на данных клиента, проводить итерационные улучшения на основе метрик и обратной связи;
строить Data Ingestion пайплайны с OCR;
реализовывать evaluation-пайплайны: генерация тестовых наборов, запуск auto-eval, участие в human-eval;
считать и анализировать ключевые метрики (accuracy, coverage, latency, user success rate), готовить отчеты для команды;
участвовать в настройке мониторинга: логирование, базовые алерты, анализ неуспешных кейсов и их фиксы.
участвовать в интеграции с инфраструктурой (Kubernetes, облако), работать с метриками и логами;
участвовать в нагрузочном тестировании для оценки скорости инференса и необходимых ресурсов.
Требования
опыт работы с Python (pandas, PyTorch/TF, API LLM);
опыт работы в ML/DS/NLP от двух лет;
опыт работы с LLM/RAG;
понимание полного цикла ML-разработки;
практический опыт работы с RAG: настройка retrieval, работа с embedding-моделями, векторными БД (FAISS, Qdrant, Pinecone и др.);
понимание базовых техник улучшения качества (reranking, filtering, prompt tuning);
опыт работы с агентными фреймворками (LangChain / LangGraph / LlamaIndex / ADK и др.);
базовое понимание agentic-подходов и tool calling;
опыт prompt engineering и настройки LLM под задачи;
базовый опыт fine-tuning (или понимание подходов: LoRA, QLora, instruction tuning);
понимание оптимизации инференса (на уровне использования инструментов: vLLM, quantization и др.);
опыт работы с популярными ML фреймворками: tranformers, vllm, sglang, pytorch;
SQL, базовое понимание работы с данными и пайплайнами;
опыт деплоя сервисов (Docker, FastAPI), базовое понимание Kubernetes/облака;
навыки логирования, мониторинга и базовых A/B-экспериментов;
опыт работы с evaluation для ML/LLM (auto-метрики + участие в ручной оценке, LLM-as-Judge).
Откликнуться
Python Job в Telegram | в VK | в Max