LLM

Мы ищем инженера с коммерческим опытом развертывания и донастройки LLM в локальной инфраструктуре. Нам нужен человек, сочетающий глубокое понимание ML/AI с инфраструктурным мышлением: тот, кто не только обучает модели, но и выстраивает всю цепочку от GPU-сервера до продакшен-эндпоинта.
Чем предстоит заниматься:
Инфраструктура и инференс: Развертывание и обслуживание LLM на локальных GPU-серверах (vLLM, TGI, Triton, Ollama).
Дообучение: SFT, LoRA, QLoRA на корпоративных данных.
Оптимизация: Настройка батчинга, расширение контекстного окна, кастомизация токенизации.
Интеграция: Настройка Structured Output (JSON/Pydantic) для интеграции AI-ответов в корпоративные системы.
Бенчмаркинг & Анализ: Выбор моделей под задачи, сравнительный анализ (Qwen, LLaMA, Mistral и др.), участие в проектировании архитектуры AI-сервисов.
Мониторинг: Контроль качества моделей (Langfuse, Prometheus/Grafana).
Что мы ждем от кандидата (Must-have):
Коммерческий опыт локального развертывания LLM на GPU (vLLM, TGI, Triton или аналоги).
Практический опыт дообучения моделей (LoRA, SFT или QLoRA - хотя бы один успешный кейс).
Глубокая работа с GPU: понимание VRAM, квантизации (GPTQ, AWQ, GGUF) и batching-стратегий.
Четкое понимание метрик инференса: latency, throughput, tokens/sec, TTFT.
Будет плюсом (Nice-to-have):
Опыт работы с bare-metal GPU-серверами (H100/H200, A100, V100).
Навыки Prompt Engineering (Chain-of-Thought, Few-Shot, системные промпты).
Опыт с ML-observability (Langfuse, MLflow, Prometheus) или инструментами IaC (Terraform / Ansible).
Опыт в смежных сферах: Computer Vision, NLP/Audio (транскрибация, анализ текста).
Что по условиям:
Оформление: ИП