Data Engineer Flink

Оформление: ИП (самозанятость при совмещении)
Проект: Ритейл (Аутстафф)
В рамках проекта требуется специалист, который поможет перевести ключевые процессы обработки данных с классического SQL на потоковую обработку (streaming) в Apache Flink.
Чем предстоит заниматься:
1) Участие в замене SAP на кастомную реализацию с использованием Apache Flink
2) Перевод существующих SQL-логик и ETL-процессов в потоковую обработку (streaming) на Flink
3) Поддержка потоковых пайплайнов на Java + Flink
4) Интеграция с системами-источниками и приемниками данных через Kafka
5) Участие в проектировании архитектуры нового решения
6) Работа в команде с аналитиками и инженерами данных
Наши пожелания к кандидатам:
1) Опыт работы с Apache Flink на реальных проектах (streaming, stateful processing) обязателен!
2) Уверенное знание Java (работа с многопоточностью, коллекциями, stream API)
3) Хорошие знания по SQL (написание сложных запросов, понимание оконных функций, оптимизация)
4) Опыт работы с Apache Kafka (проducers, consumers, Kafka Streams — как плюс)
5) Понимание принципов замены традиционных ETL/ELT на потоковую обработку
6) Опыт работы с Kubernetes (деплой Flink-кластеров)
7) Опыт работы с DWH
8) Опыт работы с SAP (как источник данных)
9) Опыт работы с Hadoop: Hive, NiFi, Spark будет преимуществом