Data Engineer Flink

Оформление: ИП (самозанятость при совмещении)
Проект: Ритейл (Аутстафф)
В рамках проекта требуется специалист, который поможет перевести ключевые процессы обработки данных с классического SQL на потоковую обработку (streaming) в Apache Flink.
Чем предстоит заниматься:
1) Участие в замене SAP на кастомную реализацию с использованием Apache Flink
2) Перевод существующих SQL-логик и ETL-процессов в потоковую обработку (streaming) на Flink
3) Поддержка потоковых пайплайнов на Java + Flink
4) Интеграция с системами-источниками и приемниками данных через Kafka
5) Участие в проектировании архитектуры нового решения
6) Работа в команде с аналитиками и инженерами данных
Наши пожелания к кандидатам:
Apache Flink: Реальный коммерческий опыт работы с потоковой обработкой (streaming) и stateful processing.
Kafka: Опыт работы с продьюсерами и консьюмерами. Kafka Streams (библиотека для потоковой обработки).
DWH: Опыт работы с хранилищами данных.
Java: Уверенное знание многопоточности, коллекций, Stream API.
SQL: Умение писать сложные запросы, понимание оконных функций, навыки оптимизации.
S3: Как хранилище
Архитектура данных: Понимание принципов миграции с классических ETL/ELT на потоковую обработку.
Data Lake: Знание форматов (Parquet/ORC) и концепций (снапшоты, инкременты) на примере Iceberg или аналогов.
SAP (опыт работы с SAP как с источником данных).
Spark (любой опыт).
Визуализация и витрины: Опыт построения дашбордов/витрин с использованием Trino, SQL или dbt.