ID 2682

Локация РФ
Сфера деятельности заказчика
FMCG
Ключевые компетенции
Git
SQL
PostgreSQL
Java
MySQL
Oracle
Python
ClickHouse
Greenplum
MSSQL
Hadoop
s3
spark
Apache Airflow
BigData
trino
dbt
Cosmos
Iceberg
Lakehouse
NiFI
Avro
Обязанности:
Наш
стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
Сбор требований с бизнес-заказчиков и анализ источников данных
Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.
Требования
Общее представление о стеке технологий Lakehouse
Понимание различия работы между BigData/Lakehouse и с данными обычного размера
Знание SQL (индексы, функции, оптимизация, профилирование производительности
Знание языков программирования (JAVA, Python)
Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.)
Умение работать с Git (знание команд git pull/commit/push)
Опыт работы с DBT, Cosmos, Ni-Fi
Опыт разработки на Spark
Понимание особенностей Trino
Понимание форматов данных Iceberg, Parquet, Avro
Понимание работы с minio или любого другого хранилища на основе S3
Опыт использования системами ведения проектов и документации
Формат работы
Удаленно
Продолжительность проекта
От 6 месяцев до года