ID 2749

Data инженер
Локация РФ и РБ.
Длительность проекта
На длительный срок
Объем участия в проекте
Высокая нагрузка
160 ч/мес
Формат взаимодействия
Удаленно
Требуемая локация специалиста
Россия, Беларусь
Доступность специалиста
по мск
Требуемое гражданство специалиста
РФ
Обязательные
требования
Базовый уровень знания java (циклы, условия, хешмапы и т.д.);
Базовый уровень знания и понимание CI/CD;
Linux (basic), Ansible, SQL, Git, XML, JSON, XSLT, YAML;
Базовые знания экосистемы Hadoop и его компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel);
Язык: английский, уровень владения: технический (чтение документации, профильных ресурсов).
Задачи на проекте
Глобально задачи команды
Репликация и индексирование данных из различных источников (в основном Apache Hive) в распределенный облачный кластер (тоже Apache Hive), чтобы затем в режиме реального времени отрабатывать запросы через REST или брокеры сообщений (Kafka или IBM MQ) к этим данным (напр., остатки по счетам физ. лиц в ответ на запросы гос. органов, данные о товарах в чеке к покупке в мобильном приложении и проч.).
Этапы отбора
2 этапа интервью:
1 — внутренний квалификационный;
2 — интервью с клиентом с техническими вопросами.
Описание проекта и команды
Банк.
Репликация данных из источников в распределенный облачный кластер и индексирование данных для обработки запросов в режиме реального времени.
Стек:
JIRA
Confluence
Корпоративные мессенджеры
Outlook
Scrum