Data Engineer

Информационные технологии

Полная

30 мая, 2023

Локация: РФ

Проект: Разработка банковских бизнес-приложений для юридических лиц. Современный технологический стек на основе микросервисной архитектуры, позволяющий легко масштабировать систему, управляя балансировкой нагрузки.

Требования

Опыт работы с хранилищами данных, опыт построения исторических витрин, прототипов и подготовки требований к инкрементальной загрузке;
Понимание принципов модели распределенных вычислений
Опыт работы с инструментариями автоматической сборки и хранения кода
Опыт создание интеграционных решений в современных BI системах
Опыт разработки ELT на PostgreSQL обязателен;
Понимание принципов организации Data Lake/DWH;
Работа по релевантному направлению не менее 2х лет;
Наличие профильного высшего технического образования
Суммарный стаж работы с момента получения первого высшего образования не менее 3х лет;
Опыт разработки DAGs на Apache Airflow;
Опыт промышленной разработки на ETL/ELT;
Понимание подходов к организации разработки (CI/CD, DevOps);
Умение разбирать код написанный с использованием Spark и функционального программирования
Необходимо провести анализ кода и логики построения текущих витрин, реализованных на Spark on Scala, и повторить эту логику на новой платформе Arenadata DB (Greenplum);
Разбор кода, написанного на Spark on Scala, в том числе нюансов не отраженных в постановке;
Создание ETL на инструментарии ЦЕХ (Arenadata DB, Airflow, yaml), обязательно построение инкрементальной загрузки;
Сверка результатов, полученных на витрине ЦЕХ с витриной в DRP;
Объяснение расхождений и доработка;
Ритуалы релизной политики.
3-я линия сопровождения загрузки витрин переданных в ОПЭ

Обязанности

100% удаленная работа.
Высококонкурентная заработная плата, по итогам собеседования.
Помимо стабильного оклада мы премируем наших сотрудников по итогам этапов проекта.
Официальное оформление и возможность выбора удобной системы налогообложения: трудовой договор, договор с самозанятым или с ИП.
Обучение, участие в профильных конференциях.

Специалист по подбору персонала Черная Алена.

chornaya@hr-gubanova.ru

Отправить резюме

Нет резюме? Скачайте нашу анкету!