Вам предстоит:

— Сбором, преобразованием и стандартизацией данных из различных источников

— Составлением пайплайнов трансформации данных с помощью фреймворка DBT (Greenplum, Clickhouse)

— Написанием Юнит тестов и DQ-тестов

— Документированием собственных разработок

— Работой с задачами по извлечению, трансформации и загрузке данных (ETL, ELT) в стеке Apache Airflow и сервисов «Яндекс облака»

— Участием в проектировании структур хранилища данных и витрин по заданиям от бизнеса

‍

Для нас важны:

— Навыки написания и оптимизации запросов SQL, а также промышленного использования реляционных СУБД (преимущественно Postgres, Greenplum/Clickhouse/MS SQL)

— Базовый уровень владения Python (в области разработки ETL или конвейеров данных), желательно знакомство с библиотеками pandas, numpy, seaborn

— Опыт работы с системами контроля версий (GIT)

— Понимание принципов работы БД NoSQL и МПП

— Будет большим плюсом владение Apache Spark, Presto/Trino, Grafana, Kafka