Авиастатс – продукт внутри Авиасейлс, суть которого заключается в продаже клиентам данных о ценах, поисках и пассажиропотоке.
В отличие от классического DWH, который обычно стоит немного в стороне, Авиастатс – это B2B продукт, поэтому есть возможность быть близко к бизнес-требованиям, решать актуальные задачи и имплементить требования клиентов с минимальным лагом. При этом, рядом всегда есть команда дата инженеров, которая занимается хранилищем Авиасейлс, к которым можно сходить за советом.

‍

Наш стек:

— Python 3.8+, но для загрузки данных из Kafka используется Flink;

— Airflow в качестве основного оркестратора, переносим туда задачи из старого самописного оркестратора (на Python);

— Amazon S3 для хранения данных и Athena для работы с ними;

— Apache Impala в качестве основного аналитического хранилища, поверх которого работает часть витрин. Мы в процессе переезда с Impala и в будущем мы уйдем от ее использования, полностью заменив на S3 и Athena;

— Redash в качестве инструмента визуализации, но это, скорее всего, тоже изменится.

Что нужно будет делать:

— разовые кастомные выгрузки по запросу;

— повторные выгрузки данных, которые должны были отправиться / которые отправились, но оказались некорректными;

— отвечать клиентам на вопросы о корректности данных;

— дорабатывать существующие экспортеры (регулярные выгрузки);

— дежурить (что-то упало, поднять, починить) в рабочее время.

Что мы ждем от тебя:

— опыт работы в роли Python разработчика или Data Engineer от года, отличные навыки ООП;

— знание SQL;

— теоретические знания о системах оркестрации, знания или опыт с облачными сервисами будет плюсом.

Как мы работаем:

— в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;

— без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;

— компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;

— на райском острове: можно работать на Пхукете с видом на океан.