Работа в IT

Архитектор ETL

Поделиться
Уровень
Senior
Город
Любой город
Описание

Data Platform в Tinkoff представляет из себя единое хранилище, куда стекаются все данные группы компаний. ETL Platform состоит из инструментов, отвечающих за загрузку и трансформацию данных. Ежедневно 6000 ETL-процессов обрабатывают данные из сотен источников, обновляя витрины общим объемом более 200Tb. Большая часть процессов, разрабатываемых с помощью инструментов ETL Platform, являются батчевыми, и очень важно следить за оптимальностью их работы, развивать подходы и инструменты для их разработки. Мы ищем в команду опытного Архитектора ETL, который поможет нам развивать направление Batch ETL, чтобы справляться с растущим объемом данных и заказчиков, совершенствовать подходы к разработке ETL процессов, оптимизировать уже существующие решения.

 

Наша инфраструктура:
•    Greenplum / Hadoop / Clickhouse в качестве ядра обработки данных
•    Собственное решение на базе Apache Airflow в качестве инструмента трансформации данных

Обязанности

  • Создание платформы распределенных вычислений для ETL-трансформаций
  • Постановка задач команде разработки на доработку функциональности батчевого ETL инструмента
  • Развитие методологии разработки Batch ETL

Требования

  • Опыт работы в сфере Data Architecture/DWH/ETL от 3-х лет
  • Опыт работы с батчевыми процессами загрузки данных
  • Понимание архитектуры хранилищ и инструментов, которые с ним связаны
  • Опыт проектирования ETL-процессов в распределенных системах
  • Хорошее понимание и опыт работы с MPP СУБД
  • Знакомство с инструментами: Airflow, Greenplum, Clickhouse будет плюсом

Мы предлагаем

  • Работу в офисе или удаленно — по договоренности
  • Профессиональное развитие. Вы получите доступ к библиотеке с технической литературой, тренингам и мастер-классам для сотрудников
  • Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким
  • Бесплатный фитнес-зал или компенсацию затрат на спортивные занятия
Расскажите о себе
Выберите резюме/портфолио или перетащите их сюда