Работа в IT

Архитектор DWH

Поделиться
Уровень
Senior
Город
Любой город
Описание

Наша команда занимается поддержкой для одного из самых продвинутых DWH в России. В команде более 200 человек. У нас довольно большая и сложная распределенная инфраструктура (Greenplum, Clickhouse, Hadoop, Tableau, Zeppelin, Jupyter, Airflow, Kafka, s3, etc.), которая ежедневно обрабатывает десятки терабайт данных и один миллион запросов в сутки.

В продуктовой команде мы начали развивать Self Service ETL(Self-Service Data Preparation) – ключевой компонент платформы данных DWH для 1000+ аналитиков, Data и ML инженеров, продактов со знанием SQL, Python, Spark, ML. Self Service ETL платформа должна удобно для пользователей связывать любой источник в экосистеме Тинькофф и DWH платформы в один пайплайн, деплоить его и следить за его выполнением.

Мы ищем человека, который будет заниматься архитектурой проекта.

Обязанности

  • Проектирование архитектуры и развитие платформы self-service ETL
  • Анализ потребностей внутренних пользователей в самостоятельной аналитике данных
  • Исследование рынка продуктов self-service ETL
  • Проведение пилотов
  • Проектирование с командой целевого решения
  • Работа с backlog'ом задач проекта
  • Организация процессов работы команды: Dev, Scrum, CI/CD, Review, документация
  • Проведение ревью

Требования

  • Опыт работы в сфере Data Engeneering/DWH/ETL от 3-х лет
  • Опыт работы с ETL инструментами
  • Понимание архитектуры хранилищ и инструментов, которые с ним работают
  • Наличие завершённых проектов внедрения нового инструмента от пилота до промышленного использования
  • Аналитический склад ума
  • Умение взглянуть на проблему со стороны заказчика
  • Опыт промышленной разработки на одном из языков программирования
  • Знание принципов и опыт работы с реляционными БД (желательно Postgres)
  • Опыт Python как плюс (стек работы с данными Pandas, Plotly, psycopg2, SQLAlchemy и веб-стек Django, Flask)

Мы предлагаем

  • Работу в офисе или удаленно — по договоренности
  • Профессиональное развитие. Вы получите доступ к библиотеке с технической литературой, тренингам и мастер-классам для сотрудников
  • Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким
  • Бесплатный фитнес-зал или компенсацию затрат на спортивные занятия
Расскажите о себе
Выберите резюме/портфолио или перетащите их сюда