Кто такой дата-инженер в Тинькофф
Разработка
ETL-разработчик, бэкенд-разработчик, инженер и специалист по хранилищам данных в одном лице
Данные
Обеспечивает сбор, хранение и быструю обработку данных компании, чтобы аналитики работали с ними в удобном формате
Автоматизация
Автоматизирует работу, создает инфраструктуру и ETL-инструменты, чтобы данные передавались как можно быстрее
Сообщество дата-инженеров в Тинькофф
Core-команды внутри DWH
Работаем в Управлении хранилищ данных и отчетности (DWH), исследуем рынок инструментов, создаем их с нуля или дорабатываем
Бизнес-команды
Помогаем с загрузкой, обработкой и выгрузкой данных внутри продуктовых команд, например Тинькофф Страхования, Инвестиций или мобильного приложения банка
Что мы ожидаем от кандидата
Работа с данными
Знание SQL, умение работать с РСУБД и NoSQL (Greenplum, Clickhouse), big data (Hadoop-стек)
Программирование
Основы ООП, алгоритмы и структуры данных, владение одним из языков: Python (плюс Pandas, NumPy), Java (плюс Groovy)
ETL
Теория построения хранилищ, опыт работы с ETL-инструментами: Apache Airflow, Apache NiFi, Apache Flink
Инженерные навыки
Опыт работы с Linux, Git, Docker, Kubernetes, понимание, что такое CI/CD
Наши преимущества
Гибкие условия работы
Можно работать в офисах в городах присутствия Тинькофф или удаленно
Без бюрократии
Работаем по Agile, ценим идеи и инициативу каждого сотрудника, не заставляем ждать месяцами нового железа
Работа в команде
Дата-инженер погружен не в отдельную задачу, а в весь процесс наравне с разработчиками, аналитиками, архитекторами
Инструменты
Дорабатываем опенсорсные инструменты под себя
Apache Airflow
Создали свой фреймворк поверх Apache Airflow, добавили новые функции. Наш фреймворк позволяет разрабатывать батчевые потоки ETL в браузере
Apache Flink
Создали и развиваем собственный фреймворк поверх Apache Flink, это позволило упростить работу с его функциями. С нашим фреймворком можно разрабатывать стриминговые ETL-потоки в удобном UI без знания Java
Apache NiFi
Дорабатываем процессоры, создаем потоки данных и активно взаимодействуем с сообществом пользователей инструмента Apache NiFi
Greenplum
Hadoop
Clickhouse
Kafka
Развиваем сообщество дата-инженеров
В Тинькофф и за пределами компании
DWH News
Проводим встречи с сотрудниками, рассказываем о новых технологиях и находках для работы
Митапы
Делимся опытом и знаниями с коллегами и обсуждаем новости
Обучающие курсы
Можно освоить новый язык программирования или прокачать другой навык на внутренних курсах
Выступления и конференции
Рассказываем о своем опыте и наработках, участвуем в воркшопах
Видео об организации компонентов в потоке NiFi
Инициирующая загрузка в NiFi
Блог
О внутренней кухне компании пишем в блоге на Хабре
Вакансии для дата-инженеров
Звучит интересно? Посмотрите список наших вакансий и найдите подходящие для вас