В 2022 году было принято решение о разработке собственного инструмента анализа данных, к этому привела совокупность следующих факторов:

• Аналогичные сервисы сфокусированы на чем-то одном: на мобильных приложениях или на веб-аналитике, из-за чего приходится использовать минимум два инструмента для схожих задач. А еще нет возможности строить кросс-отчеты между приложениями и системами, для этого нужно делать запросы в DWH. Statist — единая точка входа для анализа мобильных и веб-приложений и технических метрик.
• Нет уверенности в том, что данные надежно защищены, особенно в условиях санкций. Statist — собственная разработка, он позволяет полностью контролировать хранение данных и доступ к ним.
• Сервисы, которые уже существуют на рынке, не предоставляют инструменты для работы с качеством данных.
• Высокая стоимость сервисов со строгими лимитами на количество событий и атрибутов в них. Чтобы укладываться в лимиты, мы применяли сэмплирование и писали только часть данных в аналитику, соответственно, ограничивали компанию в получении знаний.
• Нет поддержки сбора телеметрии и возможности анализировать влияние технических метрик на продуктовые. Statist не только платформа продуктовой аналитики, но и платформа по сбору и анализу телеметрии.

Statist помогает бизнесу получить качественные знания о поведении клиентов с минимальным привлечением data-аналитиков. Платформа позволяет получить больше единиц знаний за меньшее время. Используя Statist, можно:

• повысить качество продуктов и услуг;
• выявить случаи некорректной работы продуктов;
• сократить time to market.

Statist предоставляет инструменты для решения большого спектра бизнес-задач:

• визуализация данных для последующего анализа и принятия решений;
• администрирование аналитических событий для удобного менеджмента и каталогизации данных;
• помощь во внедрении процессов data governance в различные продуктовые команды компании для повышения качества работы с данными и метриками;
• сбор технических метрик клиентских приложений для повышения надежности поставляемых услуг.

Архитектуру системы можно представить в виде четырех основных компонентов.

Events (Schema Registry & Data Catalog). Инструмент декларирования и описания аналитики. Позволяет объявлять типы событий и атрибуты, которые будут отправляться в аналитику из клиентских приложений, следить за актуальностью аналитики, ответственными, качеством интеграций.

SDK (IOS, Android, Web). SDK позволяет реализовать сбор и отправку аналитических событий с клиентских приложений. Одна из особенностей SDK Statist — статическая типизированность. Для каждого типа события у нас есть необходимая сигнатура функции с типизированными атрибутами, а все SDK версионируются по Semver при изменении структуры событий. Это возможно благодаря инструменту декларирования и описания аналитики Events.

Collector & Event Processing & Analytics Storage. Часть системы, которая обеспечивает надежную доставку событий и метрик в хранилище данных с момента получения их из клиентских приложений. В процессе доставки обрабатываются события и телеметрия: их валидация, обогащение информацией о геопозиции и устройстве и запись в хранилище для последующего анализа.

Visualization Tools — собственный UI-инструмент для анализа данных, где можно без специальных знаний SQL и подключения BI-инструментов создать отчет ad-hoc. Дополнительно можно использовать другие инструменты, которые есть в компании, для более детального анализа и изучения данных клиентской аналитики. Например, Helicopter (аналог Zeppelin), ETL и BI-инструменты.

Основной сценарий выглядит так: на уровне сервиса администрирования событий определяются любые продуктовые события. Далее с помощью SDK настраивается сбор и отправка объявленных событий в клиентских приложениях. Все данные из приложения поступают в коллектор событий. На следующем этапе они обрабатываются: валидация, обогащение и роутинг данных. В итоге данные поступают в аналитическое хранилище. Доступ к данным есть напрямую через запросы к базе данных и через собственный UI-инструмент с удобной визуализацией.

Продуктовая команда Statist распределена по России и СНГ, состоит из продакта, дизайнера и команды разработки (frontend, backend, iOS/Android).

У нас есть масштабные технические задачи, которые требуют разработки надежных и производительных систем, позволяющие обрабатывать десятки, а в будущем, вероятно, и сотни миллиардов событий в месяц.

Мы используем инструменты для Data Discovery и Data Governance. В части Data Discovery продвигаем стандарты и хорошие практики для аналитики. Чтобы повысить однородность и качество данных, мы разрабатываем инструменты для визуализации и проведения более гибкого анализа. В части Data Governance у нас есть сервис Events для определения метаданных и разметки аналитики.

Через наш продукт можно напрямую влиять на качество принимаемых решений на уровне всей компании.

Statist в цифрах

• 35 млрд событий в месяц.
• Хранилище 150 ТБ.
• 30 000 посещений в месяц и более 3 000 активных пользователей, включая продактов, системных и дата-аналитиков, инженеров и службу поддержки клиентов.
• 11 000 созданных графиков за 2023 год.
• Наши клиенты — это 43 бизнеса группы компаний Тинькофф.

Особенности продукта и задач

• У нас необычный и сложный домен — продуктовая аналитика.
• Наши пользователи — почти все сотрудники Тинькофф: аналитики, продакты, руководители проектов, разработчики, QA.
• У нас есть и big data, и highload.
• Мы держим баланс в задачах. Есть задачи на оптимизации, рефакторинг и на добавление новых фич.
• Мы исповедуем devops, и у нас есть on-call-дежурства: нужно следить за мониторингами и курировать редкие инциденты. Ночи и выходные почти всегда спокойные.
• Мы сами себе техподдержка и помогаем пользователям — нашим коллегам.
• Мы сами пишем и поддерживаем внутреннюю документацию к нашему продукту.