Решения в Тинькофф принимаются на основе данных. Мы хотим, чтобы любой сотрудник компании, владеющий базовыми навыками SQL и/или Python, мог извлекать пользу из колоссального объема накопленной информации. Для этого нужно, чтобы продукты, которые предоставляют такие возможности, обладали «низкой» кривой обучения, были интуитивно понятны и доступны широкой аудитории.

Helicopter повышает эффективность работы. Благодаря self-service-активностям и низкому порогу входа для использования инструмента данные становятся доступными многим сотрудникам. Другими словами, они демократизируются. Более 8000 сотрудников Тинькофф используют продукт для решения задач. По нашей оценке, Helicopter сокращает время на проверку продуктовых гипотез и время до выхода продуктов и фич на рынок.

До появления Helicopter в компании мы использовали Zeppelin как инструмент self-service-аналитики. Проблема в том, что Zeppelin и другие похожие решения не могут закрыть все потребности для операционализации данных.

Мы учли опыт эксплуатации Zeppelin и провели исследование ключевых продуктов в области анализа данных. Благодаря этому смогли позиционировать и разрабатывать Helicopter как современный, мощный, масштабируемый cloud-native-инструмент.

Интересные факты

• Каждый день порядка 3500 пользователей запускают свой код, а Helicopter обрабатывает до 410 000 запусков кода в день.
• Наши пользователи создали уже более 400 000 интерактивных тетрадок.
• Удобно организованное рабочее пространство позволяет эффективно работать 100+ командам, а встроенный инструмент управления политиками доступа — гибко управлять вычислительными ресурсами, которые доступны командам.

Расскажем об особенностях нашего продукта, который позволяет закрывать максимум потребностей пользователей.

Планировщик движка исполнения кода умеет эффективно утилизировать ограниченные вычислительные ресурсы в режиме вытесняющей многозадачности и resource overselling.

Сервер Python LSP позволяет получить подсказки по python-коду в браузере. Сервер запускаем в веб-воркере браузера, сконвертировав его в WASM.

Встроенный AI-помощник позволяет генерировать исполняемый Python/SQL-код по запросу на естественному языке: «Олег, напиши код, который считает статистику закрытых jira-задач за последний месяц».

Встроенный аналог GitHub Copilot позволяет пользователю быстрее писать работающий код.

ML-модели для предиктивной оценки эффективности пользовательского кода позволяют пользователям оптимизировать код до его выполнения.

В проекте используется сервисная архитектура. Наш стек разработки:

• Spring boot 3;
• Java 17/21;
• Kotlin;
• React/Typescript/WASM;
• Gitlab CI/CD.

Кроме того, мы используем в работе внутренние SaaS-решения, основанные на рыночных технологиях.

Web IDE. В основе IDE-части лежит редактор Monaco. Редактор позволяет работать с markdown-текстом, python-кодом и SQL-запросами.

Особенности редактора Markdown:

• поддержка LaTeX-формул;
• поддержка markdown-таблиц;
• поддержка mermaid-визуализаций;
• свои шорткаты и кастомное поведение для работы с Markdown.

Редактор Python. Для редактора Python развернули python-lsp-server в web worker браузера, конвертировав его в WASM. Его подключаем к виртуальному документу, который содержит все python-параграфы, через websocket и предоставляем подсказки, linting и code completion.

Редактор SQL. Используем парсеры на клиентской стороне, которые созданы поверх jison-описания грамматик языков. Эти парсеры позволяют предоставлять функции code completion.

Для валидации корректности запроса и проверок правил линтинга используем antlr4. Кастомные правила линтинга реализованы через собственный линтер, содержащий рекомендации для разных диалектов.

Система контроля версий. Мы даем пользователю легкую и удобную возможность версионирования его тетрадок — как в Google Документах. Автосохранение, сравнение версий, возможность восстановить любую из прошлых версий — вот только малая часть того, что делает пользовательский опыт надежным.

Система исполнения кода. Сервис, который отвечает за выполнение пользовательских тетрадок. Фактически это планировщик задач. Состоит из трех основных частей:

• Executor. Отвечает за хранение, обработку состояний, управление зависимостями и результатами сессий, контекстов и задач. Отвечает за общение с Interpreters.
• Interpreters. Java-сервисы, отвечающие за выполнение пользовательского кода. Python-интерпретатор запускает в себе python-процесс и работает с ним, вычитывая из него результаты. SQL -интерпретатор ответственен за работу с источниками данных и подключается к ним по JDBC.
• Engine. Отвечает за поддержку прямых обращений от других сервисов, работу с файлами, инкрементальный вывод результатов работы, post-processing задач из Executor.

Сервис рассылки уведомлений об изменениях в тетрадках в режиме реального времени. Это основная часть работы в коллаборативном режиме с ноутбуком.

Сервис статического анализа и интеграций отвечает за AI/ML-интеграции, интеграцию с метаданными и статический анализ кода — валидаторы на antlr4, проверку эвристик.

Сервис работы с ноутбуками реализует практически все CRUD, работу с параграфами, рабочим пространством пользователей и так далее.