Ищем специалиста, который готов стать экспертом в инференсе LLM-моделей. Вы будете искать практики ускорения, оценивать их применимость и реализовывать новые подходы в сервинге
Описание
Развиваем эффективный инференс LLM-моделей и формируем команду, которая займется развитием решения для сервинга больших языковых моделей. В этом году мы планируем запуск большого числа продуктов на основе LLM. Наши пользователи — более 40 миллионов клиентов Тинькофф.
Основной технический вызов — научиться выжимать максимум в генерации токенов в секунду с одной GPU при должном уровне качества. И делать это максимально эффективно с точки зрения потребления вычислительных ресурсов.
Вам и команде предстоит оптимизировать распределенный инференс и решать инфровые проблемы — такие как скорость обновления моделей на продакшене, размер которых может достигать сотен гигабайт.
Примеры задач, в которых предстоит разбираться, в формате PDF:
Будет много интересных задач и челленджей: RPS, требования по отказоустойчивости и производительности. У нас вы сможете научиться реализовывать все нужные подходы в собственном решении и придумывать свои.
Обязанности
Проектировать и разрабатывать сервинг для LLM-моделей
Плотно работать с ML-инженерами при внедрении SOTA-моделей и оптимизации инференса
Искать, оценивать и внедрять лучшие практики с развивающегося в этом направлении рынка
Заниматься исследовательской разработкой: от paper до релиза в продакшен
Вникать в архитектуру нейросетей, которые выбирают ML-специалисты
Взаимодействовать с инфраструктурными командами
Требования
Хорошо знаете С/С++
Есть опыт разработки на Python, готовы попробовать Go
Обладаете навыками параллельной и многопоточной разработки на CUDA
Есть опыт разработки бэкендов под *nix
Будет плюсом опыт написания extensions к Triton Inference Server
Мы предлагаем
Работу в офисе или удаленно — по договоренности
Платформу обучения и развития «Тинькофф Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии
Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких
Возможность работы в аккредитованной ИТ-компании
Линейку льготных тарифов на продукты Тинькофф
Частичную компенсацию затрат на спорт
Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами