Яндекс — одна из немногих компаний в мире, оперирующих экcабайтами данных, которые нужно уметь эффективно хранить, обрабатывать и передавать между различными системами.

Для решения этих задач мы создали и развиваем распределённую платформу хранения и обработки данных YTsaurus.

YTsaurus в том числе управляет суперкомпьютерами Яндекса, на которых ML-инженеры решают задачи машинного обучения. Недавно мы начали новый проект, чтобы упростить жизнь коллег. Пользователями нового сервиса станет большинство ML-разработчиков Яндекса — сотни команд, которые обучают модели для Алисы, Нейро, Шедеврума.

Наш новый сервис включает:

— Managed DevCluster для удалённой разработки и тестовых запусков задач на GPU

— Инструмент для простого и эффективного запуска процессов обучения на кластере YTsaurus с тысячами GPU

— Оркестратор для описания графов подготовки данных на Python и SQL

— Решение для трекинга ML-экспериментов (похожее на Weights & Biases)

— MLOps-систему для хранения и управления жизненным циклом моделей

‍

Мы ищем стажёра, который поможет выстроить процессы разработки и наладить взаимодействие между ML-инженерами и инфраструктурой. Если вы хотите изучать машинное обучение и развиваться в этой области — присоединяйтесь к команде!

Какие задачи вас ждут

Взаимодействие с пользователями

‍Вы будете активно общаться с внутренними и внешними пользователями, помогать формировать лучшие практики использования ML-инфраструктуры (например, следить за эффективным использованием GPU) и анализировать потребности ML-инженеров. Также нужно будет предлагать улучшения для всего стека технологий.

Технические вызовы‍

Вам предстоит разобраться в процессе разработки ML-моделей в Яндексе, вести инфраструктурные проекты и участвовать в интеграционных проектах с командами разработки, эксплуатации и тестирования.

Оптимизация рабочих процессов‍

Вы будете сотрудничать с разработчиками других инфраструктурных сервисов, анализировать процессы, выявлять проблемы и внедрять улучшения, а также управлять процессом разработки и следить за тем, чтобы он соответствовал планам и требованиям.

Мы ждем, что вы

— Готовы изучать новые технологии и методы в области машинного обучения

— Имеете базовые знания и навыки написания кода

— Умеете работать с Python на начальном уровне

— Умеете работать в команде и следовать указаниям наставников

Что мы предлагаем

— Оплачиваемую стажировку на 3–4 месяца с официальным оформлением в Москве

— Компенсацию оплаты питания на территории офиса

— Доступ к ресурсам и возможностям Яндекса

— Сложные задачи для сервисов с миллионами пользователей

— Работу в классной команде, ориентированной на поддержку и развитие

— Возможность влиять на процесс и результат