DMIA 2021 Spring - Направление Production ML
Описание направления
На направлении мы будем учиться тому, чем обычно занимаются ML Engineers или ML Developers - превращают обученную модель в работающий сервис. Затронем то, как версионировать код, данные и эксперименты, превращать модели в веб-сервисы, работать с контейнерами, деплоить и тестировать модели, писать пайплайны для переобучения, и, наконец, собирать CI/CD, который будет делать эту работу за нас.
Входные требования
- Базовые практические знания ML
- Знание Python на уровне младшего Python-разработчика
- Свободное время: 3 часа вебинаров и 5-15 часов самостоятельных занятий в неделю (15 - если вы сомневаетесь в своих силах, 5 - если вы преподаватель курса :)
- Будет легче, если у вас есть опыт работы с *nix-системами, вы знаете Docker, сети, web-сервисы (Flask, REST API)
Отбор
Чтобы пройти на курс, нужно выполнить общее для всех направлений задание в анкете слушателя и побить несложный бейзлайн в соревновании по предсказанию сложности пароля - его видно на лидерборде. Если вам будет не слишком сложно это сделать, то будем считать, что обладаете достаточным уровнем по первым двум навыкам в списке. Внимательно смотрите время окончания соревнования на kaggle inclass.
Ссылка, по которой можно присоединиться к соревнованию https://www.kaggle.com/t/4b03db9d284240efb8c337d11c91dd30
Что будет являться результатом прохождения
- Познакомимся с основными принципами DevOps и узнаем о специфике MLOps
- Поработаем с актуальными продакшн-инструментами, используемыми в ML
- Обсудим выбор подходящих инструментов в рамках конкретной задачи
- Выполним курсовой проект, о котором можно рассказать на собеседовании
Структура курса по неделям
- Обзор отрасли. Введение в MLOps. Практики написания кода.
- Системное администрирование. Менеджеры пакетов и виртуальных окружений Python. REST API и Flask.
- Git, версионирование кода и артефактов. Docker и контейнеризация сервисов. Деплой ML моделей.
- Основы хранения и версионирования данных. Сервера в интернете и облачные вычисления. Тестирование ML моделей и сервисов.
- Архитектура ML-систем. Создание ML пайплайнов.
- Воспроизводимость экспериментов. Мониторинг сервисов и ML моделей.
- Построение CI/CD, автоматизация тестирования, сборки и деплоя пайплайнов и сервисов.
- Подведение итогов курса. Обзор дальнейшего развития, задач и целей для ML Engineer.
- Боевая проверка реализаций курсового проекта.
Более подробный план доступен здесь
Грейдинг
Рейтингом будет служить результат работы над курсовым проектом - ботом для игры в Шляпу. Мы будем учитывать как количество отгаданных и загаданных слов, так и технические метрики, включая доступность, надежность и скорость ответов ваших сервисов.
Авторы курса
- Александр Гущин, ML Engineer в Iterative.ai
- Михаил Трофимов, ML Product Owner в Praxis
- Глеб Ерофеев, Lead ML Engineer в Сбермаркет
- Виталий Белов, DS в Сбермаркет
- Ольга Филиппова, DS Team Lead в банке Открытие
- Илья Ирхин, Chief DS Yandex.Taxi