В 2022 году Computer Science Center приостановил набор и обучение

Машинное обучение, часть 1

Санкт-Петербург, осень 2013

Описание

Модуль 1 (Введение)

  1. Постановка задачи, классификация видов обучения. Отличия от смежных областей.

  2. Разбор эксперимента «предсказание оценки студента».

  3. Оценка качества обучения.

  4. Некоторые способы построения целевой функции.

Модуль 2 (Переборные методы)

  1. Сэмплирование пространства параметров.

  2. Генетические алгоритмы, Differential evolution.

Модуль 3 (Линейные решения)

  1. Линейная регрессия. Логистическая регрессия. Линейный дискриминантный анализ (LDA) и его вариации.
  2. LASSO, случайные DFT проекции.
  3. Compressed sensing, Elastic net. Обзор имплементаций LASSO.
  4. Метод опорных векторов (SVM).

Модуль 4 (Факторизация)

  1. Collaborative filtering. Регуляризации SVD разложения. Factorization Machines.
  2. LSA. Informational bottleneck. PLSA, LDA.

Модуль 5 (Прямая оптимизация целевой функции)

  1. Обзор методов оптимизации.

  2. Выпуклая оптимизация (по Ю. Е. Нестерову).

Модули 6-9 рассматриваются в продолжении курса весной.

Преподаватели

Игорь Евгеньевич Куралёнок
Читает лекции
Никита Игоревич Поваров
Читает лекции

Список лекций

Машинное обучение: начало

Постановка задачи. Виды обучения. “Дедуктивные” и “индуктивные” методы обучения.

Один эксперимент

Векторизация, факторы, интерпретация решений.

Оценка методов обучения с учителем

Отличия от стохастической оптимизации. Переобучение. Оценка качества обучения. Overfitting on validation. Кроссвалидация.

Машинное обучение: обзор целевых функций

Некоторые способы построения параметрической целевой функции: Lq, maximum a posteriori, метод максимального правдоподобия, метод максимальной энтропии.

Переборные методы: сэмплирование

Переборные методы. Сэмплирование пространства параметров.

Генетические алгоритмы

Генетические алгоритмы. Differential evolution.

Линейные модели: введение
Линейные модели: уменьшаем variance
Линейные модели: сжатые чувства, SVM
Линейные модели: SVM (продолжение). Collaborative filtering
Генеративные вероятностные модели
Обзор методов оптимизации

По книге Методы выпуклой оптимизации по книге Ю.Е.Нестерова