Машинное обучение, часть 1
Санкт-Петербург / осень 2015, посмотреть все семестры

Модуль 1 (Введение)

  1. Постановка задачи, классификация видов обучения. Отличия от смежных областей.

  2. Разбор эксперимента «предсказание оценки студента».

  3. Оценка качества обучения.

  4. Некоторые способы построения целевой функции.

Модуль 2 (Переборные методы)

  1. Сэмплирование пространства параметров.

  2. Генетические алгоритмы, Differential evolution.

Модуль 3 (Линейные решения)

  1. Линейная регрессия. Логистическая регрессия. Линейный дискриминантный анализ (LDA) и его вариации.
  2. LASSO, случайные DFT проекции.
  3. Compressed sensing, Elastic net. Обзор имплементаций LASSO.
  4. Метод опорных векторов (SVM).

Модуль 4 (Факторизация)

  1. Collaborative filtering. Регуляризации SVD разложения. Factorization Machines.
  2. LSA. Informational bottleneck. PLSA, LDA.

Модуль 5 (Прямая оптимизация целевой функции)

  1. Обзор методов оптимизации.

  2. Выпуклая оптимизация (по Ю. Е. Нестерову).

Модули 6-9 рассматриваются в продолжении курса весной.

Модуль 6 (Ближайшие соседи)

  • Instance based learning (IBL). Проклятие размерности.

  • Практические аспекты реализации IBL.

  • Обучение метрикам (по Brian Kulis).

Модуль 7 (Уменьшение размерности)

  • Обзор методов уменьшения размерности. Johnson-Lindenstrauss Lemma.
  • Выбор свойств (feature selection).
  • Выделение новых свойств: PCA, ICA.
  • Кластерный анализ. Самоорганизующиеся сети Кохоннена.

Модуль 8 (Нейронные сети)

  • Персептронные сети. Обратное распространение ошибки.
  • Сети Хопфилда, Bolzman machine.
  • Обзор глубокого обучения (Deep Learning).

Модуль 9 (Деревья решений и их ансамбли)

  • Деревья решений: ID3/C4.5. CART, забывчивые деревья.
  • Bagging. Случайные леса. Boosting на примере AdaBoost.
  • Gradient Boosting. MatrixNet.

Видеозаписи лекций курса 2014 года можно найти на канале CS центра на YouTube. В 2015 году съёмка не ведётся.

Дата и время Название Место Материалы
11 сентября
18:30–19:50
Машинное обучение: обзор I, лекция Таймс, ауд. с белыми досками слайды
18 сентября
18:30–19:50
Машинное обучение: обзор II, лекция Таймс, ауд. с белыми досками слайды
25 сентября
18:30–19:50
Один эксперимент, лекция Таймс, ауд. с белыми досками слайдыфайлы
02 октября
18:30–19:50
Оценка методов обучения с учителем, лекция Таймс, ауд. с белыми досками слайды
09 октября
18:30–19:50
Обзор целевых функций I, лекция Таймс, ауд. с белыми досками слайды
16 октября
18:30–19:50
Обзор целевых функций II, лекция Таймс, ауд. с белыми досками слайды
23 октября
18:30–19:50
Переборные методы: сэмплирование, лекция Таймс, ауд. с белыми досками слайды
30 октября
18:30–19:50
Генетические алгоритмы, лекция Таймс, ауд. с белыми досками слайды
06 ноября
18:30–19:50
Линейные модели: введение, лекция Таймс, ауд. с белыми досками слайды
13 ноября
18:30–19:50
Линейные модели: уменьшаем variance, лекция Таймс, ауд. с белыми досками слайды
20 ноября
18:30–19:50
Линейные модели: compressed sensing, лекция Таймс, ауд. с белыми досками слайды
27 ноября
18:30–19:50
Линейные модели: SVM, лекция Таймс, ауд. с белыми досками слайды
04 декабря
18:30–19:50
Коллаборативная фильтрация, лекция Таймс, ауд. с белыми досками слайды
11 декабря
18:30–19:50
Генеративные вероятностные модели: NB, LSI, PLSI, LDA, лекция Таймс, ауд. с белыми досками слайды
18 декабря
18:30–19:50
Выпуклая оптимизация, лекция Таймс, ауд. с белыми досками Нет
23 декабря
18:00–19:30
Экзамен I, лекция Таймс, ауд. с белыми досками Нет
24 декабря
17:00–18:30
Экзамен II, лекция Таймс, ауд. с белыми досками Нет
25 декабря
17:00–18:30
Экзамен III, лекция Таймс, ауд. с белыми досками Нет