Модуль 1 (Введение)

1. Постановка задачи, классификация видов обучения. Отличия от смежных областей.

2. Разбор эксперимента «предсказание оценки студента».

3. Оценка качества обучения.

4. Некоторые способы построения целевой функции.

Модуль 2 (Переборные методы)

1. Сэмплирование пространства параметров.

2. Генетические алгоритмы, Differential evolution.

Модуль 3 (Линейные решения)

1. Линейная регрессия. Логистическая регрессия. Линейный дискриминантный анализ (LDA) и его вариации.
   
2. LASSO, случайные DFT проекции.
   
3. Compressed sensing, Elastic net. Обзор имплементаций LASSO.
   
4. Метод опорных векторов (SVM).
   

Модуль 4 (Факторизация)

1. Collaborative filtering. Регуляризации SVD разложения. Factorization Machines.
2. LSA. Informational bottleneck. PLSA, LDA.

Модуль 5 (Прямая оптимизация целевой функции)

1. Обзор методов оптимизации.

2. Выпуклая оптимизация (по Ю. Е. Нестерову).

Модули 6-9 рассматриваются в продолжении курса весной.

Модуль 6 (Ближайшие соседи)

• Instance based learning (IBL). Проклятие размерности.

• Практические аспекты реализации IBL.

• Обучение метрикам (по Brian Kulis).

Модуль 7 (Уменьшение размерности)

• Обзор методов уменьшения размерности. Johnson-Lindenstrauss Lemma.
• Выбор свойств (feature selection).
• Выделение новых свойств: PCA, ICA.
• Кластерный анализ. Самоорганизующиеся сети Кохоннена.

Модуль 8 (Нейронные сети)

• Персептронные сети. Обратное распространение ошибки.
• Сети Хопфилда, Bolzman machine.
• Обзор глубокого обучения (Deep Learning).

Модуль 9 (Деревья решений и их ансамбли)

• Деревья решений: ID3/C4.5. CART, забывчивые деревья.
• Bagging. Случайные леса. Boosting на примере AdaBoost.
• Gradient Boosting. MatrixNet.

Видео записи лекций курса можно найти на канале CS центра на YouTube.