Модель нейрона. Активационная функция. Сети прямого распространения. Архитектура нейронной сети. Коннективизм. Обучение нейронной сети. Обратное распространение ошибки. Метод скорейшего спуска. Эпохи и batch'и. Инициализация нейронной сети. Пример: задача Обучающее или. Библиотека Neuralnet. Пороговое значение.

Обучение нейронной сети прямого распространения. Метод скорейшего спуска. Формулы для поправок весов при обучении нейронной сети. Задача распознавания цен квартир в Бостоне.

Нейронные сети для прогнозирования. Сведение прогнозирования к регрессионной задаче. Прогнозирование рядов с сезонной составляющей. Библиотека nnet. Задача прогнозирования авиаперевозок. Задача распознавания сорта вина (не завершена)

Решение задачи распознавания производителя оливкового масла с помощью нейронных сетей. Калибровка модели.

Новые идеи. Rectified linear units и ее обобщения. Softmax. Кроссэнтропия. Инициализация. Декорреляция. Big Data. Каскад Хаара. Сверточные слои (convolution layer).

Пример применения регуляризации. Нормальные уравнения линейного регрессионного анализа. Добавление регуляризационного слагаемого в нормальные уравнения. Особая роль свободного члена. Пример: аппроксимация точек многочленом. Выборка валидации. Варианты регуляризационного слагаемого (ridge regression, lasso). SVD разложение при построении рекомендательной системы.

Спектральное разложение матрицы, метод главных компонент (факторный анализ), оценка матрицы корреляций. Связь между ними. SVD разложение. SVD разложение и анализ главных компонент. SVD разложение как основа латентно - семантического анализа (LSA). SVD разложение при построении рекомендательной системы. SVD разложение матрицы данных, содержащей пропуски. Метод Simon'a Funk'a Регуляризация в методе Simon'a Funk'a. Процедуры R, реализующие SVD разложение (классическое и Funk'a). Примеры проведения SVD разложения в R.

Теоретическое обоснование метода. Пример решения задачи в R с использованием XGboost.

Ядерная оценка плотности и гистограмма. Оценка Розенблата-Парзена. Ядро оценки. Ширина окна. Кластеризация. Непараметрическая (ядерная) регрессия. Оценка Надарая-Ватсона.