R бесплатный, популярный и современный. R и другие языки. R и SAS. R и SPSS. R и Python. RStudio. Импорт данных в R. Гистограмма.

Введение в R: базовые команды. Медиана, квантили и квартили. Гистограмма. Столбиковая диаграмма. Круговая диаграмма. Диаграмма рассеивания. Матрица диаграмм рассеивания. Использование цвета на графике. Ящики с усами (ящиковая диаграмма). Типичное наблюдение выборки: среднее арифметическое, медиана или усеченное среднее. Выбор способа описания типичного значения, адекватного анализируемым данным. Логнормальное распределение. Выбросы и экстремальные наблюдения.

Иерархический кластерный анализ. Кластер, расстояния между объектами, расстояния между кластерами. Алгоритм построения дендрограммы. Каменистая осыпь/локоть. Стандартизация данных. Типичные ошибки при подготовке данных. Интрепретация результатов.

Метод к-средних. Датчики случайных чисел, зерно датчика. Визуализация алгоритма метода к-средних. Методы определения числа кластеров. Библиотека NbClust. Каменистая осыпь/локоть. Многомерное шкалирование для визуализации кластеров.

Проверка статистических гипотез. Гипотезы согласия, однородности, независимости, гипотзы о параметрах распределения.

Проверка статистических гипотез. Ошибки первого и второго рода, р-значение и уровень значимости, алгоритм проверки статистической гипотезы и интерпретация результатов. Гипотеза о нормальности распределения. Критерии Шапиро-Уилка и Колмогорова-Смирнова. Несущественные отклонения от нормальности. Сравнение выборок. Независимые и парные выборки. Выбор между t-критерием Стъюдента, критерием Манна-Уитни-Вилкоксона и критерием Муда. Разновидности t-критериев Стъюдента и сравнение дисперсий. Визуализация при сравнениях. Односторонние и двусторонние тесты.

Проверка статистических гипотез. Сравнение выборок. Независимые и парные выборки. Выбор между t-критерием Стъюдента, критерием Манна-Уитни-Вилкоксона и критерием Муда. Разновидности t-критериев Стъюдента и сравнение дисперсий. Визуализация при сравнениях. Односторонние и двусторонние тесты. Независимость. Коэффициенты корреляции Пирсона, Кендалла и Спирмена, типичные ошибки при изучении связи между двумя явлениями. Визуальная проверка выводов.

Линейный регрессионный анализ Модель, интерпретация оценок коэффициентов, множественный коэффициент детерминации. Интерпретация множественного коэффициента детерминации, ограничения на область его применения. Выявление наиболее значимых предикторов и оценка вклада каждого предиктора. Алгоритмы корректировки построенных моделей. Коллинеарность.

Линейный регрессионный анализ: прогнозирование коротких временных рядов.

Прогнозирование на основе регрессионной модели с сезонными индикаторными (фиктивными, структурными) переменными. Тренд, сезонные составляющие, смена характера ряда, выбросы. Логарифмирование – прием для преобразования мультипликативной сезонности в аддитивную. Индикаторные переменные. Переобучение.

Линейная регрессия - анализ остатков. Нарушения модельных ограничений теоремы Гаусса-Маркова. Анализ остатков. Ошибка спецификации. Мультиколлинеарность, Tolerance и VIF. Проверка постоянства дисперсий остатков. Коррекция моделей при наличии отклонений распределения остатков от нормальности. Расстояние Кука и leverage. Статистика Дурбина-Ватсона. Сокращение числа сезонных поправок.

Экспоненциальное сглаживание Метод Holt'а-Winters'а. Локальный тренд, локальная сезонность.

Терминология: Machine Learning, Artificial Intelligence, Data Mining и Pattern Recognition.

Метод к-го ближайшего соседа. Состоятельность метода. Lazy learning (ленивое обучение). Feature Selection. Кросс-валидация. k-fold кросс-валидация. Overfitting (Чрезмерная подгонка). Обучающая и тестовая выборки.

Метод к-го ближайшего соседа Примеры. Определение числа ближайших соседей. Таблица сопряженности для определения качества работы метода.

Деревья классификации CART. Геометрическое представление. Представление в виде набора логических правил. Представление в виде дерева. Узлы, родители и потомки, конечные узлы. Пороговые значения. Библиотека rpart. Меры чистота узла (impurity measures). Методы измерения чистоты: джини, энтропия, ошибки классификации. Правила останоки обучения дерева. Библиотека rpart.plot.

Приемы объединения классификаторов: Stacking, bagging и boosting.

Случайные леса. Bagging. Библиотека RandomForest. Ключевые параметры модели. Out-of-bag error. Информативность переменных (Importance). Анализ несбалансированных выборок. Определение числа деревьев.

Gradient boosting machine. Boosting. Библиотека gbm. gbm и TreeNet. Ключевые параметры модели.

Анализ главных компонент и факторный анализ. Задачи, решаемые с помощью факторного анализа. Математические модели анализа главных компонент и факторного анализа. Факторные нагрузки, факторные метки, их интерпретация. Вращения факторов. Интерпретация факторов.