Марковские модели и элементы теории информации

Вторник, 01 октября 2019
Таймс, ауд. 410
Список тем / 23 записи
    1.
    Введение. Задачи обработки языка в информационном поиске.
    2.
    Строки, расстояния, регулярные выражения
    3.
    Нейронные сети - I
    4.
    Языковое моделирование
    5.
    Нейронные сети - II. Регуляризация. Методы обучения. Нейронное вероятностное языковое моделирование.
    6.
    Нейронные сети -- III. Рекуррентные нейронные сети. SimpleRNN, LSTM, AWD-LSTM.
    7.
    Марковские модели и элементы теории информации
    8.
    Векторная семантика — I. Sparse vectors: DTM, word-context matrices, HAL.
    9.
    Векторная семантика — II. Dense vectors: SVD, LSA, word2vec, fastText.
    10.
    Кластеризация: распространённые методы. Brown clustering.
    11.
    Обнаружение дубликатов: шинглы, MinHash, LSH
    12.
    Тематическое моделирование: NMF, pLSA, LDA, ARTM, NTM, ABAE.
    13.
    Тематическое моделирование
    14.
    Разметка последовательностей: local classifiers, HMM, Structured Perceptron, CRF
    15.
    Разметка последовательностей: RNN-based, BiLSTM-CRF
    16.
    Классификация
    17.
    Вычислительный синтаксис — I: ГНС (PSG)
    18.
    Вычислительный синтаксис — II: ГЗ (DG)
    19.
    Введение в машинный перевод: оценка качества, алгоритмы выравнивания
    20.
    Классификация — II. Свёрточные нейронные сети
    21.
    Sequence-to-sequence. Механизм внимания. Закон Ципфа vs NMT
    22.
    Архитектура "Transformer" для sequence-to-sequence
    23.
    ELMo & BERT

Слайды с лекции

introduction_nlp_lecture_011019.pdf

Приложенные файлы

Описание

Работа, о которой речь идёт перед лекцией: https://openai.com/blog/unsupervised-sentiment-neuron/

Также приложено доказательство неотрицательности дивергенции Кульбака-Лейблера.