Разбор текстов по частям речи. Поиск именных сущностей.

В лекции рассмотрены основные задачи классификации последовательностей в тексте. Это текста разметка частями речи и поиск именных сущностей, таких как организации, имена людей и пр. Данные задачи решаются при помощи различных вариаций марковских моделей. Рассмотрены обычные марковские модели, скрытые марковские модели и и марковские модели с максимальной энтропией (maximum entropy markov models - MEMM). Рассказывается, как построить данные модели для описанных задач, и какие признаки классификации используются для успешного решения этих задач. В конце лекции приводится сравнение различных парсеров именных сущностей.